遐昌阁是凤凰万寿宫建筑群的第二部分。位于沙湾，古名江西街。居沱江北岸，依山面水，与虹桥遥遥相对峙。遥望千山云树，琉璃世界之中，近看炊烟四起，吊楼悬挂于两岸之上。遐昌阁始建于咸丰甲寅年秋(1807年)，是本县古建筑独存的惟一大阁，典型的木质结构为主体的阁楼式建筑，以建筑艺术成就突出驰名。
遐昌阁为三层三楼檐，高六丈六方形大阁，建筑面积136.90平方米。垂檐翅角，雕画精美，设计严谨。经一百多年风雨浸蚀，又几经他用，门窗损坏，风铃无踪，部分构件霉腐，阁内设施全无，惟主体仍然巍立。1984年县人民政府拨款4万元，对遐昌阁重加修葺，于1985年竣工，修复如昔，今已成为游览观光胜地。