明嘉靖年间，海瑞任职期满调离淳安，淳安百姓为纪念他勤政清政的业绩而立"去思碑"，建生祠以示纪念。如今岛上的海瑞新祠建于1985年，为厅院合一式的砖木结构，建筑面积625平方米，飞檐翘角，画栋雕梁，古朴典雅，气派宽敞。前厅高有碑廊，大都出自古今名家之手笔，尤以"寿"字碑最为吸引游人；后堂竖有海瑞九尺高度之塑像，左右两壁并配挂一组反映海瑞生前治绩的国画。重建海瑞祠，旨在供世人凭吊海公。永久纪念海瑞的廉洁政绩，借以缅古戒近,警世育人，为民造福。