钟鼓楼简称鼓楼，坐落于县府前街路北。初建于元代，称齐政楼，明嘉靖二十年(1541)改建，称抚辰楼。楼高10余米，东西长21米，南北宽14米，占地面积294平方米。蓝砖砌筑台基，中留拱券，宽4米，高3.1米，为出入县府大门。台基上为两层楼房，砖木结构，硬山式三开间，底楼楼门居中向南，回廊四向延伸，廊下环立漆红明柱16根，以鼓形雕石为柱础，顶楼呈宫殿形，四面起坡，五脊分立，檐角展翅，上下楼八角翅飞，各悬一钟形铃铛。楼小于台基，四周各留隙地丈余，供游人环行憩息，台周筑透花女墙为护栏，高1米许。昔日顶楼门楣上方曾悬木匾1块，上书“抚辰楼”。建国后县政府对该楼多次修葺，1959年公布为县级文物保护单位。1979年再行整修，将通道拱券升高40厘米，改建新式门面，顶楼东、西、南、北四面各留一孔轮形月窗；全楼自上而下粉刷髹漆一新，1984年再次公布为县级文物保护单位。