彩衣堂是全国重点文物保护单位，现辟为“翁同龢纪念馆”，位于城区，是翁氏故居及翁同龢纪念馆中主体建筑。始建于明代中晚期，初为本邑大族桑氏所有，堂名“森桂”，后易“丛桂”。隆庆万历间属邵武知府古琴家严澄居宅。清道光十三年(1833年)，江西学政翁心存从仲姓处购得，更名为“彩衣堂”。其子翁同龢曾在此度过青少年时代。