胡适故居坐落于绩溪上庄村，这是一座典型的徽派古建筑，小青瓦，马头墙，三开间，两层楼。门罩门楼，水磨砖雕。前庭有天井，两旁有厢房，楼上为“通转楼”，楼下是堂屋。后进为内庭，栏板隔扇，精雕细刻，梁托上一对荷花仙子栩栩如生，门窗上饰以兰花雕板，出自胡开文墨庄制模高师胡国宾之，返映出胡适“我从山中来，带来兰花草”的浓浓乡土之情和立出风格。辟为庵堂。

胡适故居坐落在上庄村中间，占地1134平方米，四幢清未徽派建筑房子，分别为一、二、三、四展厅。

一厅为靠院落大门（东边），原是胡适大哥房产，后代一直在这住着。1997年根据国家文物局要求，县出面征购，经整修后展出“故居概述”和“胡适父母生平”及“胡适九年家乡教育”有关照片、图案等。

胡适故居二厅，为胡适父亲胡铁花所建故居为两进二楼通转式结构，是晚清徽派建筑的典型，历史、艺术价值并存，特别是“兰花板”依存更体现它的价值。占地270平方米。在故居，胡适度过了他的童年生活；1917年返故里与江冬秀完婚，后又回故里为母奔丧前前后后达11个春秋。故居真实客观地记载胡适儿时的生活、学习和情感追求，是研究胡适的重要实物之一。

故居三厅为廊房。

故居四厅为客厅，原为轿房，修缮后展出胡适国际国内部份朋友照片; 汉白玉像和蒋介石送给的晚联：“新文化中旧道德的楷模，旧伦理中新思想的师表。”还有胡适为绩溪旅台同乡会题的名言“努力做徽骆驼”。