位于方岩镇橙麓村南寿山坑。建于固厚峰下的天然大石洞中，周围有鸡鸣、覆釜等五峰环抱。南宋时朱熹、吕祖谦、陈亮等学者在此著书讲学。明正德年间，学者应石门首建丽泽祠，与程文德等在此研讨王阳明“良知良能”之学。明嘉靖年间，婺郡太守姚文火召 命永康县令洪垣、甘翔鹏建“五峰书院”。学者周佑德续筑“学易斋”于祠。从此五峰书院日趋兴旺，四方学者云集于此，文风鼎盛。占地面积499平方米。坐北朝南，均二楼三间。通面宽37.3米，通进深13.4米。

方岩风景区中的五峰景区环境优美，空气清新，幽静舒适，历来是文人墨客的荟萃之地。南宋著名学者陈亮、朱熹、吕东莱曾在五峰书院著书立说。现在人们习惯把五峰内的重楼、丽泽祠、学易斋、五峰书院等岩洞建筑统称为“五峰书院”。

丽泽祠系明代学者应典于正德年间创建，祀陈亮、朱熹、吕东莱三位学者，故俗称此为“三贤堂”。构筑在天然石洞中，宽16.4米，深13.3米。学易斋位于丽泽祠西侧，是明代永康学者周佑康为纪念婺郡学者何北山、王鲁斋、金仁山、许白云、章枫山而建。其建筑面积较丽泽祠、五峰书院为小。五峰书院建筑壁北朝南，三开间，略呈方形，洞宽12.75米，深11.3米，总面积175平方米，屋高二层，屋内设直径37厘米的圆柱18根，柱础造型系明代风格。书院久经沧桑，因洞造屋，建筑十分牢固。

五峰书院在五峰景区的寿山石室.南宋乾道八年(1178年)陈亮假此设帐授学,寿山石室声名鹊起,渐成气候。南宋淳熙九年（1182年）秋，朱熹提举渐东常平茶盐举行荒政巡历婺州，访陈亮于五峰。优游之余，乃请朱熹主讲席达半月之久，四方学子趋之若鹜，从学同游者常在三四百人，颇极一时之盛。因此，五峰书院尽管明嘉靖十五年（1536年）正式建成，其肇始之功却非陈亮莫属。清代康雍乾之后，国运日衰，五峰书院逐渐蜕变成祭祀型书院。民国25年（1936年），永康县名胜管理委员会筹资对日趋颓败的五峰书院等进行简单的修葺。1937年抗战爆发，次年浙江省政府搬迁方岩办公，五峰书院被辟为省主席办公室。解放后，五峰书院受到了较好的保护。1959年以书院为基础兴办永康师范学校。1982年5月，五峰书院由县人民政府公布，列为县级重点保护单位，总建筑面积近2000平方米。1997年8月，由少浙江省人民政府公布为省重点文物保护单位。尔后，旅游局在文物部门的指导下，对统称为五峰书院的石洞建筑群（包括丽泽祠、易学斋），按照修旧如旧的原则精心修缮，柱础梁架结构不变，穿斗丁拱不事雕饰，较好地保留了明代建筑的法式和覆崖为顶的石洞建筑风格。

1999年，永康市风景旅游局投资50多万元对书院的陈列内容进行调整充实，创建了以“书院与中国文化”为主题的展览馆。展览馆设祭堂、书院历史、书院制度、书院功能（讲堂、刻书坊、藏书楼）、书院与文房四宝、书院与科举制度、五峰书院与永康学派等八个展厅，用大量实物、照片和图表对中国古代书院文化进行全面系统的介绍。中国书院文化展览是五峰书院这株古树抽出的新枝，结下的硕果，闯出了一条在加强文物保护的同时，充分发挥文物的教育作用的新路，因而受到了有关领导、专家和社会各界的好评。