五磊寺位于五磊山象王峰的南麓，在浙东地区可称得上是第一古寺。相传在两千年前，印度高僧那罗延来到中国，跋山涉水，千选万择选中了五磊山上的这块风水宝地，便收罗枯枝败叶，燃起一簇篝火，招徕信徒。当熊熊之大火冲天而起之时，也是中印文化交流的开始之日。然圣火虽炽，应者几无；高山相隔，知音难觅。那罗延把圣火不知烧了多少天，也不知走了多少路，费了多少心机，上山者仍寥寥无几。但他毕竟已成正果，大彻大悟，又有金刚不坏之身，所以能够忍受饥渴的煎熬、毒蛇猛兽的袭击而矢志不渝，百折不回。

有一日，孙权的母亲坐船经过五磊山脚，天色已晚，海面上雾霭弥漫，就在山下驻歇。半夜里，孙太后发现山上有隐隐火光，时明时灭，便命人上山察看，才发现了那罗延的行踪。孙太后念其传道虔诚，特意在其火光升起之地修了一座小小的寺院，这才使那罗延结束了多年来风餐露宿、枕石漱流的生活。

一切文化都是人创造的，佛教文化当然也不例外。五磊寺罗汉阶的传说以及望海楼、王蟒蛇、乌龟山、老虎洞、搔痒树等传说，都为因为有了五磊寺才日益引人瞩目。但从现代观念看，这一切似乎又并不是最重要的，五磊寺的真正作用，除了是一处宗教开放场所和旅游胜地外，还应当以其悠久的历史向传统的“佛教由西向东传播”观点提出挑战。目前，佛教造像早期（指汉末至西晋）南方传播系统的观点已引起学术界的注意，这不仅是佛教文化研究的新发现，也是佛教艺术研究的新领域，而五磊寺的坐式韦驮正是体现了这一传播系统的一大特点。

令人魂牵梦萦的另一个地方是五磊寺门前的那口万工池。这一池碧波荡漾的清水，从东面的象眼泉潺潺而来，注入万工池后又经小渠流到月亮泉，长年不竭，所以格外的甘冽和清澈。据说这口池是那罗延带领弟子亲自开凿的，为了开凿这口池，得道高僧曾与山中恶魔斗智斗法，死伤多人，故名“万工池”。后世传人还在池旁植赤松五棵，作为五磊寺的香木。据说这万工池的位置原先是那罗延举火之地，所以这池水不但能祛病驱邪，而且喝后会使人聪明伶俐。直到今天，前来朝山进香的人还会带上一碗水给家中的孩子喝，这大概以可算是佛教中国化后的一种具体表现了。

到了唐僖宗文德元年（公元888年），五磊寺的规模得到了极大的扩展。各种经幢阁楼美不胜收，殿堂亭榭尽浮佳气，真可谓“古寺楼台高避暑，晴天松柏昼生寒”。历代的文人墨客也为五磊寺留下数量可观的丽章佳句，如宋代舒＊的游五磊寺诗曰：“五磊峰高笔插天，苍朽合抱数千年，尘氛洒落非人世，风落清明近月边。”为了给香客提供歇脚之所，五磊寺在杜湖边的石湫头设有下院，专供上下山者小憩。

三十年代初，弘一法师曾在五磊寺驻锡，并准备创办“南山律学院”，后因与主持意见分歧而未能如愿。1942年，浙东区党委在宓家埭成立之后，谭启龙、何克希等曾率抗日健儿在此开会、整休，制订领导浙东人民抗日的方略。三北的几次战斗，使敌顽闻风丧胆。解放以后，寺中的僧人每回忆起这段历史，常津津乐道，引以为荣。

如今，五磊寺正被修复一新，“五磊讲寺”四个苍劲有力的大字，是赵朴初先生亲笔所题，为五磊寺增辉添色。据五磊寺住持真如法师介绍，该寺每年接待客人在20万以上。逶迤十几里的盘山公路，已享有“小庐山”的美誉，然而，一些国外游客，为表示参佛虔诚，却不愿坐汽车，而是从山脚开始下三步一拜，直至寺前。五磊寺在海内外的影响，由此可见一斑。