香山寺位于城东南15公里香山巅。历称香大普门禅寺；元延祐年间,曾称香山十方大普门禅寺。

据传,寺内所奉三皇姑为苗庄王三女妙善。初在邑境东部白雀寺邮家；继在香山寺修成正果,称大悲观世音菩萨,亦称千手眼佛；浙江普陀山有普陀寺者,为观世音菩萨显灵说法道场。故白雀寺、香山寺、普陀寺，遂传为佛教圣地。

香山寺坐北向南，占地约6万平方米。寺后悬崖峭壁，怪石嶙峋。寺前坡势稍夷，自山腰四大天王殿至山门间，有石阶120级。寺院建筑，规模宏大、布局合理。八角九级大悲观音大士塔雄踞中央，铜钟悬挂，碑碣林立，崇台峻阁，雕梁画栋，梵宇峥嵘，气象森严，集中体现了中国传统建筑的艺术特色。寺西南隅塔林，占地40余亩，在历代僧尼舍利砖塔47座。全盛时期，有殿堂楼阁20余处，斋寮僧舍200余间。每年二月十五日，即大悲菩萨成佛日为香火大会，远近善男信女崇敬朝拜；后每月初一、十五均成大会，四方游客云集，香火经久不衰。

该寺自东汉末创建，历经宋、金、元、明、清，屡遭战乱，几经破坏，多次修复，香火未断。在“文化大革命”中，惨遭浩劫，除观音大士塔，重建了大悲正殿、大雄宝殿各7间，观音殿、广生殿、地藏王殿、伽蓝殿、祖师殿、包公殿、九老阁、吕祖殿各3间，四面观音殿、天王殿各5间，正门3间，魁星楼1间，并重塑金像，复施彩绘，使古刹再现神采。