西塞山位于在湖州西南部十公里许的弁南乡樊漾湖村霅溪湾。

清雍正《浙江通志》卷十二载：

“吴兴南门二十余里，下菰青山之间一带远山为西塞山。山明水秀，真是绝境。其谓之西塞者，下菰城为（楚春申君）屯兵之处，坐西向东故也。”《湖州市地名志》亦载：“旧郡志谓严尚书震直墓在西塞山，尚书自号西塞翁，殁葬其山，土人至今曰西塞山。”

西塞山因中唐隐逸诗人张志和(730～810)写有《渔父》词：“西塞山前白鹭飞，桃花流水鳜鱼肥。青箬笠，绿蓑衣，斜风细雨不须归”而闻名于世。山以诗传，西塞山也因而成为湖州胜景。明万历时，“西塞渔晚”被列为吴兴八景之一。

西塞山还有严震直墓。严震直，乌程人，明洪武二十六年(1393)任工部尚书。卒后葬故土西塞山。