位于南北湖西首，夹于南木山、北木山之间，号称“天下第一小城”。古城堡南北长72.4米，东西宽41.3米，高5.5米，石城周长不到1公里。城堡虽小，却碧瓦红墙，城堞箭楼，威武雄壮，有人称其为“江南八达岭”。明朝《续澉水志》记载：“谭家山，在永安湖西，有高岭，过此入海宁县界，乃南唐道人谭峭得道处。”至今尚存仙人脚、石浴缸等有关谭仙的遗迹。此处历来是兵家必争之地。明嘉靖年间，倭寇骚扰我东南沿海，抗倭劲旅戚家军曾驻防谭仙岭，在谭仙岭及其附近遍设寨堠，置烽火台。

鸦片战争期间，清政府于道光二十四年（1844年）命巡抚刘韵珂在谭仙岭要隘处修筑石城，当时石城高一丈二尺，周长七十丈二尺，内有炮台2座，官厅5间，营房10间。谭仙石城到“文化大革命”时遭破坏，1989年由县政府拨款重建了箭楼，塑起了徐行健雕像，并安装了道教63尊像等。