叠翠楼依崖而建，楼三层，屏风临壑，檐翘凌云，时闻风铃作响。相传，慧远在这里修行数年，又云游四方。走后当天晚上，熟睡的僧人被沙沙的树叶声惊醒，以为山中起风，便俯窗而视，却见月华如水，并无半点刮风迹象。僧人们早晨起来，却见禅院东南端突然冒出一座楼阁，立即明白是慧远大师临别所赠，遂以昨晚的树叶重叠之声将此楼命名为“叠翠楼”。