少陵台位于城内中御桥东，府河北岸（今市公安局院内），台长、宽各约40米，高12米。公元742~756年（唐天宝、至德年间），杜甫3次到兖州探望其父亲（兖州司马），曾登兖州城南楼，举目远眺，不胜感慨，遂写下了1首著名诗《登兖州城楼》。诗曰：东郡趋庭日，南楼纵目初。浮云连海岱，平野入青徐。孤嶂秦碑在，荒城鲁殿余。从来多古意，临眺独踌躇。

1370年（明洪武三年）升兖州为府，城向南扩建。在杜甫登城楼处，城墙保留一段，改建成台，砖砌台阶，遂称"少陵台"。清顺治年间，知县赵惠芽在台上建八角凉亭一座，并刻"杜公造像碑"树立亭中。少陵台成为明清时期兖州名胜"南楼秋月"，即兖州古八景之一。

兖州城南楼虽经历代战乱，砖楼无踪，但遗址尚存。而登台览月，领略杜少陵遗韵，古城楼便成为历代文人学士的游览胜地。