史籍记载，孔子的祖先是宋国人。西周初年，微子启封于宋。死后，其弟微仲继位。微仲死后，子宋公稽立。宋公稽死后，子丁公申立。丁公申死后，子泯(min)公共立。泯公共死后，弟炀公熙立。泯公共次子鲋祀杀炀公，欲立太子弗父何。弗父何不受，鲋祀自立为厉公。弗父何则为宋国上卿，受采邑于栗（即现在的商丘市夏邑县）。 弗父何在栗定居后，生宋父周。宋父周生世子胜，世子胜生正考父，王考父生孔父嘉。 孔父嘉为宋国大司马。它殇公十年（公元前710年）被太宰华督所杀。又三十年，宋国又爆发了一次内乱。孔父嘉之曾孙孔防叔避乱奔鲁。防叔生伯夏。伯夏生叔梁纥。叔梁纥生孔子。 因为夏邑是孔子的祖籍，孔子的先祖弗父何及以下六代宋父周、世子胜、正考父、孔父嘉、木金父、皋易均葬于此。

自1994年始，国际性的孔子祖籍文化学术研讨会已在夏邑召开三次，并成立了孔子祖籍文化学会。 夏邑县城北六公里王公楼村，有孔子的祖坟。孔子常回来祭祖省墓。后人为纪念孔子还乡，在此大兴土木，建起了还乡祠。 据考，还乡祠始建于唐初，多次被毁。其形制仿文庙，坐北向南。曾有一壁、四门、一坛、两庑、两殿、一厅和碑林。宋真宗时，孔子四十五代孙孔良铺、孔彦辅由由曲阜来此定居，对还乡祠修复扩建。金代，又立杏坛碑于大成殿之前。清道光元年，增建四代祠（崇圣祠）。 还乡祠由于年久失修，逐渐毁坏。现政府正按旧制逐步修复。