据考,还乡祠始建于唐初,多次被毁。其形制仿文庙,坐北向南。曾有一壁、四门、一坛、两庑、两殿、一厅和碑林。宋真宗时,孔子四十五代孙孔良铺、孔彦辅由由曲阜来此定居,对还乡祠修复扩建。金代,又立杏坛碑于大成殿之前。清道光元年,增建四代祠(崇圣祠)。 还乡祠由于年久失修,逐渐毁坏。现政府正按旧制逐步修复。