湘山古塔始建于宋代，初名“永懷塔”。古塔系樓閣式空心磚體，六角，七級，鐵葫蘆頂，連基座到塔頂，共九層，高約13米，入口門楣上鐫刻“湘山寶塔”四字，左右兩側鑲嵌對聯(lián)：“月攜塔影天河去，我載琴聲鹿原來”。塔身中空，登上塔頂可俯瞰炎陵山城全貌。塔外部逐級鑲有“八仙過海”等浮雕，清代工部主事尹榮福到此游覽，留下了“殘霞飛殿角，落日掛林端。塔影連天碧，山光入水寒”的詩句。

1984年10月，湘山古塔被株洲市人民政府列為市級文物保護單位