舍利塔在爱晚亭后右方不远的密林中。过了枫林桥,便能见到一座形似僧帽的古塔,塔基正方形,边长约二米,塔高十二米,四角和正面共有五幅浮雕,正面是佛象。塔旁竖一石碑,正面刻有“隋舍利塔”,背石刻有“共建菩提”,外面设石栏保护。宋沙门觉范撰《隋感应佛舍利塔记》:隋文帝杨坚于梁武帝大同七年六月出生于同州(今陕西大荔县)大兴寺中,婴儿时曾暴病,有尼名“智仙”者,从外至,对杨坚之父杨忠说,此儿大有福,为天佛所佑,不可令居家中,当代为养育,于是杨忠辟馆延居,杨坚30岁时,让他回家,女尼以舍利子数百颗授之,曰:“以此福苍生”。杨坚称帝后于仁寿二年(公元六零二年)诏令全国五十二州,在名山福地建塔,分藏舍利子,塔下绘尼之像以纪之。据说岳麓山这座塔就是其中之一。