舍利塔位于爱晚亭右后方不远的树林中，过了枫林桥，便能见到这座形似僧帽的古塔。
宋沙门觉范撰《院感应佛舍利塔记》：隋文帝杨坚于梁武帝大周七年六月出生于同州（今陕西大荔县）大兴寺中，婴儿时曾暴虐，有尼名“智仙”者，从外至，对杨坚之父杨忠说，此儿大有福分，为天佛所佑，不可令居家中，当代为养育，于是杨忠辟馆延居，杨坚30岁时，才让他回家，女尼以舍利子数百颗授之，曰：“以此福苍生”。杨坚称帝后于仁寿二年（公元602年）诏令全国五十二州，在名山福地绘塔，分藏舍利子，塔下绘尼之像以纪之。据说岳麓山这座塔就是其中之一。
塔分三层，塔基正方形，花岗石砌成，高12米。相传隋文帝杨坚为感谢尼姑智仙对自己的抚养之恩，诏令在全国各座名山修建佛塔供奉智仙的舍利子，塔下都绘有这位尼姑的像。
这座塔在五代时被毁，民国初年时麓山寺的僧人找到遗址将塔重建。
