香山寺自创建至今已有1400多年了，有着极其深厚的文化内涵。
1、石楼：武则天“香山赋诗夺锦袍”
在1300多年前的唐朝，武则天在洛阳称帝，非常钟情于伊阙山水，也很喜欢位于其中的清幽雅致的香山寺，她经常在香山寺中石楼坐朝（据〈大唐传载〉记述）并在石楼留下了千年为人们所传颂的佳话“香山赋诗夺锦袍”，武则天在春游香山寺时主持了一次“龙门诗会”，历史上有名的“香山赋诗夺锦袍”即由此而来。宋代人计有功在《唐诗纪事》卷十一中，对此有妙趣横生的记述：“武后游龙门，命群臣赋诗，先成者赐以锦袍，左史东方虬诗成，拜赐，坐未安，之问诗后成，文理兼美，左右莫不称善，乃夺锦袍赐之”。唐代诗风很盛，武则天对胜出者“赐以锦袍”给予奖励，这是一次难得的荣誉，群臣当然各不相让，奋力争夺。首先成诗的是左史东方虬：“春雪满空来，触处如花开，不知园里树，若个是真梅”，武则天觉得东方虬文思敏捷，又才华出众，立即把锦袍赐给了他，而此时，多数大臣也相继成诗，当众诵读，一致认为宋之问的七言诗更在东方虬之上，武则天遂决定把锦袍赐给宋之问，“香山赋诗夺锦袍”也成了诗坛上的一段佳话。而这段典故所发生的地点---石楼就位于香山寺内。
2、九老堂：白居易与“香山九老会”
“停宫致仕”后，白居易更加放情于山水，赏玩泉石风月。因慕恋香山寺清幽，白居易常住寺内，自号“香山居士”并把这里作为了自己最终的归宿，在他七十四岁时，和遗老胡杲，吉皎，郑据，刘真，卢贞，张浑等6人先是结成了“尚齿七老人会”，后来，又有百岁之人李元爽，95岁的禅师如满加入，号称“香山九老”，终日吟咏于香山寺的堂上林下，写下了许多歌咏龙门山水及香山寺的诗篇。“空门寂静老夫闲，伴鸟随云往复还，家酿满瓶书满架，半移生计入香山”《香山寺二绝》这里所描绘的，正是白居易晚年生活的写照。为保存诗稿，白居易又把自己从大和三年（公元829年）到开成五年（公元840年）所作的诗，共800首，合成12卷，取名《香山寺白氏洛中集》收藏在香山寺经藏堂内。会昌六年（公元846年）白居易在洛阳履道里私第去世，家人遵嘱将其葬于香山寺附近如满法师塔之侧。
3、白居易：筹资重修香山寺
盛唐以后，经过“安史之乱”，香山寺因年久失修，渐趋衰败，至白居易任河南尹之时，香山寺已是萧条至极，唐文宗大和三年（公元829年），白居易来洛任河南尹，他闲暇时常在伊阙山水间流连，想修复香山寺，却因财力有限，未能如愿。大和六年（公元832年），好友元稹去世，白居易将为元稹撰写墓志铭所得的酬金悉数拿出，费时3个多月，重修了香山寺，使衰败的旧寺的亭台楼阁换了新颜，并撰写了《修香山寺记》一文。后来白居易又于唐文宗开成五年（公元840年）再次出资修复经藏堂，并收集缀补5000多卷佛经，藏入其中，可以说白居易为唐香山寺的再兴竭尽全力，名山名寺与名人相得益彰，白居易重修后，香山寺再次声名大振，一时间游人络绎不绝。