出寺向西北行一公里，便是初祖庵。这座寺院主要是为了纪念禅宗初祖达摩上山修行而建。庵内有山门、大殿、千佛洞，现存主要建筑为一殿、两亭和千佛阁等。大殿建于北宋宣和七年(1125)，木构梁架，斗栱都是典型的宋代风格，是河南现存木构建筑中之杰作。殿内梁柱用16棂石柱和弯曲圆木叠成，柱上雕刻的武士、游龙、舞凤、飞天、凤戏牡丹、群鹤闹莲等图，工艺精细，神态生动，体现了宋代中叶绘画和雕刻技艺的水平。大殿东南有古柏一株，相传为禅宗六祖慧能所植，俗称马柏。殿后两亭有宋代书法家的碑石四十余品。初祖庵不远的五乳峰中有一“达摩洞”。洞前立有一片明万历三十二年(1604)雕刻的双柱单孔石坊，洞内有“面壁石”一块，据说是由于达摩在此静坐面壁九年其影入石所致。佛徒们视此为至宝，可惜已毁于兵火。
二祖庵位于钵盂峰上，庵内有大殿、碑碣数道，庵外有古柏及唐、元、明代砖塔三座，庵南有一块巨石叫“石削石芙蓉”，传为慧可断臂养伤处，名“养臂台”。庵前有四眼泉水，虽相隔咫尺，但水味各异。据说慧可在此养伤时吃水困难，达摩知道后便用锡杖点几下，所点之处便涌出泉水，故称“卓锡泉”。南面还有觅心台，为慧可行经处。
寺西300米处，有一片宏大的古塔群，这是安葬历代高僧、住持、大和尚的坟墓，占地约1.4万平方米，共有唐、宋、金、元、明、清历代250多座砖塔和石塔，为我国最大的塔墓群。塔从一级到七级，为四、六、八角，也有柱体或锥体，空心实心均有，大都雕刻塔铭题记。塔林是我国研究砖石建筑的重要实物资料。
