少林寺始建于北魏太和十九年（495年）。32年后，印度名僧菩提达摩来到少林寺传授禅宗。以后寺院逐渐扩大，僧徒日益增多，少林寺声名大振。达摩被称为中国佛教禅宗的初祖，少林寺称为禅宗的祖庭。禅宗修行的禅法称为“壁观“，就是面对墙壁静坐。由于长时间盘膝而坐，极易疲劳，僧人们就习武锻炼，以解除身体的困倦。因此传说少林拳是达摩创造的。少林寺在唐朝初年就扬名海内。

少林寺和尚惠场、昙宗、志坚等13人在李世民讨伐王世充的征战中，助战解围，立下了汗马功劳。唐太宗李世民后来封昙宗和尚为大将军，并特别允许少林寺和尚练僧兵，开杀戒，吃酒肉。 寺内有一块《唐太宗赐少林寺主教碑》，记述了这一段历史。由此少林寺发展成驰名中外的大佛寺，博得“天下第一名刹”的称号。

在明朝，少林寺到达鼎盛时期，从清朝开始衰落。1928年军阀混战，军阀石友三火烧少林寺，把天王殿、大雄宝殿、法堂和钟楼等主要建筑统统毁于一炬；许多珍贵的藏经、寺志、拳谱等化成灰烬。现在还存在的建筑有山门、立雪亭、千佛殿等，其它建筑正在陆续恢复中。