金庸笔下的江湖里面少林寺一直都是泰山北斗。无论在任何时候，少林永远都是总用一个让你意外的高手存在，你永远都不能小看少林的。指不定在哪个角落挑水或者扫地的和尚里面就跑出一个绝世高手。
大家都以为少林寺是达摩所创，其实少林寺早于北魏太和19年（公元495年），是北魏孝文帝为安置印度高僧跋陀而敕建的皇家寺院。 公元520年，一个叫达摩的印度高僧从印度渡海到达广州。再由南而上，“一苇渡江”跨过了长江，来到了嵩山少室山上。在后山达摩洞，参悟佛法，（传说也在这里留下两本武功秘籍“洗髓经”和“易筋经”。）成为中国禅宗始祖。而少林也因为达摩，成为中国佛教圣地。
但是近代很多考证，少林武学真正是起源来自跋陀的弟子稠禅师。据说张鹫《朝野金载》卷二载：“北齐稠禅师，邺人也，幼落发为沙弥，时辈甚众，每休暇，常角力腾去为戏。”而他出家的地方应该就是邺下寺，在邺下寺建寺之后，由于有大量来自皇家的奖赏。有了奖赏自然需要看护，于是寺里的僧人开始习武。稠禅师自然也在邺下寺习得武艺，后来到了少林寺，拜跋陀为师。又把习得邺下寺武术带到了少林。从此少林寺有了习武的传统。
到了隋末，天下割据。这个时候李世民正和王世充争夺天下， 王世充占领了河南称帝，国号为郑。王世充在河南抢占了大量的良田，其中就有少林寺的不少土地。于是和少林寺产生了不少矛盾。而此时的秦王李世民带兵来河南征讨王世充。结果李世民被王世充打败，就在李世民要被抓的时候，少林寺主持派当时的少林武术总教头（相当于金庸笔下的达摩院首座）带领十三棍僧打败追兵，活抓了王世充的侄子王则仁。后来李世民当上皇帝，封昙宗为”大将军“，而其他僧人不愿为官。李世民为了感谢他们便在少林寺为他们立碑。（这块碑至今还在少林寺里面）从此少林寺名声更盛，而少林武僧的威名也传遍全国。
到了明朝，由于朱元璋是和尚出身，于是对少林寺有了更大的支持。少林寺到了最辉煌的时候，大明朝对少林寺大力地扶持，而少林寺也经常派僧人协助大明王朝抵御倭寇。同时派僧人到军中担任武术教头，而更在万历四十一年一个叫陈元赟的杭州人入嵩山少林寺习武，并于日本后西天皇万治年间(相当于顺治十二年—十四年，1658—1660年)以明遗民身份移居日本后，以拳法传授浪人三浦与次右卫门、矶贝次郎左卫门、福野七郎右卫门等人。后日本武术家在薪火相传中，吸取陈传少林武术精华，助益于传统柔术。陈元赟的三位高祖至今仍被日人奉为柔道鼻祖。
到了清朝，由于一直受明王朝恩惠的少林，少林成了反清复明的基地。清朝初期，清政府对少林寺进行了无情的镇压。 少林寺的许多僧人也因此没有了经济来源，只能流落江湖，靠卖艺为生。少林寺也几乎被灭寺。一直到了清中后期，少林寺才慢慢有所缓解。到了民国初年，有记录在册的少林僧人只剩下200来人。
建国以后，新中国对宗教自由的尊重，少林寺也慢慢地恢复了活力，现在更是成为武术培训基地和旅游景点，更有传少林寺要上市的消息。但是在武侠迷眼里，少林还是那个武林圣地。
