相传河南嵩山少林寺13武僧帮助唐太宗统一中国后，唐太宗赐于“僧兵”，并准许在全国各地建立十座分寺。莆田县九莲山的林泉院，就是少林寺十座分寺中较早创建的分寺之一。
唐太宗贞观年间，嵩山少林寺僧南下，不远千里来到九莲山，住锡在林泉院。此后，林泉院易名林山少林寺。北宋时，寺庙更加兴旺，僧人500多名，武风极盛， 因为规模宏大（占地约三万平方米），武风鼎盛，影响南中国，故称之为南少林寺，形成南少林拳，与北少林的腿功一起誉称“北腿南拳”。南宋时，寺院仍保留兴旺趋势。刘克庄也盛赞“邑之嵩山少林”。
林泉院毁于清初。清初，南少林寺因在反清复明斗争中与天地会有着千丝万缕的联系，清王朝深为忌恨，遣兵焚毁，南少林寺从此湮没于历史烟尘之中。现在南少林寺遗址一带仅存一些附属寺院，如资福寺、红花亭等。1986年至1988年，莆田县在文物普查中，发现了这座湮灭了几百年的寺院遗址，发现了5个刻有“僧兵”、“诸罗汉浴煎茶散”等文字的北宋石槽。
1998年，南少林寺重建落成。2006年12月，南少林寺正式接纳广化寺方丈管理，成为两寺院共同统一体制。由中国佛教会会长赵朴初先生题写“南少林寺”寺名。