六祖寺始建于唐代，距今已有一千三百多年有历史。于清嘉庆十四年重修时，六祖寺的建筑面积为600多平方米，灰沙春墙杉木瓦结构。整体为中轴线平面布局，分别由大门、前殿、后殿及左右辅以的厢房、廊庑及小巷构成一体。寺庙四面环山，山势峻俏，景色宜人。与六祖寺相邻的山间，还有“六祖池”、“佛堂顶”、“仙人路”、“烂布衣”等与六祖当年行迹有关的地名和山名。六祖寺自唐代建成以来，就吸引了众多善男信女前往参拜。逢年过节，寺门香客如鲫，香火甚为鼎盛。参拜者除本地信众外，珠江三角洲一带亦有不少人慕名前往参拜。
历史传说：六祖惠能为岭南佛法之始，为什么要在四会避难藏身呢？相传惠能投湖北黄梅东山寺（现五祖寺）五祖弘忍门下，因作谒得到了弘忍赏识后，弘忍便秘传禅法，付与法衣钵孟，成了禅宗六祖惠能，弘忍的大弟子神秀因未能得到师傅亲付衣钵，很不服气，于是纠集一班门徒，欲害惠能，夺回衣钵，弘忍见有人想害惠能，便吩咐他从速南去，临行前对他说“逢怀则止，遇会则藏”（怀指今怀集县，距四会140多公里，会指四会市）。惠能便带着衣钵匆匆南下，神秀派人跟踪，直到韶州（今韶关市），还有人追逐他。惠能回到广东后，想起师傅的嘱咐，为了避开敌人，隧往四会，当他走到龙头铺子林时，见那里山高林茂，地势偏僻，景色宜人，村民以耕种、打猎为生，他想猎人以杀生为业，又多在山林0没，是避开敌人追踪的最好处所，于是便找到一个姓叶的猎户家住下来，当时惠能还是一个二十多岁的年轻人。惠能经过多年的避难藏身经历，亲自接近下层乡民，对他后来的宗教哲学影响是很大的，如他主张“心平何劳持戒，行直何用修禅”。意思是不用背诵佛经，不要累世修行，只要放下屠刀，便可立地成佛，六祖惠能还认为“下下人有上上智”。其佛教理论都是有中国自己宗教哲学的独特见解。据传，在四会一直流传着六祖慧能点化阮公圣佛阮子郁，阮子郁又点化梁公圣佛梁慈能，相继成佛的故事。四会还有唐朝所建的祭祀梁公圣佛和阮公圣佛的宝林古寺和宝胜古寺。新六祖寺于1997年3月奠基重修，历时四载而成，寺院占地60000余平方米，建筑面积5000多平方米。建有六祖大道、牌坊、风雨亭、放生池、山门、天王殿、大雄宝殿、六祖殿、藏经阁、钟楼、鼓楼、功德堂、永思堂、观音堂、罗汉堂。各殿堂供奉诸佛菩萨金身。六祖金身塑像慈祥可亲可敬，端坐殿内，庇佑人间风调雨顺，国秦民安、人寿年丰。此外，还建有斋堂、配殿、客舍、方丈室、僧人宿舍以及广场、停车场等。全部建筑采用白墙绿瓦红柱传统古典寺院设计，蔚为壮观。据说，这是各地众多六祖惠能寺院中规模最大、最为堂皇壮丽肃穆、唯一被命名为“六祖寺”的古刹寺院群体。
