据史料和南泉寺出土的康熙十三年《潭州南泉山双林寺中兴记》载，南泉寺始建于南宋绍兴年间，普庵祖师云游憩此，见山水幽奇，层林起伏，遂解杖凿土得井，清泉随手涌出，祖师心知化缘有在，便就地砍伐茅草结庐为庵，盛弘佛法。普庵祖师是当时名闻遐迩的得道高僧，有“北有地藏，南有普庵”之誉。古寺建好后，香火旺盛。困南泉寺古树参天、竹林繁茂，故取名“双林寺”，后因泉在寺的南边，又命名为“南泉寺”。
寺庙发展寺庙历史建寺以来，由宋而元至明成化（1470年左右）凡三百余年。后来由于主持不得人，守规沦坠，法堂草深，明丙戌年（1406年）间，僧名德涌者，勤于法事，深得人缘，将寺殿不断复新。不几岁殿阁巍然，佛僧丕盛，大改旧观。正德间（1510年左右），钦依弘戒宗师等又加大修葺扩充，寺容焕然一新，当时县知事王公还为此立了碑记。正德至明嘉靖辛亥年间（1551年左右）因年久失修，殿舍倾颓，几雨侵蚀，有黄庭铠者主持募捐，得到当时显达的赞助，又将寺殿僧堂门送修理一新。事后又立了碑记。当明清鼎革之际，复遭兵燹，此寺又一次荡为灰烬。清康熙甲戌年（1694）有大龙主崇山德鼎禅师嗣楚薄玉崖上方天目开老人，慨叹南泉寺被废，乃携诸子结庐居废寺旁，筹划重新修建。得到县令唐际的帮助，终于鸠工修建，并创立重门宝殿，广厦修廊，使佛像灿然，紫金光聚，金鼓交参。由是十方檀越近悦远来，湖海高贤云奔水赴。钟鼓之声，远闻数里，常年烟火不绝。这是南泉寺的鼎盛时期。
从康熙重修后，主持僧可考者有：崇山德鼎禅师嗣法门人行和、本山法养行见、祜玉、祜鉴、宗容、宗林、宗兰等庭目下只有深根尚健在，深根原姓蒋，七岁在南泉寺受戒，曾一度在藕花堂寺内住过，解放后住南泉寺所在的向阳村。1984年他作为宗教界人士代表任县政协第二届委员会委员。
南泉寺原有自产：樊家洲水田三·四石，寺冲里一·四石，宋家垅0·二五石。解放前每年收租谷五十——六十石。此外寺后塔山园、吴家坡等山地广阔，每年可砍茅柴作寺内烧柴。1930年，尚见寺的头门，望有“双林古刹”横额，二门刻有“南泉山”横额，二门两侧为通道，前面供有弥勒佛，后面有韦陀神像。第三进为一宽广院落，两旁设有钟楼鼓楼，正中为大雄宝殿，正殿有三尊佛菩萨：阿弥陀佛、消灾延寿药师，释迦牟尼。二十四诸天、四十八罗汉分列两傍，塑像金光夺目，姿态栩栩如生，正殿有对联一幅云：
者个佛，者个菩萨，到底不离者个钟声鼓声，谁能于有声里听无声，静观自在；
什么我，什么人天，究竟是个什么樵梦蝶梦，吾欲于大梦中求不梦，清静如来。
方丈室，禅房设在正厅后面。正厅之西还设有庶务室、寝室以及饭厅杂屋等。向西延伸为观音堂，再西为客厅。无论远近游人或同门僧侣来此，寺僧接待均极殷勤，沏茶煮茗，清香可口。
寺院环境幽雅，前有洋沙湖，碧波荡漾，后山，茂林修竹四季皆春。林中多是数人合抱的大树，其中有枫树四十八棵，槠树二十四棵。一树垸遮天蔽日。那里除了树就是竹子，楠竹密密丛丛人都走不进去。在丛林深邃之处，人迹罕至。夏季炎热之时，如到树荫下去休息，不多时，顿觉暑气全消，精神清爽。不由吟诵清代南泉寺僧德鼎《咏南泉》的那首七律：
古刹名垂数百秋，废兴不一记碑留。
云随鹤梦魂无定，月冷松枝翠欲流。
灯火烁开千圣眼，钟声敲破古今愁。
临风愧我空惆怅，未识谁人护祖猷。
1937年原国民党反蒋爱国将领陈嘉佑归葬于寺之东侧。墓地占面积一亩多，周围用花岗石砌成大半个弧圈，前低后高，高处嵌墓碑，弧前缺口处设有石祭台，两边立有石华表，中为墓葬所在。石围 八十八罗汉栩栩如生外都是大枫树，每到深秋，红叶飘零，墓地履盖着一层金黄的枫叶。因这里墓地气魄庄严雄伟，墓石又光洁可坐，所以游南泉寺者常爱到这里来欣赏景色。
1930年在南泉寺创办湘阴县立中学时，还只占用了一部分寺庙房屋，没有改变寺容。寺内还有和尚居住，香烟也没有断绝。抗日期间城内常遭空袭，当时的湘阴县政府曾两度迁到南泉寺办公。抗战胜利后，南泉寺又由寺僧安幸收回。据说安幸曾经当过县长。1952年湘阴县立中学迁到城北夏家坟山，另建新校舍，曾从南泉寺拆取建筑材料，留下一小部分办了南泉小学。后来小学失火，南泉寺便成了废墟。1958年这里办了茶桑场。而今仅有“潭州南泉山双林禅寺中兴记”的石碑存在，那口古井也在1978年改建茉莉花田时填塞了。昔日的双林禅寺荡然无存了。
寺庙现状南泉古刹
2002年元月，释来修和尚慕南泉寺名，云游至此，结茅庵作庙堂，广结善缘，千百善男信女慕名参拜，一时香火盛旺。2001年开始，广大善男信女面向社会各界募捐，共募集建庙资金120余万元，从2001年10月在南泉寺原地址上奠基动工，至2002年11月第一栋“三佛殿”竣工。“三佛殿”占地425M2，高19.8米，其建筑雕梁画栋，甚是恢弘。殿内供奉释迦牟尼、消灾延寿药师、南无阿弥陀佛三尊佛像，长年香火不绝，甚为壮观。