岳麓山自古就是文化名山。西晋以前为道士活动据点，曾建有万寿宫、崇真观等。西晋武帝泰始四年（268年）麓山寺创立，至今仍保存完好。东晋陶侃曾建杉庵读书于此。六朝建道林寺。唐代马燧建“道林精舍”。唐末五代智璿等二僧为“思儒者之道”，在麓山寺下，“割地建屋”，建起了“以居士类”的学舍，岳麓书院就是在智璿等办学的基础上“因袭增拓”而诞生的。
北宋开宝九年（公元976年），潭州太守朱洞在原僧人办学的遗址上，即岳麓山下的抱黄洞附近正式建立起了岳麓书院。北宋大中祥符（1008－1017）年间，岳麓书院进入了北宋的鼎盛时期。大中祥符八年（公元1015年），宋真宗亲自召见山长周式，对周式兴学颇为嘉许，亲书“岳麓书院”匾额，书院之名始闻于天下，有“潇湘洙泗”之誉。至今书院所存明代“岳麓书院”刻石，便是当年宋真宗的手迹。在周式执掌下，岳麓书院的从学人数和院舍规模都有很大发展，遂成为天下四大书院之一。关于“四大书院”有多种说法，但唯有岳麓为诸家共推，反映了古之学者对岳麓的推崇。