书院最早现于唐朝
“书院”之名最早出现在唐朝。
书院最初为读书的书楼。贞观九年（公元635年）设于遂宁县的张九宗书院为较早的私人书院。官立书院起初是中央政府官方修书、藏书、校书偶尔也为皇帝讲经的场所，性质为官署。
唐代书院普遍不具有学校的性质。
清代文人袁枚在其《随园笔记》中谓：“书院之名起唐玄宗时，丽正书院、集贤书院皆建于朝省，为修书之地，非士子肄业之所也。”这句话包含两方面意思：一是认为书院之名起源于唐代的丽正书院、集贤书院；二是明确指出后代书院的核心功能是教学，即所谓的“士子肄业之所也”，而丽正书院、集贤书院则不具备这一功能。现在来看，袁枚的这一论述符合历史事实。
书院真正具有学校性质，是在唐末和五代基本形成的。闻名于后世的嵩阳书院、应天府书院、龙门书院，都始建于五代。
宋朝书院成教育機构
宋初利用唐代以来出现的书院，通过赐书、赐额、赐田、召见山长等方式进行扶持，使其替代官学，为国家培养人才，形成了一批颇有影响的书院。岳麓、白鹿洞、石鼓、嵩阳、应天府、茅山等书院都是因教学有功获得御赐而扬名的。及至南宋，作为一种正式学校教育制度的书院，由南宋大理学家朱熹创立。
南宋书院的发达与兴盛，公认的标志有二：一是它与理学的一体化，二是书院制度的形成与完全确立。南宋书院制度不仅吸取了官学与私学的经验教训，而且采纳了佛教尤其禅宗丛林、精舍，以及道家宫观传法讲学的经验。书院制度的形成标志着中国教育事业进入了官学、书院、私学三轨并行的时代。
元代继承了南宋的书院衣钵。在书院的发展史上，元代的最大贡献是弥补了辽金时代的缺憾，将书院和理学一起推广到北方地区，缩短了历史背景下形成的南北文化差距。
明代书院进入成熟推广期
书院的数量在明代出现大增。据统计，明代书院总数达到2000所左右，远超唐宋元三个朝代的总和。
明朝书院分为两类：一是重授课与考试的考课式书院，同于官学；另一种是教学与研究相结合，各学派互相讲会、问难、论辩的讲会式书院。
明代书院的分布总体上由先进发达地区向边远落后地区推进，读书种子已经撒向神州边陲和发达省份的穷野之地，这标志着书院的发展进入了成熟期推广阶段。
清初统治者实行严酷的文化禁锢政策，担心书院的自由讲学之风会撼动统治基础，严格控制书院活动，抑制书院发展，并使之官学化。清代书院分为三类：一是重视义理与经世之学；二是以考科举为主，主要学习八股文制艺；三是以朴学精神倡导学术研究。
第一次鸦片战争后，随着西方新式学校及其制度的引入，光绪皇帝于1901年诏令全国书院一律改为新学堂，中国书院及其制度就此结束。民国建立后，在香港和台湾均有学校称作书院，如著名的新亚书院、崇基学院和联合书院，但其实它们与古代书院不同。