“书院”这个名字始于唐朝，原是修书、校书、藏书之处，后来逐步演变成读书人讲学读书、准备科举应考之地。望江历史上记载的最早书院为唐代建于香茗山的莲花书院。宋、元两代因战乱原因，缺少书院资料记载，当时慈湖畈的慈湖书院在安庆都较为著名。慈湖书院是王幼学晚年私人讲学的地方。
王幼学(1275～1368)，字行卿，别号慈湖，太慈镇桃岭人。他生不逢时，1279年南宋被元灭亡时他才五岁，被元兵俘掠至河南洛阳，为一陈姓人家收为义子。王幼学天资聪敏，勤奋好学，博览陈家藏书，学业大进。元大德三年(1299)，他得到一本南宋朱熹所撰《通鉴纲目》，用了二十年的时间，七易文稿，将这本巨著全部加以引喻释义，于仁宗延佑五年(1318)编纂成59卷的《通鉴纲目集览》，泰定元年(1324)刊印出书，盛行于世。因为他才华出众，多次被大臣推荐到朝中为官，都被加以拒绝，只潜心钻研理学和史学，被誉为元代八大名儒之一。
元至元二年(1336) 60岁时，返回故乡望江，居值雪山（又名太阳山）旁慈湖畈，并筹建了慈湖书院，亲自讲学，有百余人到书院听讲，罗珊瑚敬重他为家乡做出的贡献，为书院题词：
流水接慈湖，道统常钦王幼学；
高山连值雪，诗怀每忆李青莲。
王幼学元至正28年逝世，享年93岁，葬于桃岭雄鱼山，坟前立有元代墓碑，上面镌刻“元理学家王幼学先生之墓”。 后人在明代修缮墓地时立有“大儒王公慈湖先生之墓”。清代时望江学者将王幼学像奉入圣庙，列为先贤配享祀位。
书院故址虽早年被毁，但却留下了历史辉煌灿烂的一页。
草气迎裾岂漫游？
炙鸣絮酒吊前修；
当年不破书千卷，
此日谁怜土一丘
……
这是明人凭吊慈湖先生的诗句。
