1853年（嘉永6年）尊王攘夷、幕府动乱时期，备中西江原一带的年轻人心里动荡不安，且风俗紊乱,年轻人纷纷失去了梦想。于是以一桥家的县长友山胜治为中心有志之士发起,振兴这个地区的教育，以造就兴譲馆的开端。
初代馆长、芳井村私塾“樱溪塾”的私塾长阪谷朗廬先生，一边为资金周转奔走一边筹建乡校「郡中教谕所」。从江户到长崎的途中，路过的古贺茶溪（先师的孩子）留下了墨迹「兴譲馆」，因此取校名「兴譲馆」。
自从创校以来仅仅10年，从山阳道而来的学子们纷纷上门，并在日本的中国地区，四国，九州岛留下了名为「天下三馆」的学校，阪谷老师也被誉为「海内的儒宗」震威天下。
自那以来约160年的时间，兴譲馆一直引领那片地区的教育。明治时期的发布新的学校制度,使得很多藩校、乡校和公立学校谋求转变,但兴譲馆依旧维持半官半民的私学模式至今。现今，兴譲馆是我国的高校(私立学校没有变更学校名称)历史最悠久的。
