1683년(숙종 9) 지방유림의 공의로 안향(安珦)의 학덕을 기리기 위하여 영당(影堂)을 건립, 영정을 봉안하여 춘추로 제향을 지내왔다. 순조 때 유림 임동승(林東昇) 등이 협력하여 서원을 창건하고 신덕재(辛德齋)와 박금서재(朴琴書齋)를 설립, 선현배향과 지방교육의 일익을 맡았다.

그 뒤 대원군의 서원철폐령으로 훼철되었다가 후손들이 사우(祠宇)를 건립하고 현판을 ’합호사(合湖祠)‘라 하였다. 1931년경에 유림이 서원복원을 추진, 1949년에 합호서원으로 복원하여 서원의 면모를 갖추었다.

경내의 건물로는 3칸의 사우, 중앙 신문(神門)과 양 옆 협문(挾門)으로 된 내삼문(內三門), 5칸의 성의재(誠意齋), 외삼문(外三門) 등이 있다. 사우에는 안향의 위패와 영정이 봉안되어 있고, 재실은 각종 행사 때 유림들의 회합장소 및 제향 때 제관의 숙소로 활용되고 있다.

매년 9월 12일에 향사를 지내고 있으며, 제품(祭品)은 4변(邊) 4두(豆)이다. 2012년 세종특별자치시 777 무료 슬롯 머신재자료로 지정되었으며, 유물로는 영정과 안향의 친필이 소장되어 있고 재산으로는 대지 350평 등이 있다.