한국불교태고종에 속한다. 861년(경문왕 1)에 도선국사(道詵國師)가 창건하였으며, 이 절 부근에서 향기로운 차(茶)가 많이 생산되었으므로 향림사라 하였다. 그러나 중창 및 중수의 역사는 전하지 않는다.

현존 당우로는 대웅전과 삼성각(三聖閣) · 요사채가 있다. 대웅전은 정면 3칸, 측면 3칸의 주심포계(柱心包系) 팔작지붕으로, 겹처마에 단청하였는데 1966년 11월에 이건하여 보수하였다. 프라그마틱 슬롯사이트유산으로는 1985년 전라남도 유형프라그마틱 슬롯사이트재(현, 유형프라그마틱 슬롯사이트유산)로 지정된 3층 석탑 2기와 2006년 전라남도 유형프라그마틱 슬롯사이트재로 지정된 동종이 있다. 삼층석탑은 하층 기단이 매몰되어 있고 상륜부(上輪部)의 노반까지만 남아 있는 고려시대의 탑이다. 이 절은 1984년 전라남도 프라그마틱 슬롯사이트재자료(현, 프라그마틱 슬롯사이트유산자료)로 지정되었으며, 주변에는 작설차가 많이 재배되고 있다.