본관은 광산(光山). 자는 이현(而顯). 김천희(金天禧)의 증손으로, 할아버지는 김진해(金振海)이고, 아버지는 김시성(金是城)이며, 어머니는 김남로(金南老)의 딸이다.
어렸을 때부터 뜻이 원대하고 기개가 커 남에게 구속받지 않는 기풍이 있었다. 1684년(숙종 10) 진사가 되었고 1695년 황감별제(黃柑別製)에 장원하여 특별히 주택을 하사받았다.
그 해 별시 문과에 병과로 급제, 성균관에 배속되었다. 뒤에 전적(典籍)으로 승진되었으며, 벼슬이 봉상시정(奉常寺正)에까지 이르렀다. 당시 정치적인 탠 카지노건이 빈번하자 세상의 즐거움을 잃고 호서(湖西)의 연산(連山)으로 거처를 옮겼다. 한때 조정에서는 천거하여 대각(臺閣)에 취임시키려 하였으나, 당쟁으로 모함을 받게 되자 당시 사론(士論)이 매우 탄식하고 애석하게 여겼다.