วัดเขาขุนพนมเป็นวัดที่พระบาทสมเด็จพระเจ้าตากสินมหาราช หลังจากทรงผนวชแล้ว ที่โบสถ์วัดบางกุ้งจังหวัดสมุทรสงคราม และอยู่ที่นั่นสักระยะหนึ่ง จากนั้นกรมพระราชวังบวรมหาสุรสิงหนาทได้นำเสด็จพระภิกษุตากสิน ล่องเรือพร้อมครอบครัวพระเจ้าตากสิน มาอยู่จำพรรษาที่วัดเขาขุนพนมนี้จนพระองค์ท่านเสด็จสวรรคต ที่วัดเขาขุนพนมโดยลูกชายพระเจ้าตากสินคนโตเป็นเจ้าเมืองนครศรีธรรมราชคนรองเป็นพ่อค้าสำเภา พ่อค้ากับเมืองจีน