วัดนี้อยู่บนเนินเขาแก้ว ตำบลแม่ท้อ อำเภอเมืองตาก ใต้วัดดอยข่อยเขาแก้วลงไปประมาณ 1,200 เมตร มีซากพระอุโบสถซึ่งผูกพัทธสีมา 2 ชั้น จึงทำให้เข้าใจว่าน่าจะเป็นวัดหลวงมาแต่เดิม มีกำแพงแก้วรอบพระอุโบสถ ทางกำแพงด้านในทำเป็นช่องเล็กๆ เต็มไปทั้ง 4 ด้าน ช่องเหล่านี้คล้ายกับช่องสำหรับตามประทีปที่พระนารายณ์ราชนิเวศน์ จังหวัดลพบุรี

สมเด็จฯ กรมพระยาดำรงราชานุภาพ เมื่อเสด็จมาถึงเนินเขาแก้วในคราวล่องแก่งแม่น้ำปิง ใน พ.ศ. 2465 ได้เสด็จขึ้นไปตรวจวัดนี้ ทรงพบช่องตามประทีปที่กำแพงรอบพระอุโบสถ จึงทรงสันนิษฐานว่าสมเด็จพระนารายณ์มหาราชน่าจะโปรดให้สร้างเฉลิมพระเกียรติที่ทรงตีเมืองเชียงใหม่ได้หลังจากเสด็จกลับจากเมืองเชียงใหม่ใน พ.ศ. 2205 และรูปทรงลักษณะของพระอุโบสถและกำแพงแก้วที่ยังเหลืออยู่ก็เป็นฝีมือช่างครั้งกรุงศรีอยุธยาด้วย