วัดดอยข่อยเขาแก้ว ตั้งอยู่บนเนินเขา ขนาด 100x600 เมตร สูง 20 เมตร ทางทิศใต้ของห้วยแม่ท้อและอยู่ฝั่งตะวันตกของแม่น้ำปิง วัดนี้ตั้งห่างจากแม่น้ำปิง ประมาณ 250 เมตร อยู่ในเขต ตำบลแม่ท้อ อำเภอเมือง จังหวัดตาก เป็นที่ตั้งโบราณสถานที่ชาวบ้านเรียกว่า “วัดพระเจ้าตากสิน” เนื่องจาก ปี พ.ศ. 2317 ครั้งสมเด็จพระเจ้าตากสินมหาราชเสด็จยกทัพไปตีเมืองเชียงใหม่ ครั้งที่ 2 ได้เสด็จมาประทับ ณ ตำหนักสวนมะม่วง บ้านระแหง พระราชทานปืนดาบคาบศิลา 100 กระบอก ไว้สำหรับบ้านระแหง จะได้ป้องกันข้าศึก และได้เสด็จไปนมัสการพระปฏิมากร ณ วัดกลางดอยข่อยเขาแก้ว ครั้งนั้นได้ตรัสถามพระสงฆ์ว่าจำพระองค์ได้หรือไม่ พระสงฆ์รูปนั้นยังจดจำพระองค์ได้ และมีเรื่องเล่าว่าเมื่อครั้งที่พระองค์อยู่ที่บ้านระแหง ได้กระทำสัตยาธิษฐานเสี่ยงบารมี โดยได้ใช้ไม้เคาะระฆังขว้างไปโดยไกลยังลูกแก้วหรือถ้วยแก้ว อธิษฐานว่าขอให้ไม้ถูกจำเพาะส่วนที่คอดกิ่วอยู่ลูกแก้วนั้นอย่าได้เสียหาย ปรากฎว่าไม้เคาะระฆังขว้างไปถูกดังคำอธิษฐาน จึงได้นำลูกแก้วนั้นไปติดไว้ที่ยอดเจดีย์ ปัจจุบันลูกแก้วยอดเจดีย์วัดดอยเขาแก้วได้หายไป และเล่ากันว่ายังมีเจดีย์อีกองค์หนึ่งซึ่งประดิษฐานลูกแก้วเสี่ยงทาย อยู่ที่วัดกลางสวนดอกไม้ใกล้กับวัดดอยข่อยเขาแก้ว แต่ลูกแก้วนั้นก็หายไปเช่นกัน ในปีพุทธศักราช 2534-2547 มูลนิธิสมเด็จพระเจ้าตากฯ และจังหวัดตาก พร้อมด้วยกรมศิลปากร ได้ร่วมกันขุดค้น และบูรณะโบราณสถานภายในบริเวณวัดแห่งนี้ โดยมีโบราณสถานที่น่าสนใจ ได้แก่ พระอุโบสถซึ่งกรมศิลปากรได้ขุดค้น และบูรณะเสร็จแล้ว ประกอบด้วย พระอุโบสถ มีลักษณะเป็นอาคารก่ออิฐถือปูนแบบศิลปะอยุธยาตอนกลาง และตอนปลาย ขนาด 7.27×13.5×3.30 เมตร ลานประทักษิณและกำแพงแก้วล้อมรอบ ฐานก่ออิฐของวิหาร มีพลับพลาที่ประทับ ซึ่งเป็นพลับพลาสำหรับข้าราชการที่ตามเสด็จ เจดีย์รายสามองค์ และยังพบบ่อหมักปูนโบราณ ซึ่งสันนิษฐานว่าใช้หมักปูนเพื่อทำปูนปั้นประดับพระอุโบสถและวิหาร นอกจากนี้ยังมีศาลเสด็จแม่นกเอี้ยง และศาลเสด็จพ่อไหฮอง เป็นศาลที่ตั้งขึ้นเพื่อบูชาพระราชมารดาและพระราชบิดาในสมเด็จพระเจ้ากรุงธนบุรีมหาราช วัดดอยข่อยเขาแก้ว ได้ขึ้นทะเบียนโบราณสถาน โดยประกาศในราชกิจจานุเบกษา เล่มที่ 52 ตอนที่ 75 วันที่ 6 มีนาคม พุทธศักราช 2478