Chùa nằm trong khu di tích đền Sóc. Tục truyền, sau khi dẹp giặc Ân, trên đường về núi Sóc, Thánh Gióng đã dừng chân tại đây và xuống tắm ở hồ Tây. Khi lên đường, Thánh Gióng để quên cái roi sắt bị gãy trong chiến trận. Nhân đó, người dân lập đền thờ.
Ngôi chùa được lập từ lâu. Tài liệu của chùa cho biết, theo sách Thiền Uyển Tập Anh và sách Đại Việt Sử Ký Toàn Thư, vị Thiền sư trụ trì chùa là Ngô Chân Lưu (933 – 1011) thuộc Thiền phái Vô Ngôn Thông đời thứ 4. Năm 971, Ngài được vua Đinh Tiên Hoàng phong hiệu Khuông Việt Đại Sư. Đến cuối đời Lý, chùa có hai vị cao tăng trụ trì là Thiền sư Trường Nguyên (1110 – 1165) và Thiền sư Nguyện Học (? – 1181) thuộc Thiền phái Vô Ngôn Thông đời thứ 10.

Chùa nay đã bị hư hỏng. Năm 2000, Đại đức Thích Thanh Quyết đã tổ chức xây dựng lại ngôi chùa và cho đúc pho tượng đức Phật Thích Ca bằng đồng lớn nhất nước ta lúc bấy giờ.

Bảo tượng được nghệ nhân Vũ Duy Thuấn thực hiện tại thị trấn Lâm, huyện Ý Yên, tỉnh Nam Định. Tượng được thực hiện trong vòng 18 tháng với trọng lượng 20 tấn đồng đỏ đúc liền khối, đài sen cũng bằng đồng đúc liền khối với trọng lượng 10 tấn. Tượng có chiều cao 5,3m; đài sen cao 1,35m; bệ đá cao 1,75m. Nếu tính cả bệ đá thì Đại tượng có chiều cao 8,4m.

Chùa được xây dựng lại trên sườn núi Non, phía Nam núi Nhà Bia. Tòa chánh điện có diện tích 260m2, cao 14m. Đại đức Thích Thanh Quyết cho biết 30 tấn đồng đúc tượng được mua từ nước Singgpore, 600m3 gỗ lim mua ở nước Lào, 30m3 đá xanh mua ở Thanh Hóa, dùng kiến thiết ngôi chùa di tích là đất địa linh và là chốn Tổ đình xa xưa (trích thông tin từ Tạp chí Thế giới Phụ nữ số 37, ngày 14 – 10 – 2002).