平安時代には、『枕草子』、『今昔物語集』などに名のあがる大和の名所でもあり、盲目の沢市と献身的な妻お里の人情話を描いた浄瑠璃・歌舞伎「壺坂霊験記」でも知られ、眼病平癒祈願の参拝者が多い。

創建については不明な点が多く、703年（大宝3）に元興寺の僧・弁基上人が建立したとも、また『帝王編年記』には、703年に佐伯姫善心尼が建立したとも、ほか諸説あるが、出土品や塔心礎の形状から、白鳳時代の創建であることが確かめられる。

境内には、インドで制作された高さ20mの巨大な大観音石像、全長50mの仏伝図石造レリーフなど、大石造美術が点在する。