聖徳太子生誕の地といわれ、太子建立七ヶ寺の一つに数えられる。古い記録には「橘尼寺」と記され、680年（天武天皇９）に橘寺の尼房10房が焼けたことの記事がみられることから、この頃には成立していたと考えられる。

平安時代には東向きの四天王寺式伽藍が完成し、66の堂塔坊舎をかかえる大寺となるが、1506年に多武峯の僧兵との争いで焼き討ちに遭い、諸堂宇を失った。幕末の1864年（元治元）より再興された堂宇が今日に伝わる。

境内には、右善面、左悪面といわれる二面石があり、飛鳥地方に数多く残る謎の石造物として名高い。