もとは法相宗で本尊は十一面観音。境内には大日堂といわれる三重塔の初層が残っている。

葛城寺縁起によると、延宝年間（1673～81）に三重塔の九輪が墜落し、上の二層を失って下層のみになったという。

鎌倉時代の建立と見られており、中世三重塔の一例として保存され「安楽寺塔婆」として国の重要文化財に指定されている。