縁起によると、818年（弘仁9）、空海が大峰入峰の際に、ここに寺を建て常楽寺椿山（ちんざん）と号し、日蔵道賢が中興したといわれる。のち吉野朝時代に竹林院と改め金峯山律寺四院の一つに数えられた。

群芳園という庭園があり、大和三名園の一つに数えられる。豊臣秀吉の吉野山花見のとき、千利休が桃山風に修築、細川幽斎が改修した歴史をもつ。桃山風の池泉回遊式庭園の名園である。