『元享釈書（げんこうしゃくしょ）』や寺の縁起によると、760年（天平宝字4）に報恩が建立し、観自在菩薩像と四天王像を安置して子嶋寺としたとされる。そのほか寺の創建に関して諸説あるが、983年（永観元）に興福寺僧都の真興が現在地に観覚寺を建て、真言宗子島流を興した道場が直接の前身とされる。

明治時代に荒廃し無住寺となるが、有志の尽力により復興をはたした。真興が一条天皇の病気平癒祈願の功績により下賜されたと伝わる、紺綾地金銀泥絵両界曼荼羅図（こんりょうじきんぎんでいえりょうかいまんだらず）２幅（平安時代前期）は国宝に指定、木造十一面観音立像（平安時代前期）は重要文化財に指定されている。