Nejvýznamnějším pseudokrasovým jevem Hradčanských stěn je jeskyně – převis Psí kostel. Někdy se můžeme setkat s německým názvem Hundskirche, ze kterého jazykovou deformací vzniká Husův kostel či Husovy kostely, nebo také s názvem Wüste Kirche – Pustý kostel. Psí kostel se nachází v severozápadní části Hradčanských stěn v nadmořské výšce 320 m n. m. Jen asi 250 metrů odtud leží Skalní brána. Psí kostel představuje hybrid mezi převisem a jeskyní, jakousi galeriovou chodbu táhnoucí se paralelně s okrajem skalního útesu, ale někdy otevřenou a jindy uzavřenou skalní kulisou. Krajní body jeskyně jsou od sebe vzdáleny 35 m, ale celková délka dutiny se všemi odbočkami je asi 80 m. (Cílek 1996) Zajímavým rysem dutiny je přítomnost několika skalních sloupů, které jsou ve spodní části dále perforovány větvícím se systémem anastomóz. Přibližně v polovině dutiny prochází hranice mezi spodním červeným písčitým vápencem a svrchním nažloutlým vápnitým pískovcem. (Cílek 1996) Geneze jeskyně představuje kombinaci krasových a nekrasových procesů. Tvar anastomóz ukazuje na vznik pod úrovní spodních vod - tedy ve freatické zóně. Teprve po výzdvihu území a odhalení anastomóz oběma boky skalního hřbítku dochází k mechanickému větrání a nadložní drolivý pískovec ustupuje nejenom do stran, ale protože je odkryt i zespodu, tak se vydroluje do rozšiřující se jeskyně. V jeskyni převládají oblé tvary, mírné obloukovité klenby a sloupy mají tvar přesýpacích hodin. Výška jeskyně se pohybuje mezi 1,4 - 2,0 m a v převisech dosahuje i přes 3 m. Západní část jeskyně představuje dutinu otevřenou na obě strany hřbítku. Východní část má spíš charakter převisu, ze kterého napříč hřbítkem vycházejí plazivky. (Cílek 1996)