Die Pfarre Hernals existiert vermutlich seit Mitte des 13. Jrh., wobei die erste Erwähnung einer Bartholomäuskirche um 1301 datiert. Es existierte hier auch ein Schloss, welches zusammen mit der Kirche im 16. Jrh. zu einem bedeutenden Zentrum der Reformation wurde. Nach der Ausweitung der Religionsfreiheit durch Erzherzog Matthias begann man, in der Pfarrkirche Hernals evangelische Gottesdienste zu feiern. Unter Kaiser Ferdinand II. fand dies jedoch ein Ende, und die Kirche wurde ans Domkapitel von St. Stephan übergeben. Um 1625 fand in der Hernalser Pfarrkirche wieder die erste katholische Messe statt. In den Jahren 1709 bis 1714 wurde mit Hilfe von Spenden ein Kalvarienberg errichtet. Beim Aufgang zur Kreuzigungsgruppe waren Christi Bussen der sieben Todsünden dargestellt, beim Abgang sieben Stationen Mariens, welche die Tugenden lehrt. In der Mitte des U-förmig angelegten Stationenweges stand eine kleine Kapelle, welche in den Jahren 1766 bis 1769 wegen des immer grösser werdenden Pilgerstromes durch eine grössere Barockkirche ersetzt wurde. Auf dem Platz vor der Kalvarienbergkirche, dem späteren Elterleinplatz, entstand bald marktartiges Treiben und Tummeln, denn die oft müden und hungrigen Pilger wollten sich erholen und stärken. Um 1892 wurde eine Erweiterung des Kalvarienberges und der Kirche in Angriff genommen. Der alte Kalvarienberg wurde abgetragen und durch einen neuen ersetzt, für die Kreuzigungsgruppe ein Kuppelraum gebaut und der Chor der Kirche demoliert, um diese nach hintern zu erweitern.

Der vordere Teil aus der Barockzeit blieb bestehen. Im zweiten Weltkrieg fiel eine Bombe durch das Kirchendach und zerstörte die ganze Innenausstattung. Glücklicherweise konnte die Kirche bis 1948 wieder instand gestellt werden.
Eine Besonderheit der Ausstattung der spätbarocken Kalvarienbergkirche ist die so genannte „Türkenmadonna“, eine Marienstatue, welche nach Ende der Türkenbelagerung im Zelt des Sultans gefunden wurde. An der Statue sind Einschüsse aus der Zeit der Türkenbelagerung zu sehen, welche konserviert wurden. Im rechten Seitenschiff befinden sich eine Pieta und die Orgel. An der linken Aussenwand erinnert eine Gedenktafel daran, dass in der Kalvarienbergkirche Franz Schubert am 3. November 1828 die letzte Musik vor seinem Tode hörte, es war das lateinische Requiem seines Bruders Ferdinand. Seit der umfassenden Restaurierung in den Jahren 1999 und 2000 erstrahlt die Kalvarienbergkirche in neuem Glanz.