Im Jahre 1899 wurde ein Wettbewerb ausgeschrieben zum Bau einer Kirche auf dem Zentralfriedhof. Es hiess in der Wettbewerbsvorlage, dass das Bauwerk ein "den ganzen Zentralfriedhof beherrschendes" sein müsse. Der Gewinner der Ausschreibung war der 27jährige Max Hegele, ein Schüler des bedeutenden Jugendstilarchitekten Otto Wagner. Es sollte nach der Grundidee eine Friedhofskirche werden, deren Zweck die Aufbahrung der Verstorbenen hätte sein sollen, aber als 1910 der Bürgermeister Karl Lueger unerwartet starb, machte man aus der zu zwei Dritteln fertiggestellte Kirche eine Lueger-Gedenkkirche. Lueger liegt in einer grossen, einsehbaren Gruft in der Unterkirche bestattet. Der Bau der Kirche dauerte von 1908-1911.

Otto Wagner wünschte sich wörtlich eine "Rückkehr zu guten kirchlichen Tradition". Man soll die Kirche nicht mehr "Lueger-Kirche" nennen, sondern "Friedhofskirche zum Heiligen Karl Borromäus". Demselben Heiligen ist die Karlskirche geweiht. Der monumentale Kuppelbau bildet quasi das Zentrum des Zentralfriedhofs. Eine gerade Strasse führt vom 2. Tor, dem Haupttor, direkt zu ihr. Auf dem Platz vor der Kirche liegt die Gräberstätte der Bundespräsidenten. Links und rechts von der Kirche stehen kolonnadenartige Säulengänge. Die Kuppel ist rund 60m hoch und überragt den ganzen Zentralfriedhof.
Die Karl Borromäus Kirche ist eines der bedeutendesten Jugendstilbauwerke in Wien. Der Grundriss stellt ein Kreuz dar, dessen Arme jedoch kurz gehalten sind. Somit dominiert der riesige Raum unter der Kuppel.

Das Kircheninnere erinnert auf den ersten Blick an einen orientalischen Sakralbau. Zahlreiche Mosaike und Ornamente, gemalt in Farbe und Blattgold, schmücken Boden, Decken, Wände und Gesimse. Plastische figuren fehlen in der Kirche, und man bediente sich stattdessen der Reliefkunst. Es befinden sich in der Kirche rund zwölf solcher Reliefs, und sie alle stammen je von einem anderen Künstler. Das bedeutendste ist das Relief von Jakob Gruber, welches die Erweckung der Tochter des Jairus darstellt. Der wichtigste Bestandteil des Krichenraumes ist jedoch das riesige Kuppelmosaik. Es setzt sich aus rund 21'000 Steinen zusammen und zeigt 999 goldene Sterne auf einem tiefblauen Hintergrund. Als im Zweiten Weltkrieg eine Brandbombe in die Kuppel einschlug, wurden diese und auch grosse Teile des Mosaiks beschädigt. Vorerst malte man die zerstörten Teile des Mosaiks nur nach, später aber rekonstruierte man es anhand hostorischer Photographien wieder originalgetreu. Nicht weniger als 2kg reines Blattgold wurden dazu verwendet.

Im Teil rechts neben dem Altar befindet sich etwas versteckt ein Aufzug, der den Besucher in die Höhe bringt. Von der Empore aus hat er eine atremberaubende Aussicht auf den ganzen Innenraum und gewinnt eine Vorstellung von dessen Ausmasse. Zudem kann man von da aus das Kuppelmosaik aus der Nähe betrachten. Ebenfalls mit dem Aufzug gelangt man in die eher düstere Unterkirche, in der sich 40 Bodengrüfte befinden. Hier herrscht eine fast unnatürliche Stille.

Das Kuppelinnere
 

Die Unterkirche