Die Piaristen sind ein Orden, welcher 1597 vom heiligen Josef von Calasanz gegründet wurde. der sich zum Ziel sezte, armen Kindern Schulunterricht zu erteilen. Ende des 17. Jrh. kamen die Piaristen nach Wien. Das in der heutigen Josefstadt entstandene Kollegium sollte eine Kirche erhalten, für die ein erster Entwurf in den Jahren 1698 oder 1699 durch Johann Lucas von Hildebrandt entstanden sein dürfte. Begonnen wurde mit dem Bau jedoch erst im Jahre 1716. In den Jahren 1720/21 wurde der Rohbau erstellt, allerdings nur teilweise eingewölbt und gedeckt, und die Altäre waren vorerst nur Provisorien. Die Kirchenbänke wurden von den Ordensbrüdern selber geschnitzt. Im Frühling 1722 wurde der Bau des Gewölbes über dem Altarraum begonnen. Anschliessend errichtete man die Beichtkapelle, die Oratorien und die Sakristei mit ihrem Stichkappengewölbe. Bis 1731 war der für Hildebrandt tätige Franz Jäggl für die Bauleitung zuständig, dann aber erfolgte ein Bruch seiner Beziehung zum Kollegium.
Danach übernahm Mathias Gerl das Amt des Baumeisters. Um 1751 wurden die Fassade und der Südturm vollendet. Gleichzeitig riss man die bisherige Wand des Altarraumes nieder und erweiterte die Kirche durch einen neuen Chor. 1752 vollendete man die Kuppel, welche vermutlich als einziges Hauptelement der Kirche nicht auf die Pläne Hildebrandts zurückgeht, welcher eine Tambourkuppel vorgesehen hatte. Wahrscheinlich beruht dies auf einer Bauplanänderung des Prager Architekten Kilian Ignaz Dietzenhofer, welcher eine zeitlang in Wien tätig war.

In den Jahren 1754-56 entstand der Hochaltar mit dem bedeutenden Gnadenbild. Dies soll von dem Josefstädter Maler Josef Herzzusammen entstanden sein, der 1713 an der Pest erkrankte und gelobte, im Falle einer Genesung nach Rom zu pilgern und da eine Kopie des Bildes der „Muttergottes von den frommen Schuen“ im Haupthaus der Piaristen anzufertigen. Im Laufe der Jahre erhielt die Piaristenkirche ihre reiche Ausstattung: Der Barbara-Altar von 1777, der Freundschaft-Christi-Altar von 1764, der Johannes-von-Nepomuk-Altar von 1769, das Kaiseroratorium mit dem spätbarocken Holzaltar von 1780, die mit reichem Schnitzwerk versehene Kanzel von 1773, der Kreuzaltar von 1774, der Josef-Calasanz-Altar von 1758, der Sebastian-Altar von 1777 und die Orgel aus den Jahren 1856-1858, an der unter anderen Franz Liszt und Anton Bruckner gesessen haben.

Eines der wichtigsten Elemente im Kircheninneren sind die prächtigen Kuppelfresken von Franz Anton Maulbertsch, welche zwischen dem 9. Mai 1752 und dem 26. Juni 1753 entstanden sind.
Die Einsegnung der Piaristenkirche fand am 26. Mai 1771 durch Kardinal Christoph von Migazzi statt. Nachträglich wurden die Türme durch Franz Sitte nach einer Zeichnung Salomon Kleiners fertiggestellt.
Die so genannte Pestsäule auf dem Platz vor der Kirche zeigt die Unbefleckte Empfängnis als Siegerin über das Böse. Sie wurde 1713 von J. Ph. Prokop errichtet. Am 7. April 1801 heiratete hier Martin Lanner die junge Anna Scherhauff. Sie waren die Eltern des "Walzervaters" Joseph Lanner.