Etwa um 1770 entstand am Rennweg das sogenannte "Kleine Prandau Haus", benannt nach seinem Besitzer Joseph Ignaz von Prandau. Später kaufte Franz Graf Dietrichstein die Liegenschaft und vererbte sie seinem Neffen Moritz Johann Fürst Dietrichstein. Dieser unternahm grössere Umbauten und Erweiterungen insbesondere am Garten. Dieser nahm grosse Flächen ein und reichte bis zur Neulinggasse. Nachdem der Fürst im Jahr 1864 verstorben war, wurde die Liegenschaft verkauft. Mitunter an Generaloberin Mutter Bildstein, welche hier das Kollegium Sacré Coeur (zum Heiligsten Herzen Jesu) gründete.