Um 1726 kaufte Karl Anton Graf Harrach das Grundstück an der heutigen Ungargasse. Damals befanden sich hier Weingärten. Zwei Jahre später erwarb Gundacker Graf von Althan, ein am Wiener Hof überaus einflussreicher und bedeutender Mann, das Grundstück und erteilte um 1729 den Auftrag zum Bau eines repräsentativen Gartenpalais, welcher vermutlich um 1732 fertig gestellt wurde. Planer und Bauleiter war Joseph Emanuel Fischer von Erlach. Das Resultat war ein barocke Prachtanlage, welche damals zu den bedeutendsten gehörte im deutschsprachigen Raum, ja es war sogar eine der schönsten in ganz Europa. 

Zum Ehrenhof gelangte man durch ein grandioses Eingangstor, über dem ein reich geschmückter Torbogen lag. Links und rechts davon waren zwei niedrigere Tore welche mit kunstvollen Eisengittern versehen waren. Flankiert wurde der Tortrakt von zwei eingeschossigen Gebäuden. Das prächtige ebenerdige Hauptgebäude wurde von einer Kuppel überthront, welche als Vorbild der Kuppel über der Winterreitschule der Hofburg galt. Ein grosser, von Säulen getragener Portikus überdachte die Auffahrt vor das Eingangstor.  
Der Barockgarten im damals holländischen Stil hinter dem Gebäude war gross und weitläufig, und dem Hausherr war für dessen Gestaltung nichts zu teuer. Nach dem Tod  Althans kaufte Ferdinand Philipp Fürst Lobkowitz die Anlage, in dessen Besitz sie bis 1830 blieb. Die Besitzer wechselten in der Folge mehrmals, bis das Anwesen schliesslich um 1839 in den Besitz des Hofkonzipisten Michael von Barich gelangte, welcher um 1850 das Unfassbare vollzog: Er liess die prunkvolle Anlage abreissen und das Grundstück in 34 Parzellen aufteilen, welche mit Wohnhäusern bebaut wurden. Im Zuge dessen wurde die Ungargasse angelegt. Heute erinnert die Barichgasse an den Kunstverbrecher. Warum eine Gasse nach ihm benannt wurde, ist schleierhaft, denn worin lag sein Verdienst? In der Zerstörung eines unersetzlichen Zeitzeugen hochbarocker Pracht.