In den Jahren 1695 bis 1698 liess sich der Rechtsanwalt Johann Ignatius Albrecht von Albrechtsburg für sich und seine Familie in Gumpendorf ein Gartenpalais mit grosszügigem Umschwung erbauen. Der Architekt ist nicht überliefert, es dürfte jedoch Johann Bernhard Fischer von Erlach gewesen sein. Andere Quellen sagen, dass Fürst Kaunitz das Haus im Jahre 1760 erbauen liess, und wieder andere erzählen, dass Kaunitz das Haus von Maria Theresia geschenkt erhalten habe. Da jedoch ein Stadtplan von 1706 deutlich darlegt, dass das Gebäude mit dem grossen Garten damals schon bestanden hat, ist davon auszugehen, dass die Version mit dem Herrn von Albrechtsburg die wohl wahrscheinlichste ist. Kaunitz kam demzufolge erst später in den Besitz der Liegenschaft. Diese liess er durch Zukauf von angrenzenden Grundstücken vergrössern und ausbauen.

Im Jahre 1759 (oder laut anderen Quellen um 1815) gingen das Palais und der Park in den Besitz der Fürstenfamilie Esterhazy über und blieb deren Eigentum bis 1868. In der ersten Hälfte des 19. Jrh. wurde das Palais zudem vom türkischen Botschafter bewohnt. Im Haus war die Esterhazysche Gemäldesammlung untergebracht, welche von grosser Bedeutung und der Öffentlichkeit zugänglich war. Das barocke Palais hatte einen prachtvollen Portikus mit einem Balkon, welcher die ganze hofseitige Breite des erhöhten Mittelrisalites einnahm und von vier Säulen getragen wurde. Gartenseitig befand sich eine grosse geschwungene Freitreppe mit zwei Armen, und zahlreiche kunstvoll gearbeitete Schmiedeeisengeländer zierten das Gebäude. Das reich ausgestattete Innere des Palais umfasste Fresken, Friese, Supraporten, wertvolle Lambrise und Holzvertäfelungen, prachtvolle Öfen und Statuen. Im Garten stand ein Pavillon, der so gross war, dass eine kleinere Familie darin hätte wohnen können.

Als nach 1868 das Mariahilf-Gymnasium im Palais Kaunitz-Esterhazy untergebracht wurde, adaptierte man des Gebäude entsprechend, wofür wurde fast die ganze Innenausstattung entfernt wurde. Einzig im ehemaligen Festsaal zeugten noch einige Elemente wie das Fresko vom florentinischen Meister Marini oder ein paar einzelne Wandspiegel von der einstigen Pracht. Um 1877 setzte man dem Haus ein weiteres Stockwerk auf, was auch die letzte Erahnung der einstigen Schönheit ersticken liess.
Im Zweiten Weltkrieg wurde das Gebäude weitgehend zerstört, vorerst behelfsmässig wieder instand gesetzt, jedoch um 1970 endgültig abgebrochen. Im Innenhof des heutigen Gebäudes an der Gumpendorferstrasse 104 steht noch das Überbleibsel eines der Portale des ursprünglichen Palais Albrechtsburg. Dieses und vier Attika-Statuen am Rande des Esterhazy-Parks sind die letzten konkreten Zeugen der prächtigen Anlage, welche hier einst stand. Ansonsten erinnern nur noch die Benennungen der Kaunitz- und der Esterhazygasse an das "Gumpendorfer Schloss".
 

Palais Kaunitz, rechts im Hintergrund die Kirche Mariahilf
 

Attika-Statuen am Esterhazy-Park

Das Portal an der Gumpendorferstrasse 104