Im Jahre 1697 beauftragte Obersthofmarschall Heinrich Franz Graf von Mansfeld und Fürst von Fondi den Architekten Johann Lukas von Hildebrandt mit der Planung und dem Bau eines Sommerplais mit einem grosszügigen Garten. Der Hintergrund des Plans war nicht zuletzt eine Rivalität mit dem Prinzen Eugen. So wollte Mansfeld seinem Widersacher in architektonischer Hinsicht in nihcts nachstehen.

Das zeigt sich alleine schon an der Platzwahl gleich neben der Belvedère-Anlage und die Wahl des selben Architekten. Wenige Jahre später starb Graf von Manfeld, und das sich noch immer im Bau befindliche Anwesen wurde von Fürst Adam Franz Karl von Schwarzenberg im Jahre 1715 gekauft. Für die Fertigstellung engagierte Schwarzenberg den Architekten Fischer von Erlach, welcher für das Funktionieren der Wasseranlage im Garten die erste Dampfmaschinen Österreichs installieren liess. eine Gedenktafel am Seitentrakt gegen die Prinz Eugen Strasse zeugt heute davon.

Das Palais Schwarzenberg um die Jahrhundertwende
 

Im Zweiten Weltkrieg wurde das Palais von Bomben getroffen und schwer beschädigt, kurz nach Kriegsende aber wieder instandgestellt und ist bis heute im Besitze der Familie Schwarzenberg geblieben. Ein Teil des Palais beherbergt einen Luxushotel-Betrieb und ein Restaurant.
Das Palais Schwarzenberg ist eines der bedeutendsten barocken Gartenpalais in Wien. Die langgezogene ansteigende Gartenanlage hinter dem Gebäude umfasst Sandsteinstatuen von Lorenzo Mattielli, Steinvasen nach Plänen Fischer von Erlachs und Kaskaden von Andrea Steinböckh. Das prachtvolle Innere des Palais hat sich weitgehend erhalten. Der ehemalige Ehrenhof ist heute leider asphaltiert und dient als Parkplatz, was die Anlage auf dieser Seite völlig verunstaltet.