Um 1751 kaufte Maria Theresia die alte Schleifmühle am Eingang zu Hietzing. Sie stand direkt am Rand des Schlossparks Schönbrunn. Sie liess die Mühle abreissen und zwischen 1754 und 1765 für ihren Leibarzt Gerard van Swieten ein schlossartiges Palais erbauen. Das Haus wurde um 1820 umgebaut. Im 19. Jh. diente das so genannte Kaiserstöckl als Herberge für diverse Minister. Es wohnten hier Staatskanzler Graf Kaunitz, Fürst Metternich, Otto von Bismarck, der König von Hannover und weitere k&k Minister. Um 1929 zog das Hietzinger Postamt ins Kaiserstöckl ein und befindet sich heute noch darin. In den 90er-Jahren des 20 Jh. wurde das Schlösschen restauriert.

Auffallend am dreigeschossigen Barockschlösschen sind seine beiden Seitenrisalite, die leicht gekurvt vorschwingen - vergleichbar mit dem Palais Damian. Alle drei Risalite sind dreiachsig. Zusammen mit den seitlichen, eingeschossigen Vorbauten wird ein Ehrenhof gebildet. Die drei Gebäudeteile werden von Walmdächern überspannt. Die Beletage weist durchgehend grosse Rundbogenfenster mit Dreiecks- und Rundgiebelverdachungen auf. Gartenseitig ragt der flache Mittelrisalit leicht hervor. An der Beletage ist hier ein Balkon auf vier mächtigen Konsolen angebracht. Die Räume der Beletage weisen reichen Rokokostuck aus der Zeit um 1760 auf.