Ursprünglich stand hier das gräfliche Majoratshaus derer von Salm. Um 1559 verkauften diese es an Kaiser Ferdinand I., welcher es seinem Bruder Carl schenkte. Dessen Schwester Elisabeth, welche mit Karl IX von Frankreich verheiratet und nun verwitwet war, kehrte nach Wien zurück und kaufte das Haus und gründete hier 1592 das Königinnenkloster, dem sie als Äbtissin vorstand. Um 1782 veranlasste Kaiser Joseph II. die Aufhebung des Klosters und liess die Gebäudetrakte aufteilen. Bankier Johann von Fries erwarb einen Flügel des Hauses und kaufte ein benachbartes Gebäude hinzu. Er liess die Häuser abbrechen und durch Johann Ferdinand Hetzendorf von Hohenberg für

sich ein Palais errichten, das er mit seiner Familie bewohnte. Im hinteren Teil des Palais gegen die Bräunerstrasse war gleichzeitig das Zinshaus untergebracht. Das Gebäude galt als erstes in Wien mit einer rein klassizistischen Fassade. Man war in Wien jedoch nicht zurfrieden mit dem Erschienungsbild des Hauses, denn für die unmittelbare Nähe zur kaiserlichen Hofburg hatte es eine viel zu einfache Fassade. Die Erben des Besitzers waren ausgesprochene Förderer der Kunst und unterhielten im Palais eine bedeutende Sammlung von 300 Gemälden und über 100'000 Kupferstichen. Zudem war im Haus eine Bibliothek mit rund 16‘000 Büchern untergebracht sowie eine Skulptuernsammlung. Sehr beliebt waren die Konzerte, welche des öfteren in den schönen Räumen organisiert wurden. Der Unterhalt des Palais und der beherbergten Kulturgüter verschlang mit der Zeit jedoch hohe Summen, was den Bankier Fries 1826 in den Konkurs stürzte.

Das prunkvolle Portal
 

Das Palais ging in den Besitz des Freiherrn Georg Simon von Sina über, welcher es 1842 an Alphons Marchese Pallavicini verkaufte, dessen Nachkommen noch immer die Besitzer sind und einen Teil des Palais bewohnen. Ein grosser Teil des Komplexes wird vermietet mitunter an den Österreichischen Rennverein und an die Tanzschule Ellmayer. Die verhältnismässig schlichte Fassade hat in ihrem Zentrum das grosse Portal, welches vom Bauherrn nach den schlechten Kritiken bezüglich des einfachen Erscheinungsbildes des Palais nachträglich sehr pompös gestaltet wurde. Links und rechts des Rundbogens tragen je zwei übergrosse Karyatiden den gesprengten Torgiebel. Hinter der einfachen Fassade befinden sich in der Beletage überaus prunkvolle Räume, welche mit Gobelins, Kristallspiegeln, Cheminées und Kristallüstern ausgestattet sind. Der prachtvollste Raum davon ist der grosse Festsaal im Neorokoko-Stil.