Um 1897 wurde das ehemalige Palais Dietrichstein am Michaelerplatz in der Gabelung Schauflergasse / Herrengasse, in dem sich das traditoinsreiche Café Griensteidl befand, abgerissen und an seiner Stelle das Palais Herberstein errichtet. Damals wurde der Trakt am Michaelerplatz noch mit einer Kuppel bedeckt, welche jedoch in den 30er Jahren im Zuge einer Renovation wieder entfernt wurde. In erster Zeit war im Palais Herberstein eine Filiale der Raiffeisenzentralbank untergebracht, welche später in das gegenüberliegende, umstrittene Loos-Haus umzog. Anfang 1990 bezog die liberale Tageszeitung „Der Standard“ die Räumlichkeiten im Palais Herberstein. Gleichzeitig kehrte auch das Kaffeehaus Griensteidl an diesen Ort zurück und ist seither eine der ersten Adressen für Touristen und Kaffeehausliebhaber.

Nach Entwürfen vom Architekten Karl Langer wurde das Palais neuerlich aufgstockt. Es erhielt ein Dachgeschoss, welches glücklicherweise so konzipiert ist, dass das ursprüngliche Bild des Gebäudes nicht störend verändert wird wie es beispielswiese beim Palais Lamberg der Fall ist.
Das majestätische Palais Herberstein mit seinem aussergewöhnlichen Grundriss erscheint im neobarocken Stil. Die Fassade ist reich verziert und bildet den absoluten Gegensatz zum benachbarten schmuck- und lieblosen Loos-Haus. Das Erdgeschoss und das darüberliegende Mezzanin sind rustifiziert. Über den hohen Rundbogenfenstern der Beletage befinden sich Bedachungen. Ein ausgeprägtes Gesimse trennt das obere Geschoss von den darunterliegenden. Ihren ornamentischen Höhepunkt erreicht die Fassade am Rundtrakt gegen den Michaelerplatz. Hoch über dem Balkon mit dem Schmiedeeisengeländer prangt am obersten Stockwerk reiche plastische Verzierung um die mächtige Wappenkartusche. Darunter zieht sich ein grosser Bogen mit Sprengwerk über die Front. Ebenfalls unter Karl Langer wurde der Lichthof mit seinen Pawlatschengängen zum Entrée umgebaut.