Wo heute die Schwarzenbergstrasse in die Seilerstätte übergeht, unmittelbar hinter dem ehemaligen Karolinentor der Stadtbefestigung und gegenüber des Palais Erzherzog Carl standen im 18. Jrh. zwei Häuser, welche ca. um das Jahr 1790 von Carl Clemens Graf Pellegrini zu einem Palais vereint und ausgebaut wurden. Pellegrini war Generalfeldzeugmeister und wurde von Kaiser Joseph II. zum Generaldirektor des Fortifikationswesens ernannt. Um 1796 kaufte Herzogin Franziska von Württemberg das Palais, verkaufte es aber sehr bald weiter an Johann Georg Graf von Brown. Aber bereits um 1801 wechselte das Haus erneut seinen Besitzer und gehörte bis 1834 der Familie Erdödy. Dann wurde die Liegenschaft von Franz Anton Graf von Kolowrat-Liebsteinsky gekauft, ein aus Böhmen stammender Adeliger. Er war in der österreichischen Politik einer der bedeutendsten Männer und gleichsam ein Gegenspieler Fürst Metternichs.

Im Jahre 1861 starb Kolowrat-Liebsteinsky, ohne Nachkommen zu hinterlassen, was das Erlöschen seines Geschlechtes bedeutete. Gleichsam war somit das Schicksal seines Palais besiegelt. Zwar ging es vorerst in den Besitz von Graf Lützow über, aber im Zuge der Schleifung der Bastei wurde das Palais 1868 abgetragen, nachdem es der Gemeinderat erworben hatte. Graf Lützow liess sich darauf an der Bösendorferstrass ein neues Palais errichten. Bis 1928 erinnerte einzig die Bezeichnung „Kolowratring“ an das Palais. Dann wurde der Strassenabschnitt in „Schubertring“ umbenannt. Heute steht an der Ecke ein stattliches Gründerzeithaus.

Das Palais Kolowrat hatte eine schlichte Fassade mit einem grossen vorgelagerten Balkon. Die Besonderheit an dem Haus war ein Turm mit umlaufenden Balkonen, welcher auf den ersten Blick an ein arabisches Minarett erinnerte. Nach dem Abriss des Palais liess man den Turm stehen, bis auch er um 1881 abgetragen wurde.