Nach den Napoleonkriegen fiel der Besitzer in grosse finanzielle Verschuldung, worauf das Palais in eine Verlosung kam. Nach 1820 war Ladislaus Graf Festetics der Besitzer des Gebäudes und liess es durch Alois Ludwig Pichl im Empirestil ausbauen. Dabei entstanden hofseitig zwei schmale Trakte, und die Tordurchfahrt erhielt ein Vestibül. Im Jahre 1871 ging das Palais in den Besitz des Staats über und wurde für dessen Verwendungszweck als Ministerium für Kultus und Unterricht bald zu klein. Es wurde 1895 ein Nachbarsgebäude, das kleine Majoratshaus, hinzugekauft und sogleich abgerissen, um Platz für eine Erweiterung zu schaffen. Das Palais Starhemberg erhielt einen Anbau, welcher sich dem ursprünglichen Gebäude optisch anpasste. So rückte das bisher nicht zentrierte Portal in die Mitte, und das Palais erscheint seither als einheitlicher, symmetrischer Bau. Das Treppenhaus ist mit Figuren von Joseph Klieber versehen, und vor allem die Repräsentationsräume der Beletage erscheinen noch in der vollen Pracht seit der genannten Neuausstattung von 1820. Sie erscheinen im Weiss-Gold-Akkord mit überaus reicher malerischer und plastischer Deckengestaltung. Die Räume sind ein Musterbeispiel josephinischer Innenarchitektur und in Wien einzigartig. Im Palais Starhemberg sind heute die Ministerien für Unterricht, Wissenschaft und Kunst untergebracht.