Wo das heutige Palais steht, existierte im 16. Jrh. die kaiserliche Giesserei. Von 1625 bis 1707 waren die Gebäulichkeiten im Besitze derer von Weltz. Danach wurde der Komplex vom kaiserlichen Versatz- und Fragamt gekauft. Zwischen 1720 und 1730 liess man das Haus umbauen, wobei man einen Grossteil der alten Bausubstanz miteinbezog. Um 1788 zog das Versatz- und Fragamt aus, und das Gebäude ging in den Besitz von Erzherzog Carl über, welcher daraus zwischen 1801 und 1804 das heutige Palais mit einer Fassade von Franz Anton Pilgram gestalten liess.

Um 1815 heiratete er Henriette Friederike Prinzessin zu Nassau-Weilburg, mit der er das Palais bewohnte, bis er in die Albertina übersiedelte. Von 1841 bis 1847 bewohnte der Komponist und Hofkapellmeister Otto Nicolai das Palais, für den später ein Gedenkraum eingerichtet wurde, welcher noch heute existiert. Nach einem weiteren Besitzerwechsel war im Palais Erzherzog Carl die jugoslawische Gesandtschaft untergebracht. 1965 entstand hier ein internationales Kulturzentrum mit einem kleinen Theater. Heute beherbergt das Palais das „Haus der Musik“, welches hier alles rund um die Musik ausstellt und erklärt. Der Besucher kommt in Kontakt mit der Musik aus wissenschaftlicher Hinsicht und erfährt, wie Akustik funktioniert mit ihren zahlreichen Facetten. Einigen einflussreichen Komponisten ist jeweils ein ganzer Raum gewidmet mit interessanten Ausstellungsobjekten.