Wo heute der Gartentrakt des Palais Erzherzog Carl Ludwig liegt, liess Franz Freiherr von Prandau von Adalbertus Hild ein kleines Herrschaftshaus erbauen. 19 Jahre später wurde durch den Architekten Franz Wipplinger ein zusätzlicher Gebäudetrakt gegen die Strasse hin und zwei Flügeltrakte, welche den Ehrenhof bildeten, angebaut. Um 1860 liessen die Besitzer Franz und Carl Mayer die Fassade des Gartentraktes neu gestalten, und vier Jahre später erhielt der strassenseitige Flügel ein weiteres Stockwerk. Zur gleichen Zeit errichtete man Stallungen. Der ganze Komplex wurde um 1865 von Erzherzog Carl Ludwig gekauft, welcher im Jahre 1872, nach dem Tod seiner zweiten Ehefrau Maria Annunziata, das Palais durch Heinrich Ferstel unter Bauleitung von Eduard Frauenfeld im grossen Rahmen umbauen liess.

Der Sohn Carl Ludwigs, der künftige Thronfolger Erzherzog Franz Ferdinand, verlebte im Palais einen grossen Teil seiner Kindheit. Im Zweiten Weltkrieg erlitt der Strassentrakt des Palais schwere Bombenschäden und wurde nach Ende des Krieges vollständig abgebrochen. An seiner Stelle steht jetzt ein modernes Bürogebäude. Der übriggebliebene Gartentrakt ist heute in Privatbesitz.

Bemerkenswert ist der riesige Ehrenhof des Palais Erzherzog Carl Ludwig. Am zweigeschossigen Gartentrakt ist eine Vorhalle angebaut, welche der Wagendurchfahrt vorgelagert ist. Eine Attika mit Putti aus Sandstein schliesst die hofseitige Fassade gegen obenhin ab, und auch die Gartenfassade ist reich gestaltet. Das auffällige Satteldach endet an seinem höchsten Punkt in einem kuppelähnlichen Giebel. Im Inneren des Palais hat sich vieles erhalten können. Der Raum über dem Vestibül beeindruckt mit einer aufwendigen Holzkassettendecke im Sti der Neorenaissance, und der Festsaal ist ebenfalls prachtvoll ausgestattet mitunter mit sandfarbenen Stuccolustro-Verkleidungen und einer Spiegeldecke, die reich mit Stuckarbeiten verziert ist. Vom grossen Garten hinter dem Palais ist noch ein Teil übriggeblieben.