Um 1863 entschloss sich Erzherzog Ludwig Viktor, der jüngste Bruder Kaiser Franz Josephs, zum Bau eines repräsentativen Palais. Der Erzherzog war zu dem Zeitpunkt gerade mal 21 Jahre alt. An der Stelle, wo der Schubertring und der Schwarzenbergplatz aufeinander treffen, sollte das Gebäude zu stehen kommen, und somit war der Erzherzog der erste Angehörige des österreichischen Kaiserhauses, welcher seinen Wohnsitz an der Ringstrasse hatte. Mit der Planung und der Durchführung des Baus wurde der Architekt Heinrich Ferstel beuaftragt, welcher das Palais im Jahre 1869 fertiggestellt hatte. Immer wieder veranstaltete der Hausherr rauschende Feste und Gesellschaftsanlässe, hielt sich später jedoch vermehrt in Salzburg auf und war nur noch selten im Palais in Wien.

Um 1900 wurde das Haus renoviert, und zehn Jahre später liess der Erzherzog den Militärwissenschaftlichen Casinoverein darin Quartier nehmen, welcher bis heute unter dem Namen „Neustädter Offiziersverein“ hier residiert. Zudem nutzt das Burgtheater das Haus als Probebühne und teils auch als Aufführungsort. Das Palais im Stil der italienischen Renaissance hat einen unregelmässigen Grundriss, dem Ferstel mit dem Anbringen eines Eckturmes mit Kuppel entgegenwirkte. Die wichtigsten Elemente der Hauptfront zum Schwarzenbergplatz hin sind die Rundbogenfenster der ersten Etage, welche sich mit korinthischen Säulen abwechseln. Darüber befinden sich sechs grosse Statuen von österreichischnen Perönlichkeiten namentlich von Ernst Gideon von Laudon, Niklas Graf Salm, Johann Bernhard Fischer von Erlach, Ernst Rüdiger Graf Starhemberg, Prinz Eugen von Savoyen und Josef von Sonnenfels. Sie sind ein Werk Franz Schönthalers.

Die grosse Feststiege aus Untersberger Marmor mit durchbrochenem Geländer reicht lediglich bis zu den Repräsentationsräumen im ersten Stock, während die restlichen Stockwerke durch eine Seitentreppe verbunden sind. Am Ende der Festtreppe befindet sich nach einer Galerie der grosse Ballsaal gegen den Schwarzenbergplatz hin zusammen mit Speisesaal und Wintergarten, welche zusammen die Hauptfesträumlichkeiten bilden. Der Ballsaal ist üppigst ausgestattet mit Goldstuck, welcher auf dem weissen Hintergrund ganz besonders zur Geltung kommt.