Bereits um 1298 stand an der Stelle ein Anwesen, der Admonter Hof. Dieser wurde um 1572 von Abt Lorenz an Seifried Brenner, Freiherrn zu Stübing verkauft. Zwei Jahrhunderte später wurde die Familie Weissenwolf Besitzerin und danach die Familie Pálffy. 1844 wollte Franz Musch hier ein Hotel errichten lassen. Doch während der Bauarbeiten verkaufte er die Baustelle an den Reichsgrafen Maximilian Hardegg. Im Jahre 1847 beauftragte dieser die Architekten Johann Romano und August Schwendenwein mit dem Bau eines Wohnhauses an der Stelle. Der Bauherr und seine Familie bewohnten darauf nur die Beletage, die darüberliegenden Stockwerke wurden vermietet. Somit war das Palais Hardegg ein klassisches Beispiel der Übergangsphase vom Palais zum Mietshaus im Stil des romantischen Historismus. Nach mehrmaligem Besitzerwechsel ist nun die Immobilienfirma ÖRAG die Besitzerin, welche an dem Gebäude eine Restaurierung vornahm.

Und nun wird auch das Palais Hardegg Opfer der modernen Bauwut, denn es erhält einen Dachausbau mit sieben Luxuswohnungen. Es wird dadurch seines Gesichts beraubt, und somit ist der erste Schritt getan zur Verschandelung der Freyung, welche bislang als einer der wenigen Plätze Wiens noch das ursprüngliche Erscheinungsbild bewahren konnte. Ferner ist es ein weiterer Schritt zum Verlust des Titels der Wiener Innenstadt als UNESCO-Weltkulturerbe.