Der Vizekönig von Neapel, Aloys Thomas Raimund Graf Harrach, kaufte auf der heutigen Landstrasse ein haus mit Garten, welches dem Christoph Ignaz Edlen von Quarient gehörte und beauftragte den Barockarchitekten Johann Lucas von Hildebrandt mit dem Bau eines repräsentativen Palais auf diesem Grundstück, denn er wünschte sich als Pendant zu seinem Stadtpalais an der Freyung ein nicht weniger prachtvolles Haus im Grünen. So entstand in der Zeit von 1727 und 1735 ein prachtvolles schlossartiges Palais mit einem riesigen Garten, zwei Ehrenhöfen und einer dem hl. Januarius geweihten Kapelle.

Die Bauarbeiten gingen jedoch nicht ohne Probleme vor sich, denn als der Bauherr in Neapel weilte und als Stellvertreter seinen Bruder Johann Joseph Harrach mit der Aufsicht der Bauarbeiten beauftragte, entbrannte zwischen diesem und Hildebrandt immer wieder Streit, weil Hildebrandt das Gebäude üppiger gestalten wollte als überhaupt finanzielle Mittel zur Verfügung standen. So wurden wichtige Arbeiten qualitativ mangelhaft erledigt, weshalb Hildebrandt der Auftrag entzogen wurde, worauf dieser überaus bestürzt war. Vorerst führte ein unbekannter Baumeister die Arbeiten weiter, doch nach der Rückkehr des Bauherrn versöhnte dieser sich mit Hildebrandt und betraute ihn mit der Vollendung des Palais. Am 12. November 1735 wurde die Januariuskapelle von Kardinal Sigismund Kollonitsch eingeweiht.

Um 1791 kaufte Kaiser Leopold II. das Palais, und nach dessen Tod ging es an Privatpersonen, welche hier eine Zuckerfabrik unterbrachten. So wäre es wohl rasch bergab gegangen mit dem Palast, hätte nicht Kaiser Franz II. das Haus und den Garten gekauft. Der Kaiser liess im Garten eine riesige Obstplantage und Weinreben anlegen, um den Hof damit versorgen zu können. Das Palais selber blieb unbenutzt.
Um 1840 bezog die Lombardo-Venezianische Garde das Palais und nutzte es als Unterkunft. Das Palais wurde für ihre Ansprüche zweckmässig umgebaut und erweitert, indem der Haupttrakt aufgestockt wurde. Der ehemalige Barockpalast verlor sein prächtiges Gesicht. Als zehn Jahre später das k.u.k. Militär-Reitlehrer-Institut die Räumlichkeiten bezog, war es um den letzten Glanz des Palais Harrach geschehen, denn abermals wurden Umbauten vorgenommen, freilich wiederum einfacher und abermals durchaus zweckmässiger Art.

Der riesige Garten wurde parzelliert und auf einem Teil von ihm nach einer Initiative Kaiser Franz Josephs ein Krankenhaus, die Rudolf-Stiftung, errichtet. 1912 wurde die grosse Freitreppe, ein letzter Zeuge der ehemaligen Pracht Hildebrandts, demoliert. Die endgültige Vernichtung des Palais Harrach erledigte ein Bombenhagel im Zweiten Weltkrieg. Einzig die Mauerhülle der Januariuskapelle überstand die Zerstörungen. Die Ruine des Palastes wurde später abgetragen. In den 80er Jahren plante man die Wiederherstellung der Kapelle. Sie wurdee renoviert und das kleine Türmchen originalgetreu rekonstruiert. Sie ist alles, was noch an den Harrachschen Gartenpalast erinnert, an dessen Stelle heute ein ausdrucksloser, langweiliger Neubau steht.
 

Zustand um 1914
 

Mehrere Stiche und Abbildungen lassen heute genau nachvollziehen, wie das Gartenpalais Harrach ursprünglich ausgesehen hat. Das Palais glich eher einem Schloss als einem Herrschaftshaus. Der Haupttrakt fiel besonders durch seinen hervorspringenden, mit Dachbalustraden und Steinfiguren geschmückten Mittelrisalit auf, während die Seitenflügel eher diskret konzipiert waren. Das Innere war äusserst reich und wertvoll ausgestattet. Besonders zu nennen waren der grosse Festsaal, die Sala Terrena, die Gemäldegalerie und die sehr aufwendige Prachtstiege mit ihrem reichst verarbeiteten Steingeländer. Berühmte Künstler wie Santino Bussi, Bartolomeo Altomonte oder Gaetano Fanti waren bei der Ausstattung des Palais Harrach tätig.