Das ehemalige Gartenpalais Huldenberg war für die damalige Zeit ungewöhnlich weit von der Stadt entfernt. Es lag am Rande des Wienerwaldes draussen in Weidlingau, welches heute zum Bezirk Penzing gehört. Ursprünglich existierten hier drei Bauernhöfe, welche im frühen 18. Jrh. allesamt von Daniel Erasmus Freiherr von Huldenberg, Sohn eines preussischen Pastors und Repräsentant des Kurfürsten von Hannover sowie Gesandter des Königs von England in Wien, aufgekauft wurden, um für sich ein Lusthaus mit einer grossen Gartenanlage zu erbauen. Aus alten Illustrationen geht hervor, dass der Bau der Anlage von 1709 bis 1715 gedauert hat. Der Architekt der Anlage ist nicht mit Sicherheit überliefert, aber Signaturen und Vermerke weisen auf Johann Bernhard Fischer von Erlach zurück. Man vermutet zudem, dass der Bauherr mit dem Architekten die Pläne weitgehend gemeinsam erarbeitet hat. Nach 1733 vermachte Freiherr Huldenberg das Palais seinen Töchtern, welche es um 1745 weiterverkauften. 1764 wurde Johann Joseph Fürst Khevenhüller-Metsch Besitzer des Anwesens und nannte das Palais fortan „Josephsruh“. Er liess einige Umbauten im Inneren und auch am Äusseren des Palais vornehmen.

Das Gartenpalais Huldenberg war vergleichsweise klein. Es war lediglich zweigeschossig und hatte neun Fensterachsen auf seiner Breite, in deren Mitte der dreiachsige und durch Pilaster gegliederte Mittelrisalit die Seitentrakte überragte. Seitlich des Hauptgebäudes etwas vorgerückt standen links und rechts je ein Pavillon mit quadratischem Grundriss, zu welchen hin sich vom Haus aus geschwungene Mauern zogen, was vor dem Gebäude eine Fläche ähnlich wie ein Ehrenhof bildete. In dessen Mitte war ein rundes Wasserbecken angebracht und seitlich davon je ein kleinerer Springbrunnen. Der grosse Barockgarten davor war abfallend und daher terrassiert und durch Mauern und Hecken streng von den umliegenden Grundstücken abgegrenzt. Der Garten bestach durch Brunnenanlagen, Balustraden, Treppen, Skulpturen und gepflegter Vegetation.

Im frühen 20 Jrh. wurden Serena und August Lederer Besitzer des Palais. Die beiden besassen seinerzeit die grösste private Kollektion von Arbeiten Gustav Klimts, welche hier im nun „Ledererschlössel“ genannten Gartenpalais untergebracht war. Im zweiten Weltkrieg wurden die Besitzer enteignet, und das ehemalige Gartenpalais Huldenberg diente eine Zeit lang als Kinderheim, wurde danach jedoch dem Verfall überlassen. Im Jahre 1972 wurde die Anlage demoliert und musste dem Bau des heutigen Jugendheimes weichen. Mehrere Skulpturen aus dem Garten fanden den Weg ins Museum, von der Anlage selber jedoch ist bis auf die Einfriedung und ein paar kleine Überbleibsel des Barockgartens nichts übriggeblieben.