Im Jahre 1730 kam Emanuel Teles Graf von Sylva-Tarouca aus Lissabon nach Wien an den Hof, wo er der jungen Kaiserin Maria Theresia hilfreich zur Hand ging in Regierungsbelangen. Im Jahre 1744 erstand er drei Gebäude im heutigen Bezirk Penzing, welche er demolieren und an ihrer Stelle ein herrschaftliches Palais erbauen liess. Dieses wurde einige Jahre danach von Maria Theresia als dem Kaiserschloss benachbarten Sommersitz für ihren Schwager Prinz Karl von Lothringen gekauft. Gleich daneben liess sich Graf Sylva-Tarouca darauf ein weiteres Palais erbauen, welches später in den Besitz der Herren Pouthon aus Rudolfsheim-Fünfhaus überging. Um 1867 verkaufte die Familie Pouthon das Palais an Kaiser Franz Josef I. welcher die beiden Herrschaftshäuser baulich vereinen liess.

Er liess darin den in Österreich im Exil lebenden König Georg V. von Hannover wohnen, welcher bis zu seinem Ableben unter dem Pseudonym „Herzog von Cumberland“ hier lebte. In dieser Zeit liess dieser vieles an dem Haus ausbauen, verschönern und bewahrte darin seine wertvolle Kunstsammlung auf. Um 1908 erhielt das Doppelgebäude einen weiteren Anbau, denn das angrenzende kaiserliche Jagdhaus aus dem Jahre 1747 wurde mit in den Komplex einbezogen. Nach dem Ersten Weltkrieg wurde das Palais Cumberland Sitz der Tschechoslowakischen Botschaft. Später bezog das Reinhardt-Seminar einen Teil des Komplexes.

Die heutige Erscheinung des Palais Cumberland lässt deutlich auf die mehrmaligen Um- und Anbauten schliessen, welche seit 1744 vorgenommen wurden. Dem Gebäudeteil, welcher östlich ausgerichtet ist, ist ein kleiner Ehrenhof vorgelagert. Hinter dem Eingang eröffnet sich ein prachtvolles Stiegenhaus mit beeindruckendem Stuckwerk. Die Ausstattung des grossen Saales mit Pilastern, Lunettenfenstern und reichem Stuckplafond stammt aus der Mitte des 19. Jrh. Der Haupttrakt aus der Gründerzeit ist durch mehrere unterschiedliche Elemente gegliedert. So wird er bestimmt von Pilastern, Rundbogen, hervortretenden Risaliten und erkerartigen Anbauten. Im Inneren wurde das Haupthaus fast vollständig erneuert, wobei nur der gartenseitige ovale Ballsaal seine ursprüngliche Ausstattung erhalten konnte. Diese ist dafür besonders reichhaltig und besticht mit grossartiger gemalter Scheinarchitektur und einem Deckengemälde, welches einen Ausblick in den Himmel vortäuscht. Zwei Öfen aus der Erbauungszeit sind ebenfalls noch vorhanden, welche mit üppigem Rocaillenschmuck verziert sind.