Ende 17. Jrh. gehörte die Liegenschaft an der Salmgasse Johann Sebastian von Wirsing. Im früheren 18. Jrh. liess man das Gebäude für Johann Anton Freiherr von Widmann zu einem Palais mit drei Flügeln ausbauen. Um 1764 gehörte die Anlage dem Kardinalerzbischof Christoph von Migazzi, welcher hier das erzbischöfliche Internat unterbrachte, was dem Palais beiläufig den Namen „Bischofshof“ gab. Später hatte das Anwesen mehrmals die Besitzer gewechselt. Um 1804 gehörte es dem russischen Botschaftssekretär Emilian von Kudriaffsky, welcher jedoch um 1818 hoch verschuldet Wien verlassen musste. So kam das Palais an Andreas K. Fürst Rasumofsky, dessen Palais sich in der Nachbarschaft befand.

Nach weiteren Besitzerwechseln kaufte schliesslich Gräfin Sylva-Tarouca das Palais. Sie beauftragte Eugen Sehnal mit der Planung eines Neubaus, welcher vom Baumeister Karl Ziegelwanger im Jahre 1882 ausgeführt wurde. Im Jahre 1915 wurde der Feigenkaffeefabrikant Karl Kuhlemann Eigentümer des Palais, dessen Nachfahren noch heute hier wohnen. Im Zweiten Weltkrieg erlitt das Palais Schäden, welche um 1959 repariert wurden, wenn auch nicht ganz originalgetreu.
Die Hauptfront des Palais Sylva-Tarouca ist gegen den Garten gerichtet und die asymmetrische Hinterseite gegen die Salmgasse. Auf dieser Seite sind die drei Rundbogenfenster über dem Portal des Mittelrisalits mit geschwungenen Verdachungen versehen, die Fenster der Seitentrakte hingegen sind mit geradem Steingebälk überdacht. Das Erdgeschoss ist rustifiziert und die Fenster mit Schmiedeeisengittern versehen. Die Fassade gegen den Garten weist korinthische Riesenpilaster auf, welche sie gliedern. Über dem Balkon mit einem schönen Schmiedeeisengitter liegt ein Dreiecksgiebel. Einst prangte hier vier Atlanten, welche jedoch im Zweiten Weltkrieg zerstört wurden. Eine geschwungene Freitreppe führt von der Terrasse in den Garten, welcher abschüssig ist. Während die Gärten der benachbarten Palais Salm und Rasumofsky wegen Parzellierungen stets kleiner geworden waren, ist derjenige des Palais Sylva-Tarouca relativ grossflächig geblieben.