Um 1700 wurde das Haus für den reichen Holzgrosshändler Karl August von Damian als Sommersitz erbaut und erhielt den Namen „Haus zum Strobelkopf“, denn damals nannte man in Wien die Holzhändler „Strobler“. Man weiss nicht, wer die Pläne für das Palais lieferte; möglicherweise könnte der Mitteltrakt von Johann Lucas von Hildebrandt stammen. Nachdem von Damian gestorben war, wechselte das Hause mehrmals den Eigentümer. Um 1774 kaufte Daniel von Zepharovich, ein hoher k&k Finanzbeamter, das Palais Damian. Durch seine Initiative erhielt das Palais nach Plänen von Matthias Gerl sein heutiges Aussehen. Um 1785 mietete sich der Bankier Karl Abraham Wetzlar ein, welcher sich aus ärmlichen Verhältnissen zu einem der reichsten Männer Wiens emporgearbeitet hat.

Er war zudem ein angesehener Kunstgönner, ein Förderer Mozarts und besass eine der wertvollsten privaten Gemäldesammlunugen in Wien. Sein Sohn Adam war der Ehemann von Karoline Zepharovich; dieser kaufte das Palais um 1800, welches ein halbes Jahrhundert Familienbesitz blieb. Darauf wurde es von der Familie Löwenthal-Linau erworben und vermietet. Währen3d der nächsten hundert Jahre wurde das Palais an mehrere Personen und Institutionen vermietet. Während des Zweiten Weltkrieges von 1938-45 waren im Palais Damian die Wiener Sängerknaben untergebracht. Heute ist das Palais, dessen Fassade neu renoviert worden ist, im Besitze der Gemeinde Wien und beherbergt den Verband für Kriegsopfer der Sektionen Wien, Niederösterreich und Burgenland. Das Palais erweckt mit seinen vortretenden Seitentrakten und dem dadurch entstandenen Ehrenhof, welcher durch ein kunstvolles Gitterportal abgeschlossen wird, einen schlossähnlichen Eindruck. Der heutige Verwendungszweck des Palais benötigt Böroräumlichkeiten, denen die historische Ausstattung weichen musste. Von der einstigen Gartenanlage ist nur noch ein kleiner Teil übriggeblieben.