David Fanto war ein erfolgreicher Geschäftsmann und Besitzer von mehreren Ölquellen in Osteuropa. Er war Mitbegründer der ersten Österreichischen Raffinerie und  verdiente dadurch während des Ersten Weltkrieges ein Vermögen. Um 1916 erwarb er Schloss Pottenbrunn bei St. Pölten, und in den Jahren 1917 und 1918 liess er sich von den beiden Architekten Alexander Neumann und Ernst Gotthilf-Miskolczy in Wien ein Stadtpalais erbauen. Das etwas vom Schwarzenbergplatz zurückversetzte Haus gilt als spätestes Gebäude im Stil der Ringstrassenarchitektur. Der Bauherr verstarb 1922 in den USA, wonach das Palais und das Schloss an seinen Sohn und seine beiden Töchter übergingen. Danach war im Palais Fanto über Jahrzehnte hinweg der Hauptsitz des Österreichischen Branntwein-Monopols untergebracht. Heute beherbergt das Palais zudem das Arnold Schönberg Center.

Das Palais Fanto ist nicht besonders üppig geschmückt. Sein Grundriss ist dreiecksförmig und steht mit der Hauptseite gegen den Schwarzenbergplatz. Die Rundecke auf dieser Seite ist der markanteste Teil des Gebäudes. Sechs riesige Rundpilaster über dem Hauptportal tragen das umlaufende Dachgebälk, welches von einem Kuppeldach überdeckt wird, was den Eindruck eines Eckturmes entstehen lässt. Links vom rundbogigen Kuppeldachfenster prangt eine sitzende weibliche Steinfigur und rechts eine männliche. Die seitlichen Fassaden sind gegliedert durch zwei minim hervortretende Seitenrisalite, welche allerdings nur oberhalb des rustifizierten Sockelgeschosses erkennbar sind. Die wenig hervortretenden Balkone der Beletage haben Steinbalustraden, während die restlichen darüber liegenden Balkone mit Eisengeländern versehen sind. Die Mittelrisalite haben keine Balkone und bis auf bescheidene Fensterbekrönungen keinen Schmuck. Auf dem Dachgesims der Seitenrisalite stehen je zwei grosse Steinvasen.