Der Ursprung des Palais geht ins 17. Jh. zurück. Es war damals ein schmuckes Haus mit einem grossen Garten. Um 1867 kaufte Müllermeister Anton Widter die Anlage und betrieb hier Geschichtsforschung und sammelte antike Gegenstände. Die Sammlung war wertvoll und umfangreich und wurde später an Museen übergeben oder kamen im Dorotheum unter den Hammer. 1873 bis 1881 hatte Dr. Karl Lueger im Palais Widter seine erste Advokatskanzlei. Um 1911 wurde das Palais Widter abgebrochen.