Im 14. Jrh. stand an der Stelle des heutigen Palais ein Gebäude, welches bis mindestens in Jahr 1384 im Besitze der Familie von Kapellen war. Die folgenden Besitzer sind nicht bekannt. Mitte 16 Jrh. wurde es „Frau Pittichin-Haus“ genannt und kam 1567 in den  Besitz des Münzmeisters Hans Hartmann. Der nachfolgende Eigentümer war Konrad von Pappenheim, nachdem Marschall Maximilian von Pappenheim das Anwesen geauft hatte. Um 1605 kaufte Octavius Cavriani das Haus und brachte es in einen Fideikommiss (unveräusserbares Erbgut) ein. Er blieb kinderlos, und so war sein Neffe Reichsgraf von Cavriani der rechtmässige Erbe. Im Jahre 1723 liess Hofkammerrat Maximilian Graf Cavriani an der Stelle des bisherigen Gebäudes das heutige Palais errichten, welches zu der Zeit eines der prachtvollsten Adelsgebäuden gehörte. Die Familie Cavriani blieb bis 1923 die Besitzerin.

Heute beherbergt das Haus, dessen zweigeschossiger Dachstuhl noch immer original ist, die renommierte Pension Pertschy. Auf der Seite der Habsburgergasse besticht das Haus mit einer hochbarocken Fassade mit einem korinthischen Säulenportal, Balustradenbalkon und aufwendigem Fensterschmuck. Korinthische Pilaster dominieren das Erscheinungsbild des Gebäudes ohnehin. Die Fassade gegen die Bräunerstrasse ist nicht minder auffallend, besitzt reicheren Baudekor, jedoch weniger aufwendige Fensterumrahmungen. Über dem Portal ist eine Figurengruppe angebracht, welche aus einer frühbarocken Madonna, dem heiligen Leopold und dem heiligen Florian besteht. Die Fassade des Palais Cavriani ist eine der letzten Barockfassaden diesen Stils in Wien.