Um das Jahr 1562 entstand auf dem Areal des ehemaligen jüdischen Fleischhofes ein Gebäude, welches für die Anlegung eines Waffenlagers zur Verteidigung Wiens dienen sollte. Im Jahre 1676 wurde ein Weiteres Haus hinzugebaut. Die beiden Gebäude hiessen „Neues Zeughaus“ und „Harnischkammer“, wurden später jedoch in „Zeughaus“ und „Unterkammeramt“ umgetauft. Schon in frühen Zeiten, wurden hier Wasserwagen und Löschmaterial für die Feuerwehr untergebracht.
In den Jahren 1731 und 1732 erhielt der Barockarchitekt und kaiserliche Stückhauptmann Anton Ospel den Auftrag, die Fassade des Zeughauses neu zu gestalten. Er setzte der Front gegen den Platz am Hof einen grossen Dreiecksgiebel auf, in welchem ein reich gestalteter Doppeladler mit dem Wappen der Stadt Wien und der Kaiserkrone prangt. Die Ornamentik besteht hauptsächlich aus Rüstwerk  und Rustizierung. Über dem Giebel stehen die allegorischen Figuren der Beharrlichkeit und der Stärke, welche eine goldene Weltkugel tragen. Sie sind das Werk von Lorenzo Matielli.

Um die städtische Feuerwehr hier gänzlich unterzubringen, wurde später das benachbarte „Märklein’sche Haus“ von Johann Lucas von Hildebrandt hinzugekauft und das ehemalige Bürgerliche Zeughaus nunmehr „Alte Feuerwache“ genannt. Noch heute ist die städtische Feuerwache hier stationiert. Am 21. Juni 2006 wurde ein grosser Drehkran, welcher auf dem Platz für Umbauarbeiten positioniert worden war, von einem Sturm  geknickt. Der obere Teil des Krans stürzte mit voller Wucht auf die Feuerwache und beschädigte das Gebäude. Der Kranführer kam ums Leben.