Die Rossauer Kaserne sollte zusammen mit der Franz Josephs-Kaserne und dem Arsenal Teil eines geplanten Festungsdreieck werden, welches Schutz gegen innere Unruhen bieten sollte. Am 1. August 1864 erfolgte der Spatenstich für den Bau der Kaserne in der Rossau. Ganze sechs Jahre dauerte die Erbauung, und am 5. Juli 1870 wurde das ganze Areal übergeben und erste Truppen zogen ein. Die Kaserne erlebte mehrere Umbauten und Nutzungsänderungen im Laufe der Zeit. Im Zweiten Weltkrieg zerstörten Bombenniedergänge den donauseitigen Infanterie-Offizierstrakt vollkommen, danach wure der aber grösstenteils originalgetreu wieder hergestellt.

Die Rossauer Kaserne ist im späten Stil des romantischen Historismus erbaut und erinnert an die mittelalterliche Festungsarchitektur mit ihren Türmen, Zinnen, Trauflinien und Aufsätzen. Die Ausstattung der Kaserne war bereits in den Anfangszeiten unzureichend und zweifelhaft konzipiert, was räumliche Proportionen und sanitäre Anlagen betraf. Es ging zuweilen die Geschichte um, dass der Architekt Selbstmord beging, weil er vergessen hatte, Toiletten einzubauen. Die Kaserne bot nach ihrer Vollendung Platz für 2'900 Mann und 390 Pferde. Weiter waren in ihr 99 Offizierswohnungen unterschiedlicher Grösse, 43 Wohnungen für verheiratete Unteroffiziere, eine Kapelle und Kanzleiräume untergebracht. Das Gebäude hat riesige Ausmasse. Die Länge beträgt 269m und die Breite 136m. In der Kaserne liegen drei grosse Innenhöfe. Aufgrund der Nähe zum Wasser war beim Bau ein besonders stabiles Fundament vonnöten, welches auf rund 30'000 Piloten liegt. Es lohnt sich, den rund 850m langen Spaziergang um das Gebäude zu machen.