Ende des 19. Jrh. entstand unter der Wiener Bevölkerung der Wunsch nach einem Gebäude, welches für Musikfeste und ähnliche Anlässe benutzt werden kann. Das Programm sollte nicht wie beispielsweise der
Musikverein eine eingeschränkte Bevölkerungsschicht anlocken, sondern für jedermann etwas Ansprechendes auf der Spielliste stehen haben. Der Architekt Ludwig Baumann stellte sich eine Multifunktionsarena vor, ein "Olympion", welche neben den Konzerträumen auch eine Eislaufbahn und ein Fahrradclub beherbergen sollte. Dieses Vorhaben wurde jedoch nicht realisiert. Baumann tat sich mit den berühmten Theaterbauer Ferdinand Fellner und Hermann Helmer zusammen und plante das heutige Konzerthaus, dessen Bau 1911 begonnen wurde und welches drei Säle beherbergt, den Grossen Saal, den Mozart-Saal und den Schubert-Saal.

Diese Säle sind so angeordnet, dass in jedem zur gleichen Zeit ein Konzert stattfinden kann, ohne dass die eine Veranstaltung eine andere stört.
Das Wiener Konzerthaus identifiziert sich mit Traditionsbewusstsein und Freude an Innovation. Auf diesem Grundthema baute bereits die Eröffnungsfeier 1913 auf, an dem Richard Strauss' Präludium Op.61 (Innovation) und Ludwig van Beethovens Symphonie Nr.9 (Tradition) erklangen. Während klassische Musik stets ihren festen Platz im Repertoire des Konzerthauses hatte, kamen besonders in den 20er und 30er Jahren des 20. Jrh. moderne und zeitgenössische Darbietungen auf die Bühne wie Jazzkonzerte, Ausdruckstänze, Symposien, Schlagerkonzerte und sogar  Sportveranstaltungen wie Fecht- und Boxkämpfe.

Die Jahre des Zweiten Weltkrieges bedeuteten für das Konzerthaus den kulturellen Abstieg. Die Nationalsozialisten missbrauchten das Gebäude zur Verbreitung ihrer Propaganda und nutzten es zudem für niedere Unterhaltung. Nach dem Krieg war damit aber bald wieder Schluss. Das Konzerthaus war bald wieder das, was es zuvor gewesen war; ein führender Veranstaltungort für klassische und zeitgenössische Musik, und zudem wurde es in Wien zur wichtigsten Bühne des internationalen Jazz.
Trotz der Kernfunktion als Haus für Musik ist das Konzerthaus gewissermassen ein Mehrzweckgebäude, in dem Bälle, Geschäftsanlässe, Diners, Kongresse, Konferenzen und Bankette  stattfinden. In den Jahren 1998-2001 wurde das Haus gründlich saniert.