Um 1690 erwarb Hofkuchel-, Obriststall- und Hoflandjägermeister Christoph Johann Graf Althan den Bezirksteil im heutigen Alsergrund, welcher demzufolge „Althangrund“ genannt wurde. Er beauftragte den Barockmeister Johann Bernhard Fischer von Erlach, an der Als einen Garten mit einem Lusthaus anzulegen. Es war ein kreuzförmig konzipiertes Palais mit einem hohen Ovalraum im Zentrum. Die vier Flügelbauten waren regelmässig um den Raum gegliedert.
Nach dem Tod des Bauherrn im Jahre 1706 ging die Anlage in den Besitz seines Sohnes Gundacker Graf von Althan über, welcher das Anwesen 1713 an das Wiener Magistrat verkaufte. Das Gebäude war für die Stadt von keinem Nutzen, weshalb sie es um 1754 an den Handelsmann Johann Georg Schuller verkaufte, dessen Sohn und Erbe Johann Baptist Pouthon (1745-1816) das Palais und den Garten einschneidend umgestalten liess. Auch seine Erben nahmen an der Anlage weitere Veränderungen vor und liessen die Baukörper mit Verdachungen versehen.
Um 1866 erhielt Fürst Schwarzenberg den Auftrag zum Bau der Franz-Josephs-Nordbahn, welche Wien mit Eger und Gmünd verbinden sollte. Um 1869 wurde das Palais Althan-Pouthon abgebrochen und drei Jahre später der Franz-Josephs-Bahnhof am ehemaligen Althanplatz errichtet. Dieser musste inzwischen einem Neubau des Bahnhofs weichen.