Bereits um 1244 existierte in Erlaa ein Herrschaftssitz. Das heutige Schloss war bereits im 16. Jh. zu einer beachtlichen Anlage mit vier Flügeln ausgebaut. Besitzer von Alterlaa waren damals die Grafen von Seillern. Georg Adam von Starhemberg kaufte um 1765 die Schlossanlage und liess sie in den folgenden Jahren im Stil des Spätbarock aus- und umbauen. Einige Teile der alten Schlossanlage wurden mit in den Neubau einbezogen. Die Pläne für den Ausbau lieferte vermutlich Nikolaus Pacassi. Der weitläufige Schlossgarten wurde ebenfalls unter Starhemberg angelegt.
Während Napoleon in den Jahren 1805 bis 1809 Wien besetzte, waren seine Truppen im Schloss Alterlaa einquartiert. Ab 1880 wurde ein Teil des Schlosses als Privatkrankenhaus benutzt. Seit 1918 ist die Schlossanlage Besitz der Familie Brenner. Um 1920 liess Hans Brenner  die 1726 geweihte Schlosskapelle und den Vordertrakt demolieren und den Ehrenhof sowie die Mauer an der Erlaaer Strasse mit einem repräsentativen Schmiedeeisenportal anlegen. Die Anlage ist Privatgrund und nicht zugänglich.

Die heutige Gregorygasse bildet die Kastanienallee, die einst als repräsentative Zubringerstrasse direkt zum Schloss Alterlaa führte - also als Schlossallee diente. Heute mündet sie in die vor dem Schloss verlaufende, stark befahrene Erlaaer Strasse. Das Schloss ist zweigeschossig. Dem Mitteltrakt schliesst sich seitlich je ein weiterer Trakt an. Zusammen bilden die drei Gebäudeteile einen U-förmigen Grundriss. Dem Haupttrakt ist sowohl ehrenhof- als auch gartenseitig eine zweiarmige Freitreppe vorgelagert. Im Parterre haben sich Kreuzratgewölbe aus dem späten 16. Jh. erhalten. Im Obergeschoss weisen einige Räume wertvolle Holzvertäfelungen mit Rocailleverzierungen aus dem 18. Jh. auf sowie Kachelöfen aus dem 19. Jh. Der Saal im Mittelteil des Haupttraktes wird durch Pilaster gegliedert mit reichen Kapitellen. Die Decke ist üppig stuckiert. Strassenseitig flankieren zwei ehemalige Wirtschaftsgebäude - eines davon einst als Remise verwendet - die Toreinfahrt.
Der Schlosspark wurde um 1770 als englischer Landschaftsgarten angelegt. Im 19. Jh. wurde er umgestaltet, ist in seiner Grundform jedoch weitgehend erhalten geblieben. Künstliche Wasserläufe, Kaskaden, eine Grotte und weitere übrig gebliebene Staffagebauten zieren den Park. Er ist einer der ältesten dieser Art in Wien.