Das geographische Dorf Brookville wurde in zwei Phasen gebildet. Als das Dorf 1931 eingemeindet wurde, bestand es aus einem langen, schmalen Stück Land, das entlang der Cedar Swamp Road (Route 107) zentriert war. In den 1950er Jahren wurde der nördliche Teil des Gebiets ohne eigene Rechtspersönlichkeit, das damals als Wheatley Hills bekannt war, annektiert und in das Dorf eingegliedert, wodurch sich die Fläche des Dorfes auf etwa 2.650 Hektar (1.070 ha) verdoppelte.
Als die Stadt Oyster Bay Mitte des 17.Jahrhunderts das heutige Brookville von den Matinecocks kaufte, war das Gebiet als Suco’s Wigwam bekannt. Die meisten Pioniere waren Engländer, viele von ihnen Quäker. Zu ihnen gesellten sich bald niederländische Siedler aus dem Westen von Long Island, die die Umgebung Wolver Hollow nannten, anscheinend, weil sich Wölfe am Spring-fed Shoo Brook versammelten, um zu trinken. Für den größten Teil des 19.Jahrhunderts hieß das Dorf Tappentown nach einer prominenten Familie. Brookville wurde nach dem Bürgerkrieg der bevorzugte Name und wurde 1873 auf Karten verwendet.
Brookvilles zwei Jahrhunderte als Bauernhof und Waldstau änderten sich im frühen 20.Jahrhundert schnell, als wohlhabende New Yorker verschwenderische Villen bauten. Bis Mitte der 1920er Jahre gab es 22 Ländereien, Teil der Entstehung von Nassau North Shore Gold Coast. Eines davon war Broadhollow, das 108 Hektar (0,44 km2) große Anwesen des Anwalts, Bankiers und Diplomaten Winthrop W. Aldrich, das ein Herrenhaus mit 40 Zimmern besaß. Der zweite Besitzer von Broadhollow war Alfred Gwynne Vanderbilt Jr., der Besitzer der Rennstrecken Belmont und Pimlico war. Marjorie Merriweather Post, Tochter des Getreideschöpfers Charles William Post, und ihr Ehemann Edward Francis Hutton, der berühmte Finanzier, bauten auf 178 Hektar (0,72 km2) ein verschwenderisches Herrenhaus mit 70 Zimmern namens Hillwood. Im Jahr 1931 schlossen sich die Grundstückseigentümer zusammen, um die Eingemeindung des Dorfes zu gewinnen, um das, was sie als unerwünschte Wohn- und Geschäftsentwicklung in anderen Teilen des Nassau County betrachteten, abzuwenden. 1947 wurde das Post Estate an die Long Island University für den C. W. Post Campus verkauft. Der Campus ist als Heimat des Tilles Center for the Performing Arts bekannt. Ebenfalls in Brookville befindet sich das DeSeversky Conference Center des New York Institute of Technology. Das Zentrum war früher Templeton, Herrenhaus des Prominenten und Geschäftsmannes Winston Guest. Templeton wurde später als eine der Einstellungen für den Dudley Moore Film Arthur verwendet.
Die Chapelle de St. Martin de Sayssuel, auch bekannt als die Kapelle St. Jeanne d’Arc, in der Jeanne d’Arc betete, bevor sie die Engländer verpflichtete, wurde Anfang des 20.Jahrhunderts von Frankreich nach Brookville verlegt. Es wurde von Gertrude Hill Gavin, Tochter von James J. Hill, dem amerikanischen Eisenbahnmagnaten, erworben. Die Kapelle wurde Stein für Stein abgebaut und 1926 aus Frankreich in ihr Anwesen in Brookville importiert. Die Kapelle befindet sich heute an der Marquette University in Wisconsin.
Die Brookville Reformed Church, eine der ältesten bestehenden Kirchengemeinden des Landes, nennt Brookville ihre Heimat. Die Brookville Church wurde im 17.Jahrhundert von holländischen Siedlern gegründet.
Das James Preserve ist ein Naturschutzgebiet in Old Brookville und ist das einzige Stück Land, das das natürliche Aussehen des Dorfes vor der Entwicklung zeigt. Obwohl es in Old Brookville ist, ist es mit Greenvale verbunden.