maantieteellinen Brookvillen kylä muodostettiin kahdessa vaiheessa. Kun kylä liitettiin vuonna 1931, se koostui pitkästä ja kapeasta maa-alueesta, jonka keskus oli Cedar Swamp Roadin (Yhdystie 107) varrella. 1950-luvulla Wheatley Hillsinä tuolloin tunnettu pohjoisosa liitettiin ja liitettiin kylään, jolloin kylän pinta-ala suunnilleen kaksinkertaistui nykyiseen 2 650 eekkeriin (1 070 ha).
kun Oyster Bayn kaupunki osti nykyisen Brookvillen Matinecockeilta 1600-luvun puolivälissä, alue tunnettiin nimellä Sucon Wigwam. Useimmat tienraivaajat olivat englantilaisia, monet heistä kveekareita. Heidän joukkoonsa liittyi pian läntiseltä Long Islandilta tulleita hollantilaisia uudisasukkaita, jotka kutsuivat ympäröivää aluetta Wolver Hollow ’ ksi ilmeisesti siksi, että sudet kokoontuivat kevätravinteiselle Shoo Brookille juomaan. Suurimman osan 1800-luvusta kylää kutsuttiin nimellä Tappentown erään merkittävän perheen mukaan. Brookvillestä tuli suosittu nimi sisällissodan jälkeen ja sitä käytettiin vuoden 1873 kartoissa.
Brookvillen kaksi vuosisataa maatilana ja metsän takavesinä muuttuivat nopeasti 1900-luvun alussa, kun varakkaat newyorkilaiset rakensivat hulppeita kartanoita. 1920-luvun puolivälissä kartanoita oli 22, mikä oli osa Nassaun pohjoisrannikon Kultarannikon syntyä. Yksi oli broadhollow, asianajaja-pankkiiri-diplomaatti Winthrop W. Aldrichin 0,44 km2 laajuinen alue, jossa oli 40 huoneen kartano. Broadhollow ’ n toinen omistaja oli Alfred Gwynne Vanderbilt Jr., joka omisti Belmontin ja Pimlicon raviradat. Viljantekijä Charles William Postin tytär Marjorie Merriweather Post ja hänen miehensä Edward Francis Hutton, kuuluisa rahoittaja, rakensivat hulppean 70 huoneen kartanon 178 eekkerin (0,72 km2) alueelle nimeltä Hillwood. Vuonna 1931 kiinteistönomistajat liittoutuivat voittaakseen kylän yhtiöittämisen päästäkseen pois siitä, mitä he näkivät ei-toivottuna asuin-ja kaupallisena kehityksenä muissa osissa Nassaun kreivikuntaa. Sisään 1947, Post estate myytiin Long Island University sen C. W. Post kampus. Kampus on tunnettu koti Tilles Center for Performing Arts. Brookvillessä sijaitsee myös New Yorkin Teknillisen korkeakoulun Deseversky-konferenssikeskus. Keskus oli aiemmin Templeton, seurapiirikaunotar ja liikemies Winston Guestin kartano. Templetonia käytettiin myöhemmin yhtenä lavasteena Dudley Mooren elokuvassa Arthur.
Chapelle de St. Martin de Sayssuel, joka tunnetaan myös nimellä St. Jeanne d ’Arcin kappeli, jossa Jeanne d’ Arc rukoili ennen englantilaisten kohtaamista, siirrettiin Ranskasta Brookvilleen 1900-luvun alussa. Sen osti Gertrude Hill Gavin, amerikkalaisen rautatiepohatan James J. Hillin tytär. Kappeli purettiin kivi kiveltä ja tuotiin Ranskasta hänen Brookvillen kartanoonsa vuonna 1926. Kappeli sijaitsee nykyään Marquetten yliopistossa Wisconsinissa.
Brookvillen reformoitu kirkko, yksi maan vanhimmista olemassa olevista kirkkokunnista, kutsuu Brookvilleä kodikseen. Brookvillen kirkon perustivat 1600-luvun hollantilaiset uudisasukkaat.
Jamesin suojelualue on luonnonsuojelualue vanhassa Brookvillessä ja se on ainoa maa-alue, joka osoittaa kylän luonnollisen ulkonäön ennen kehitystä. Vaikka se sijaitsee vanhassa Brookvillessä, se on yhteydessä Greenvaleen.