geograficzna Wioska Brookville powstała w dwóch etapach. Kiedy wieś została włączona w 1931 roku, składała się z długiego, wąskiego terenu, który był wyśrodkowany wzdłuż cedrowej drogi bagiennej (droga nr 107). W 1950 roku północna część niezakłóconego obszaru, znanego wówczas jako Wheatley Hills, została zaanektowana i włączona do wsi, co w przybliżeniu podwoiło jej powierzchnię do obecnej 2650 akrów (1070 ha).
kiedy w połowie XVII wieku miasto Oyster Bay zakupiło od Matinecocks to, co jest obecnie Brookville, obszar ten był znany jako Wigwam Suco. Większość pionierów była Anglikami, wielu z nich Kwakrami. Wkrótce dołączyli do nich holenderscy osadnicy z Zachodniej Long Island, którzy nazwali okolicę Wolver Hollow, prawdopodobnie dlatego, że wilki zbierały się w spring-fed Shoo Brook, aby się napić. Przez większą część XIX wieku wieś nazywała się Tappentown od prominentnej rodziny. Brookville stało się preferowaną nazwą po wojnie secesyjnej i zostało użyte na mapach z 1873 roku.
dwa stulecia Brookville jako Farma i leśne Zaścianki szybko zmieniły się na początku XX wieku, gdy zamożni nowojorczycy zbudowali wystawne rezydencje. Do połowy lat dwudziestych XX wieku istniały 22 posiadłości, będące częścią powstania Złotego Wybrzeża Nassau na północnym brzegu. Jednym z nich był Broadhollow, 108-hektarowy (0,44 km2) majątek adwokata-bankiera-dyplomaty Winthropa W. Aldricha, który posiadał 40-pokojowy Dwór. Drugim właścicielem Broadhollow był Alfred Gwynne Vanderbilt Jr., który był właścicielem torów wyścigowych Belmont i Pimlico. Marjorie Merriweather Post, córka twórcy zbóż Charlesa Williama Posta, i jej mąż Edward Francis Hutton, słynny finansista, zbudowali wystawną 70-pokojową rezydencję na 178 akrach (0,72 km2) o nazwie Hillwood. W 1931 r.właściciele posiadłości połączyli siły, aby wygrać inkorporację wsi, aby zakończyć to, co postrzegali jako niepożądany rozwój mieszkaniowy i handlowy w innych częściach Hrabstwa Nassau. W 1947, Post estate został sprzedany do Long Island University dla jego kampusu C. W. Post. Kampus jest znany jako dom Tilles Center for the Performing Arts. Również w Brookville znajduje się DeSeversky Conference Center Of The New York Institute of Technology. Centrum było dawniej Templeton, rezydencja socjalisty i biznesmena Winstona Guest. Templeton został później wykorzystany jako jedna z scenografii do filmu Dudleya Moore ’ a Arthur.
Chapelle de St. Martin de Sayssuel, znana również jako kaplica św. Joanny d 'Arc, w której modliła się Joanna d’ Arc przed zaangażowaniem Anglików, została przeniesiona z Francji do Brookville na początku XX wieku. Nabyła ją Gertrude Hill Gavin, córka Jamesa J. Hilla, amerykańskiego magnata kolejowego. Kaplica została rozebrana kamień po kamieniu i sprowadzona z Francji do jej posiadłości Brookville w 1926 roku. Obecnie Kaplica znajduje się na Marquette University w Wisconsin.
Brookville Reformed Church, jeden z najstarszych istniejących zborów kościelnych w kraju, nazywa Brookville swoim domem. Kościół Brookville został założony przez XVII-wiecznych osadników holenderskich.
James Preserve jest rezerwatem przyrody w Old Brookville i jest jedynym fragmentem terenu pokazującym naturalny wygląd wsi przed jej rozwojem. Chociaż znajduje się w Old Brookville, jest połączony z Greenvale.