den geografiska byn Brookville bildades i två steg. När byn införlivades 1931 bestod den av ett långt, smalt landområde som var centrerat längs Cedar Swamp Road (väg 107). På 1950-talet annekterades den norra delen av det oinkorporerade området som då kallades Wheatley Hills och införlivades i byn, vilket ungefär fördubblade byns område till dess nuvarande 2650 hektar (1070 ha).
när staden Oyster Bay köpte det som nu är Brookville från Matinecocks i mitten av 17-talet, var området känt som Suco ’ s Wigwam. De flesta pionjärer var Engelska, många av dem Quakers. De fick snart sällskap av holländska bosättare från västra Long Island, som kallade omgivningen Wolverhage, tydligen för att vargar samlades vid vårmatad Shoo Brook för att dricka. Under större delen av 19-talet, byn kallades Tappentown efter en framstående familj. Brookville blev det föredragna namnet efter inbördeskriget och användes på 1873 kartor.
Brookville två århundraden som en gård och skogsmark bakvatten förändrats snabbt i början av 20-talet som rika New York-bor byggde påkostade herrgårdar. I mitten av 1920-talet fanns det 22 Gods, en del av uppkomsten av Nassaus North Shore Gold Coast. En var Broadhollow, den 108 hektar stora (0,44 km2) spridningen av advokat-bankir-diplomat Winthrop W. Aldrich, som hade en herrgård med 40 rum. Den andra ägaren av Broadhollow var Alfred Gwynne Vanderbilt Jr., som var ägare till racerbanorna Belmont och Pimlico. Marjorie Merriweather Post, dotter till spannmålsskaparen Charles William Post, och hennes man Edward Francis Hutton, den berömda finansmannen, byggde en överdådig 70-rums herrgård på 178 tunnland (0,72 km2) kallad Hillwood. År 1931 gick fastighetsägare samman för att vinna byinkorporering för att avvärja vad de såg som oönskad bostads-och kommersiell utveckling i andra delar av Nassau County. 1947 såldes Post estate till Long Island University för sin C. W. Post campus. Campus är känt som hem för Tilles Center for the Performing Arts. Också i Brookville är DeSeversky Conference Center i New York Institute of Technology. Centret var tidigare Templeton, herrgård av socialite och affärsman Winston Guest. Templeton användes senare som en av inställningarna för Dudley Moore-filmen Arthur.
Chapelle de St. Martin de Sayssuel, även känd som st.Jeanne D ’Arc Chapel där Jeanne D’ Arc bad innan engagera engelska, flyttades från Frankrike till Brookville i början av 20-talet. Det förvärvades av Gertrude Hill Gavin, dotter till James J. Hill, den amerikanska järnvägsmagnaten. Kapellet demonterades sten för sten och importerades från Frankrike till hennes Brookville-egendom 1926. Kapellet ligger nu vid Marquette University i Wisconsin.
Brookville Reformed Church, en av de äldsta befintliga kyrkans församlingar i landet, kallar Brookville sitt hem. Brookville kyrkan grundades av 17th century holländska nybyggare.
James Preserve är ett naturreservat i Gamla Brookville och är det enda landområdet som visar byns naturliga utseende före utveckling. Även om det är i Old Brookville, den är ansluten till Greenvale.