den geografiske landsby Brookville blev dannet i to faser. Da landsbyen blev indarbejdet i 1931, bestod den af en lang, smal landvej, der var centreret langs Cedar sump Road (rute 107). I 1950 ‘ erne blev den nordlige del af det ikke-inkorporerede område, der dengang var kendt som hvede bakker, annekteret og indarbejdet i landsbyen, hvilket omtrent fordoblede landsbyens område til dets nuværende 2.650 hektar (1.070 ha).
da byen Oyster Bay købte det, der nu er Brookville fra Matinecocks i midten af det 17.århundrede, blev området kendt som Suco ‘ s Vrivam. De fleste pionerer var engelske, mange af dem kvækere. De fik snart følgeskab af hollandske bosættere fra det vestlige Long Island, der kaldte det omkringliggende område jærv hul, tilsyneladende fordi ulve samlet sig ved foråret fodret Shoo Bæk for at drikke. I det meste af det 19.århundrede blev landsbyen kaldt Tappentby efter en fremtrædende familie. Brookville blev det foretrukne navn efter borgerkrigen og blev brugt på 1873 kort.
Brookvilles to århundreder som gård og skov bagvand ændrede sig hurtigt i det tidlige 20.århundrede, da velhavende nyankomne byggede overdådige palæer. I midten af 1920 ‘ erne var der 22 godser, en del af fremkomsten af Nassaus North Shore Gold Coast. Den ene var Bredhul, den 108 hektar store (0,44 km2) spredning af advokat-bankmand-diplomat vinder Aldrich, som havde en 40-værelses herregård. Den anden ejer var Alfred Vanderbilt Jr., der var ejer af banerne Belmont og Pimlico. Marjorie Merrivejrpost, datter af korn skaberen Charles Vilhelm Post, og hendes mand Edvard Francis Hutton, den berømte finansmand, bygget en overdådig 70-værelses palæ på 178 acres (0,72 km2) kaldet Bakketræ. I 1931 slog ejendomsejere sig sammen for at vinde landsbyindarbejdelse for at afværge det, de så som uønsket bolig-og kommerciel udvikling i andre dele af Nassau County. I 1947 blev Post estate solgt til Long Island University for sin C. V. Post campus. Campus er kendt som hjemsted for Tilles Center for Performing Arts. Også i Brookville er Deseversky Conference Center af Ny York Institute of Technology. Centret var tidligere Templeton, palæ af socialite og forretningsmand. Templeton blev senere brugt som en af indstillingerne for Dudley Moore-filmen Arthur.
Chapelle de St. Martin de Sayssuel, også kendt som St. Joan of Arc-kapellet, hvor Joan of Arc bad forud for at engagere engelskmennene, blev flyttet fra Frankrig til Brookville i det tidlige 20.århundrede. Det blev erhvervet af Gertrude Hill Gavin, datter af James J. Hill, Den amerikanske jernbanemagnat. Kapellet blev demonteret sten for sten og importeret fra Frankrig til hendes Brookville ejendom i 1926. Kapellet er nu placeret på Markets Universitet.
Brookville Reformed Church, en af de ældste eksisterende kirkemenigheder i landet, kalder Brookville sit hjem. Brookville-kirken blev grundlagt af hollandske bosættere fra det 17.århundrede.
James Preserve er et naturreservat i Old Brookville og er det eneste landområde, der viser landsbyens naturlige udseende før udvikling. Selvom det er i Old Brookville, er det forbundet med Greenvale.