Brookville földrajzi falu két szakaszban alakult. Amikor a falut 1931-ben beépítették, egy hosszú, keskeny földterületből állt, amely a Cedar Swamp Road (107-es út) mentén helyezkedett el. Az 1950-es években az akkor Wheatley Hills néven ismert jogi személyiség nélküli terület északi részét csatolták és beépítették a faluba, megközelítőleg megduplázva a falu területét a jelenlegi 2650 hektárra (1070 ha).
amikor Oyster Bay városa megvásárolta a mai Brookville – t a Matinecocks-tól a 17.század közepén, a területet Suco Wigwam néven ismerték. A legtöbb úttörő Angol volt, sokan közülük kvékerek. Hamarosan holland telepesek csatlakoztak hozzájuk Long Island nyugati részéről, aki a környező területet Wolver Hollow-nak hívta, nyilván azért, mert a farkasok tavasszal táplált Shoo Brooknál gyűltek össze inni. A 19.század nagy részében a falut egy prominens család után Tappentownnak hívták. A Brookville a polgárháború után lett a preferált név, amelyet az 1873-as térképeken használtak.
Brookville két évszázados farmja és erdei holtága gyorsan megváltozott a 20.század elején, amikor a gazdag New York-iak pazar kúriákat építettek. Az 1920-as évek közepére 22 birtok volt, amelyek a Nassau északi parti Aranypartjának megjelenésének részét képezték. Az egyik Broadhollow volt, a 108 hektáros (0,44 km2) ügyvéd-bankár-diplomata terjedése Winthrop W. Aldrich, amelynek 40 szobás udvarháza volt. A Broadhollow második tulajdonosa Alfred Gwynne Vanderbilt Jr.volt, aki a Belmont és a Pimlico versenypályák tulajdonosa volt. Marjorie Merriweather Post, a gabonakészítő lánya Charles William postés férje, Edward Francis Hutton, a híres finanszírozó, egy pazar 70 szobás kastélyt épített 178 hektáron (0,72 km2) Hillwood néven. 1931-ben az ingatlantulajdonosok összefogtak, hogy megnyerjék a falu beépítését, hogy megakadályozzák a nemkívánatos lakó-és kereskedelmi fejlesztéseket Nassau megye más részein. 1947-ben a Post estate-t eladták Long Island Egyetem annak C. W. Post campus. A campus a Tilles Előadóművészeti Központ otthona. Brookville-ben található a New York-i Műszaki Intézet DeSeversky konferenciaközpontja is. A központ korábban Templeton volt, Winston Guest társasági és üzletember kúriája. Templetont később a Dudley Moore film egyik beállításaként használták Arthur.
a Chapelle de St. Martin de Sayssuel, más néven Szent Jeanne d ‘Arc kápolna, ahol Jeanne d’ Arc imádkozott az angolok bevonása előtt, Franciaországból Brookville-be költözött a 20.század elején. Gertrude Hill Gavin, James J. Hill, az amerikai vasúti mágnás lánya szerezte meg. A kápolnát kőről kőre lebontották, és 1926-ban Franciaországból Brookville-i birtokára importálták. A kápolna ma a Wisconsini Marquette Egyetemen található.
a Brookville-I Református Egyház, az ország egyik legrégebbi létező egyházi gyülekezete, Brookville-t hívja otthonának. A Brookville-templomot a 17.századi holland telepesek alapították.
a James Preserve egy természetvédelmi terület Old Brookville-ben, és az egyetlen földterület, amely a falu természetes megjelenését mutatja a fejlődés előtt. Bár ez a régi Brookville, ez kapcsolódik Greenvale.