El Pueblo geográfico de Brookville se formó en dos etapas. Cuando el pueblo se incorporó en 1931, consistía en un largo y estrecho tramo de tierra que se centraba a lo largo de Cedar Swamp Road (Ruta 107). En la década de 1950, la parte norte del área no incorporada, entonces conocida como Wheatley Hills, fue anexada e incorporada al pueblo, duplicando aproximadamente el área del pueblo a sus actuales 2.650 acres (1.070 ha).
Cuando la ciudad de Oyster Bay compró lo que ahora es Brookville a los Matinecocks a mediados del siglo XVII, el área era conocida como Suco’s Wigwam. La mayoría de los pioneros eran ingleses, muchos de ellos cuáqueros. Pronto se les unieron colonos holandeses del oeste de Long Island, que llamaron a los alrededores Wolver Hollow, aparentemente porque los lobos se reunían en Shoo Brook para beber. Durante la mayor parte del siglo XIX, el pueblo fue llamado Tappentown en honor a una familia prominente. Brookville se convirtió en el nombre preferido después de la Guerra Civil y fue utilizado en los mapas de 1873.
Los dos siglos de Brookville como una granja y un remanso de bosques cambiaron rápidamente a principios del siglo XX cuando los ricos neoyorquinos construyeron lujosas mansiones. A mediados de la década de 1920, había 22 propiedades, parte de la aparición de la Costa Norte de Nassau, la Costa Dorada. Una era Broadhollow, la extensión de 108 acres (0,44 km2) del abogado, banquero y diplomático Winthrop W. Aldrich, que tenía una casa solariega de 40 habitaciones. El segundo propietario de Broadhollow fue Alfred Gwynne Vanderbilt Jr., propietario de las pistas de carreras de Belmont y Pimlico. Marjorie Merriweather Post, hija del creador de cereales Charles William Post, y su esposo Edward Francis Hutton, el famoso financiero, construyeron una lujosa mansión de 70 habitaciones en 178 acres (0,72 km2) llamada Hillwood. En 1931, los propietarios de fincas se unieron para ganar la incorporación a la aldea para evitar lo que veían como un desarrollo residencial y comercial indeseable en otras partes del condado de Nassau. En 1947, la finca Post fue vendida a la Universidad de Long Island para su campus C. W. Post. El campus es conocido como el hogar del Centro Tilles para las Artes Escénicas. También en Brookville se encuentra el Centro de Conferencias Deseersky del Instituto de Tecnología de Nueva York. El centro fue anteriormente Templeton, mansión de la alta sociedad y empresario Winston Guest. Templeton fue utilizado más tarde como uno de los escenarios de la película de Dudley Moore Arthur.
La Capilla de San Martín de Sayssuel, también conocida como la Capilla de Santa Juana de Arco, donde Juana de Arco rezaba antes de comprometerse con los ingleses, se trasladó de Francia a Brookville a principios del siglo XX. Fue adquirida por Gertrude Hill Gavin, hija de James J. Hill, el magnate ferroviario estadounidense. La capilla fue desmantelada piedra a piedra e importada de Francia a su finca de Brookville en 1926. La capilla se encuentra ahora en la Universidad Marquette en Wisconsin.
La Iglesia Reformada de Brookville, una de las congregaciones eclesiásticas existentes más antiguas del país, llama a Brookville su hogar. La Iglesia de Brookville fue fundada por colonos holandeses del siglo XVII.
La Reserva James es una reserva natural en Old Brookville y es la única extensión de tierra que muestra el aspecto natural del pueblo antes del desarrollo. Aunque está en Old Brookville, está conectado a Greenvale.