Le village géographique de Brookville s’est formé en deux étapes. Lorsque le village a été incorporé en 1931, il se composait d’une longue et étroite étendue de terre centrée le long du chemin Cedar Swamp (route 107). Dans les années 1950, la partie nord de la zone non incorporée alors connue sous le nom de Wheatley Hills a été annexée et incorporée au village, doublant approximativement la superficie du village pour atteindre ses 2 650 acres (1 070 ha) actuels.
Lorsque la ville d’Oyster Bay a acheté ce qui est maintenant Brookville aux Matinecocks au milieu du XVIIe siècle, la région était connue sous le nom de Wigwam de Suco. La plupart des pionniers étaient anglais, dont beaucoup étaient des quakers. Ils furent bientôt rejoints par des colons hollandais de l’ouest de Long Island, qui appelèrent la région environnante Wolver Hollow, apparemment parce que les loups se rassemblaient au ruisseau Shoo alimenté par une source pour boire. Pendant la majeure partie du 19ème siècle, le village s’appelait Tappentown du nom d’une famille éminente. Brookville est devenu le nom préféré après la guerre de Sécession et a été utilisé sur les cartes de 1873.
Les deux siècles de Brookville en tant que ferme et marécage boisé ont rapidement changé au début du 20e siècle lorsque de riches New-Yorkais ont construit de somptueuses demeures. Au milieu des années 1920, il y avait 22 domaines, faisant partie de l’émergence de la côte Nord de la côte d’or de Nassau. L’un d’eux était Broadhollow, la étendue de 108 acres (0,44 km2) de l’avocat-banquier-diplomate Winthrop W. Aldrich, qui avait un manoir de 40 pièces. Le deuxième propriétaire de Broadhollow était Alfred Gwynne Vanderbilt Jr., qui était propriétaire des hippodromes de Belmont et de Pimlico. Marjorie Merriweather Post, fille du créateur de céréales Charles William Post, et son mari Edward Francis Hutton, le célèbre financier, ont construit un somptueux manoir de 70 pièces sur 178 acres (0,72 km2) appelé Hillwood. En 1931, les propriétaires fonciers se sont regroupés pour obtenir l’incorporation du village afin de mettre fin à ce qu’ils considéraient comme un développement résidentiel et commercial indésirable dans d’autres parties du comté de Nassau. En 1947, le domaine de la Poste a été vendu à l’Université de Long Island pour son campus C. W. Post. Le campus est connu comme le siège du Centre des arts de la scène de Tilles. Le centre de conférences DeSeversky du New York Institute of Technology se trouve également à Brookville. Le centre était autrefois Templeton, manoir du mondain et homme d’affaires Winston Guest. Templeton a ensuite été utilisé comme l’un des décors du film Arthur de Dudley Moore.
La Chapelle de Saint-Martin de Sayssuel, également connue sous le nom de Chapelle Sainte-Jeanne d’Arc où Jeanne d’Arc priait avant d’engager les Anglais, a été déplacée de France à Brookville au début du 20e siècle. Il a été acquis par Gertrude Hill Gavin, fille de James J. Hill, le magnat américain des chemins de fer. La chapelle a été démontée pierre par pierre et importée de France dans son domaine de Brookville en 1926. La chapelle est maintenant située à l’Université Marquette dans le Wisconsin.
L’Église réformée de Brookville, l’une des plus anciennes congrégations ecclésiastiques existantes au pays, appelle Brookville sa maison. L’église de Brookville a été fondée par des colons hollandais du 17ème siècle.
La réserve James est une réserve naturelle située à Old Brookville et est la seule parcelle de terre montrant l’aspect naturel du village avant son développement. Bien qu’il se trouve dans le vieux Brookville, il est relié à Greenvale.