Le château situé à l'emplacement du château de Breteuil s'appelait à l'origine Bévilliers ou sans doute parce qu'en ce lieu s'élevaient, à l'époque gallo-romaine, deux villas (bis villae) La seigneurie est mentionnée pour la première fois en 1142, et la première référence à un manoir remonte à 1560.
Le château ainsi construit comporte une cour carrée, entièrement enserrée de murs ou de constructions et bordée de fossés en eau. Sur l'avant, deux pavillons d'angle (qui existent toujours mais ont été surélevés) et un corps de passage central commandé par un petit pont-levis ; en fond de cour, sur toute la largueur, un grand bâtiment dont le corps central a été conservé sans beaucoup de modifications. Les bâtiments sont à structure en brique et remplissage sous enduit.
A partir de1967 , le château est restauré par Monsieur Le Tonnelier de Breteuil et sa femme, née Séverine Decazes de Glücksbierg et ouvert à la visite du public.
Une grande partie des parcours VTT de Chevreuse(78) passent tout à côté, on ne peut le louper.