En 1225, Gérard le Blanc fait construire un château à l’emplacement du moulin de l’Ocq. Il fut détruit par le feu en 1380, et reconstruit par Jean II de Béthune, son seigneur.
En 1540, un nouveau château a été construit par le cardinal Louis 1er de Bourbon Vendôme. Il comprenait un corps principal et 2 pavillons. (Pavillon de l’horloge et pavillon du midi), Louis 1er de Bourbon y reçut le roi François 1er pendant les séjours que fit ce souverain au château de Folembray.
Les princes de Condé, chefs protestants, s’en emparèrent, ensuite, au début des guerres de religion. Ce château inachevé, fut restauré par le cardinal de Rochechouart entre 1778 et 1787, (en pierres et briques). La cour d’honneur, qui séparait le château proprement dit, des écuries, était traversée en biais par la route qui mène à Pinon.
Ce château d’Anizy a en grande partie disparu sous la révolution. En 1914, il en restait, toutefois, un parc avec une pièce d’eau, la façade garnie de pilastres encadrant une grande porte surmontée d’un fronton et un pavillon dans la cour avec 2 tourelles, de chaque côté d’une porte décorée d’un fronton brisé.
Tout cela a été détruit en 1917, après l’évacuation de la ville, comme les 296 maisons de celle-ci.