En 1631, Richelieu ordonne de démanteler le château et les remparts. A la place, au XVIIIème siècle, le Duc Léopold cède les terrains à quatre officiers, nobles ou fonctionnaires ducaux, à charge pour eux d’ériger quatre maisons identiques ; trois seront construites.