Du château du 12ème siècle, il ne reste aujourd’hui qu’une seule tour sur les quatre d’origine. Le château d’origine et ses dépendances occupaient une surface de 4 hectares. À l’intérieur, on trouvait 3 autres bâtiments, une basse cour, un colombier, une grande fontaine et 2 chapelles, dont celle de Notre Dame de L’Isle qui se trouve toujours sur le site. Le château aurait été incendié en 1637...