Xe siècle
Au Xe siècle, la seigneurie de La Garnache se dote de sa première motte castrale : un tertre de terre coiffé d’une tour en bois, édifié pour contrôler les marais environnants. À la fin du même siècle, les seigneurs de La Garnache étendent leur influence jusqu’à l’île d’Yeu, où des moines clunisiens construisent une forteresse en bois sous leur suzeraineté. Entre 1045 et 1055, Aimery IV de Thouars, suzerain du Haut-Poitou, accède au pouvoir et la première mention écrite cite les frères Gautier et Goscelin comme seigneurs de La Garnache, maîtres d’un vaste territoire allant de Beauvoir aux îles d’Yeu et de Noirmoutier. Vers 1060, ces mêmes Gautier et Goscelin se tournent vers la piraterie, attaquant un navire de moines revenant du Poitou.