Les premières traces de population se trouvent au Moyen-Âge sur le site du Vieux Pouzauges autour de l’Eglise Notre Dame. La colline à proximité est perçue comme un lieu stratégique pour surveiller le Bocage, ce qui explique la construction progressive d’un château, avec une tour à laquelle seront adjoints des enceintes. La population se rapproche donc du château, peuplant progressivement la colline.
La population se retrouve donc en deux foyers :
– Un foyer de peuplement autour de l’église Notre-Dame du Vieux Pouzauges, en bas de la colline, dans la vallée
– Un foyer de peuplement, autour du Château, dont le donjon en pierres fut construit au XII° siècle/
Le Vieux Pouzauges et le centre-ville sont donc deux communes distinctes jusqu’en 1821, date à laquelle le roi oblige le regroupement des deux communes par une ordonnance, faisant de Pouzauges une commune étendue sur un vaste territoire.
Pouzauges a connu plusieurs seigneuries au cours de son histoire médiévale. La première mention trouvée à ce sujet porte le nom de Zacharie de Pouzauges en 1050 suivie par Guillaume de Chantemerle, proche de la famille de Thouars. Puis au début du XIII° siècle c’est Savary de Mauléon, fidèle au roi d’Angleterre qui devient seigneur de Pouzauges.
A sa suite, c’est la famille de Thouars qui règne sur Pouzauges. Le premier seigneur fut Guy de Thouars puis au XV° siècle, suivi par Mile II de Thouars. La fille de ce dernier, Catherine de Thouars est enlevée et épousée par Gilles de Rais, alors seigneur de Tiffauges. Catherine transforme le château pour en faire sa résidence. Après l’exécution de Gilles de Rais, Catherine de Thouars épouse Jean II de Vendôme, chevalier et vidame de Vendôme, d’une lignée qui règnera sur Pouzauges jusqu’en 1560.
Viennent ensuite les familles Gouffier et les seigneurs de la Pélissonnière jusqu’à la Révolution.
Pendant la Révolution, Pouzauges, comme de nombreuses villes dans le Nord Vendée, le Maine et Loire et le Nord Deux Sèvres, s’est souelvé contre le pouvoir révolutionnaire. En réponse, en janvier 1794, les colonnes de Turreau sont à Pouzauges pour anéantir cette révolte. Une grande partie de la ville est incendiée.
Après les troubles de la Révolution, les dernier héritier de la famille Grignon rachète le château et en 1819, Charles Louis Grignon fait don de la tour à son cousin Bagneux.