Risulta da sporadici documenti che il vecchio castello di Spigno si trovava approssimativamente ove sono collocate le due attuali ville Spingardi e la piazza Umberto I. Risale ai secoli XII e XIII. Intorno vi erano costruzioni di servizio, stalle, abitazioni, tutte cintate da mura, con un lato aggettante sulla Bormida. Costituivano una sorta di ricetto. Nel 1625 il duca di Savoia Carlo Emanuele I invade il ducato di Monferrato e il Marchesato di Spigno.
Viene distrutto il castello, tuttavia le truppe spagnole inducono quelle savoiarde a ritirarsi. Viene costruito il palazzo del marchese Marcantonio Asinari, attualmente palazzo Spingardi. Dopo la morte di Alfonso Asinari diventa marchese il fratello Federico, di carattere autoritario con grande esperienza militare. Nel 1641 decide di far costruire un nuovo castello, lievemente separato dal centro abitato, costituito da una cerchia di mura rettangolare con dei torrioni rotondi agli spigoli. Al centro un palazzo residenziale a più piani.
Nel 1648 le truppe savoiarde, nel corso di un’incursione, fecero saltare il castello, ancora in costruzione. Sono visibili resti dei torrioni, il meglio conservato all'ingresso del cimitero e un residuo del palazzo centrale.