Il castello di Caccuri fu residenza di nobili feudatari come i Ruffo, Cavalcanti e Barracco.
Fu eretto nel VI secolo dai Bizantini come fortino militare per controllare i possedimenti nella valle del Neto. Più volte rimaneggiato, fu quasi completamente riedificato dai Cavalcanti nel XVIII secolo.
L’ultimo principale intervento è datato 1885, quando l’architetto napoletano Adolfo Mastrigli, al quale fu poi concessa la cittadinanza onoraria di Caccuri, vi aggiunse il rivellino ed una torre cilindrica merlata ad imitazione degli antichi castelli medioevali per mascherare un serbatoio dell’acqua che serviva per lo stesso castello.
La Torre Mastrigli è il simbolo dello stemma comunale del borgo di Caccuri, rendendolo riconoscibile anche da lontano.