La Torre prende il nome dai Pallotta, signori di Brahalla (antico toponimo di Altomonte), ai quali appartenne tra la seconda metà del XIII secolo e gli inizi del XV secolo. L’edificio ubicato sul lato ovest del castello di Altomonte si presenta chiuso su tre lati da edifici che lo circondano nella parte inferiore.
Classico esempio di Torre normanna, a pianta quadrilatera, eretta con ogni probabilità nel XI secolo, rientra nel sistema di fortificazione creato dai normanni a difesa delle coste calabresi.
La struttura dell’altezza di circa 13 metri, presenta un vano seminterrato una volta adibito a cisterna in cui erano convogliate le acque piovane. Mentre al 2° e 3° livello caratteristiche panche in muratura consentivano di sedersi vicino le finestre e godere dello splendido scenario o avvistare il nemico. La costruzione termina con il particolare camminamento sul tetto, che consente di avere una visione a 360°, che va dai monti del Pollino, alla Piana di Sibari con il suo mar Jonio, dai paesi italo albanesi (Lungro, Acquaformosa, Firmo) fino ai monti di Fagnano in direzione del mar tirreno.
Nel corso dei secoli l’edificio subisce diversi rifacimenti tra i quali spicca sul 2° livello la splendida bifora della stessa epoca della costruzione della Chiesa di Santa Maria della Consolazione probabilmente aggiunta alla struttura  difensiva dal conte Filippo Sangineto.
Restaurata nel 1991, è sede espositiva di mostre d’arte contemporanea.