Il Castello di Altomonte è arroccato in cima al paese, proprio al centro dell’antico borgo medievale, risale al XII secolo. La costruzione, condizionata dall’andamento del terreno, è a pianta irregolare, articolata attorno ad una modesta corte centrale. I prospetti esterni presentano elementi caratterizzanti come gli stipiti, le mensole, i balconi e le logge. Nel cortile interno si segnala una bella scala ad unica rampa, con il ballatoio coperto da una loggia a tre arcate con copertura lignea, nella quale si notano tracce di pitture a fresco di discreta fattura. La scala immette in un vastissimo ambiente recentemente realizzato nel luogo del salone delle feste. Belli le parti superstiti delle capriate a vista affrescate con scene mitologiche, databili alla fine del XVI secolo. Il Castello, attiguo alla Torre normanna, nel corso del tempo è stato ampliato dai vari feudatari del borgo con una serie di costruzioni che si sono spinte fino al ciglio della rupe.