Il Castello sorge adagiato sopra ad una alta roccia a strapiombo sul mare.
Esso fu edificato dai normanni tra il X e XI secolo per proteggere le terre garganiche dalle incursioni di Saraceni, Slavi e pirati ed inizialmente appartenne ai monaci dell’abbazia delle Tremiti.
Durante il regno di Federico II, il Castello venne arricchito con l’edificazione della splendida torre, chiamata “Rocca Imperiale”. Successivamente, nel periodo del viceregno spagnolo, esso venne ulteriormente rinforzato, dandogli così un aspetto più minaccioso e maestoso nei confronti dei Turchi, i quali effettuavano spesso delle incursioni in queste terre.
A seguito di tale incursioni, venne edificata una recinzione protettiva chiamata “recinto baronale”.
Nel corso dei secoli il castello ha subito diversi restauri ed attualmente è aperto al pubblico, inoltre periodicamente vengono organizzate mostre culturali.