Insieme alla Cattedrale rappresenta uno dei complessi storici più interessanti per la sua mole e la sua posizione dominante, con la sua torre normanna sostenuta da un massiccio barbacane a forma piramidale. La costruzione si conserva ancora bene, tra rocce e mura che in parte conservano vestigia di epoca romana e giardini pensili. Il Castello si colloca su uno sperone roccioso e domina su tutto il “Vallo di Bovino”, famoso per le scorrerie di briganti che, fino all’avvento dell’Italia unita, presero ad assaltare e depredare carovane e carrozze che, dalla Campania, per raggiungere il versante adriatico, erano costrette ad attraversare questa angusta e pericolosa gola tra le montagne. Le stanze del Palazzo Ducale offrono al visitatore la possibilità di apprezzare il ricco arredamento e di visitare la piccola ma suggestiva cappella privata con pavimento in maiolica, dove vi è conservato un frammento della Sacra Spina, incastonata in una croce di mirabile fattura, insieme a molte reliquie di santi tra cui una particella della porpora di Gesù Cristo.