Fu costruito nel XVI secolo, ampliato nel 1643 da Francesco D’Avalos, principe di Troia, ristrutturato a più riprese tra il 1960 e il 1990. Sede della Casa Comunale, il palazzo ha alcune sale di rappresentanza, quale la stanza dei Cesari, con stucchi barocchi e dei portali rinascimentali.
In quella che è l’attuale Sala Consiliare è ospitata una piccola cappella con degli stucchi barocchi ed un interessante bassorilievo “l’elevazione della Santa Casa” XVII secolo. Nei sotterranei dal 1971 è allestito il Museo Civico diviso in 5 settori (epoca contemporanea, moderna, medioevale, romana e preromanica). Da secoli la leggenda vorrebbe che la sagoma del marchese D’Avalos appaia sinistramente di notte, per poi confondersi tra i cortili, le sale del palazzo e i sotterranei del palazzo, portando paura e sgomento.
Qualcuno afferma di averlo visto camminare tra le stanze, privo della testa, altri giurano di averne sentito la voce sofferente, altri di aver visto la sua ombra. Certo è che l’atmosfera notturna che avvolge palazzo D’Avalos è piuttosto sinistra, soprattutto in considerazione del fatto che il principe di Troia è stato protagonista di numerosi misteri sia in vita sia che dopo parecchi anni dalla sua morte.