Il castello medievale di Cordovado fu eretto nel XI secolo sulle vestigia di un castrum romano che era posto a guardia di un guado della via Augusta.
Grazie alla sua posizione, diventò la residenza estiva dei vescovi di Concordia, i quali lo governarono tramite un guastaldo, carica questa attribuita alla famiglia dei Ridolfi che aveva il compito di risiedervi stabilmente, di custodirlo, di difenderlo, di amministrarlo e amministrarvi la giustizia.
Nel XVI secolo, dopo i crolli causati dal violento terremoto del 1511, fu costruito l’attuale palazzo sulle fondamenta dell’antico maniero – Villa Piccolomini Freschi – di cui divennero proprietari per successione i conti Freschi di Cuccanea e in seguito i conti Piccolomini di Siena.
Della struttura originaria del castello rimangono le due torri scudate e parte delle mura molto ben conservate. All’interno di quest’ultime si trovano la chiesetta del XII secolo, il palazzo Agricola del XV secolo, l’imponente villa, il parco romantico degli inizi del XIX, e le casette medievali.