Il complesso di edifici fortificati che si ergeva sulla collina durante il medioevo fu identificato per la prima volta come castello nel 963 d.C. Agli inizi del XVIII secolo il castello era in pessime condizioni. Nel 1738 i Conti incaricarono l’architetto veneziano Matteo Lucchesi di progettare un nuovo confortevole edificio. L’austero fortilizio divenne un elegante palazzo sullo stile di una villa veneta. Per la costruzione furono utilizzati materiali derivati dai resti delle strutture esistenti e pietre di dimensioni imponenti, prelevati dalla vicina cava di Sarone. L’imponente edificio richiamava i palazzi che si affacciano sul Canal grande a Venezia con interni abbelliti da affreschi, stucchi, quadri, arazzi e specchi.
