Il palazzo era residenza della nobile famiglia Giustiniani. L’edificio in stile rococò si inserisce nella cinta muraria meridionale ed i resti si possono individuare lungo la facciata sud. Presenta le caratteristiche tipiche delle abitazioni signorili del fermano ed è parte fondamentale del perimetro della piazza di Monte Rinaldo, riconoscibile per le sue particolarità architettoniche come le aperture ovali riccamente decorate nel caso del piano nobile. Il prospetto principale si apre in Piazza Umberto I, mentre quello meridionale sulle mura difensive del paese, mancando però di decorazioni architettoniche esterne.
Il palazzo si sviluppa per tre piani: seminterrato, piano terra e piano nobile. Il seminterrato aveva funzione di cantina e magazzino data la presenza di due grotte interne, ha un ingresso indipendente che si apre direttamente in piazza e affacci sulle mura meridionali. Il piano terra, abitato fino agli anni Novanta, è stato sottoposto a restauri che hanno cancellato quasi interamente gli ornamenti ed hanno inoltre portato alla sostituzione dell’antico solaio in legno con uno in cemento al fine di adeguare gli spazi ad esigenze abitative. Il piano nobile invece è quello maggiormente degno di nota poiché costituito da ambienti tutti riccamente decorati e caratterizzati da solai in legno sostenuti da travi dipinte a tempera e piastrelle pitturate con motivi floreali. Gli altri soffitti sono in gesso di camorcanna.
La decorazione parietale principale del palazzo è costituita dalla Sala degli Stemmi sulle cui pareti sono stati dipinti gli stemmi delle famiglie nobili che hanno abitato nel corso dei secoli il palazzo, compreso quello dei Giustiniani. All’estrema sinistra del palazzo vi è la Cappella di Santa Flora Martire che ospitava le reliquie della omonima santa, oggi nella chiesa del SS. sacramento e Rosario.