Una prima fortificazione sulla cima del monte fu costruita dai romani. Nel Medioevo fu aspramente contesa da Bizantini, Goti, Franchi e Longobardi. Nella seconda metà del Trecento i Malatesti riuscirono ad espugnare la rocca, alternandosi nel dominio ai Montefeltro sino alla metà del Quattrocento. Nel 1441 il giovanissimo Federico da Montefeltro fu autore di un’intraprendente scalata del forte. La nuova struttura permetteva una controffensiva dinamica, garantendo direzioni di tiro incrociate. Per garantire questa condizione i lati della rocca erano dotati di artiglieria e le vie d’accesso vennero rese non raggiungibili dal fuoco nemico grazie ad avamposti militari. Sino alla devoluzione allo Stato Pontificio del ducato di Urbino, nel 1631, San Leo appartenne dal 1527 ai Della Rovere. Attualmente gli ambienti della fortezza ospitano un museo d’armi e una pinacoteca.
Nella rocca sono presenti due parti abbastanza distinte: il mastio, che con i suoi torricini quadrati e l’ingresso gotico è la parte più antica e l’ala residenziale, i torrioni rotondi e il muraglione a carena con beccatelli che li collega, di fattura più recente. I due torrioni, il muro di cinta e il mastio delimitano inoltre la cosiddetta piazza d’armi. La zona è costellata di picchi rocciosi che si innalzano volgendo al mare le pareti più scoscese. Su ciascuno di questi picchi una rocca o i ruderi di un fortilizio rammentano un passato tumultuoso; mentre le pievi antiche temperano l’aspetto fiero di valloni e alture. Al visitatore che giunge dalla pianura romagnola la città-fortezza si presenta schermita dal suo enorme scudo di roccia altissima e levigata. A chi scende dalla montagna essa appare quale nave dall’altissima prua volta ad est, con la torre campanaria simile ad albero maestro, e con la sua manciata di case difformi e ammucchiate.