Il villaggio fortificato di Rocca San Silvestro, conosciuto durante tutto il medioevo con il nome di Rocca a Palmento, deve la sua importanza alla grande attività estrattiva che vi si svolgeva, infatti gran parte dell'area del borgo era destinata alla trasformazione del rame e piombo argentifero fin dai tempi degli Etruschi.
Il castello ebbe origine fra il X e l’XI secolo quando i conti della Gherardesca decisero di sfruttare a fondo le risorse minerarie della zona e risalgono a questo periodo le prime tracce di fortificazioni.
Il Dipartimento di Archeologia e Storia delle Belle Arti dell'Università di Siena ha condotto importanti scavi e ha realizzato un parco museo minerario e archeologico aperto ai visitatori.