Il castello Ginami di Gromo venne edificato nel XIII secolo dalla famiglia Buccelleni ad uso militare come testimonia la torre armigera ora simbolo del paese. Costruito sopra uno sperone o grumo di roccia, sarà probabilmente questa posizione a dare il nome al borgo, che non risulta infatti nominato nei documenti ufficiali fino agli albori del XIII secolo.
Costruito in conci di pietra grigia locale distribuiti in stile bugnato, è posizionato sopra uno sperone di roccia e la sua imponente torre è visibile da tutta la valle. La parte ad ovest è rivolta sulla piazza Dante, che era l’antica piazza del Mercato. Sulla facciata è presente una grande pittura raffigurante San Cristoforo, eseguita durante i primi anni del ‘900, per nascondere un danno della facciata. Nella parte rivolta a est, il fabbricato si divide in due corpi separati e paralleli, questa parte subì una grande ricostruzione nel ‘900, quando, causa la realizzazione della nuova strada provinciale sul fondovalle, cedette una parte dello sperone roccioso con un lato del castello. La torre a base quadrata, che è tra le parti più antiche del complesso, non ha mai subito variazioni, nel 1553 risulta una delibera del consiglio dei capigamiglia di Gromo per la realizzazione di una campana pro faciendo unam campanam quae ponatur superius turis castri dominorum de Becellenis, campana che era stata autorizzata anche dalla famiglia del castello, ma che non venne mai realizzata, la sola variazione è il tetto che la ricopre realizzato nei primi anni del XX secolo. Nei restauri del 1952 riprese luce l’antica facciata in muratura in grossi conci di pietra squadrati e posti in corsi regolari sulla lato rivolto verso la piazza.
