Storica sede delle Magistrature urbane e della Frumentaria, il prestito del grano collegato al Monte di Pietà, il Palazzo è stato edificato, sul finire del ‘500, a ridosso della cerchia muraria del Castrum Riparoli. Di questo, ingloba la quattrocentesca porta settentrionale, adibita a Torre civica dopo gli interventi di Vespasiano Gonzaga; nota anche come Torre dei sacchi (il pubblico ammasso del grano), ha assunto il ruolo di Torre delle ore con l’aggiunta dell’altana seicentesca e l’inserimento dell’orologio (1783). Il Palazzo, rimaneggiato internamente per le destinazioni d’uso succedutesi nei secoli, arrivando ad ospitare nel ‘900 la scuola elementare, una sala cinematografica e infine la biblioteca, conserva negli esterni le fattezze originarie. Ignoto il progettista; tuttavia il cornicione a mensole inginocchiate potrebbe ricondurre all’opera di Giuseppe Dattaro, per i ruoli che l’architetto cremonese ha rivestito nelle corti di Vespasiano e Vincenzo Gonzaga sul finire del ‘500.