Il Centro storico di Rivarolo è racchiuso entro il perimetro murario, tracciato da Vespasiano Gonzaga sul finire del ‘500. Attuato dai successori, Giulio Cesare e Scipione nei primi decenni del ‘600, conserva le tre porte urbane ad un fornice serrato da torrioni. Un circuito murario di carattere daziario, ma anche difensivo nei confronti della piaga del brigantaggio: ancora nel XVI secolo, ai dispacci dei vicari che, da Rivarolo, lamentavano rapine, saccheggi e omicidi compiuti da bande armate di facinorosi, i governanti replicavano con l’emanazione di taglie e l’organizzazione di squadre a cavallo affidate a Commissari di Campagna che operavano con “potestas ad modum belli et per horas”, cioè applicando giustizia sommaria, “sine strepitu et figura judicii”.

L’aspetto attuale è riconducibile agli interventi operati negli anni ’20 del Novecento che hanno eliminato l’originario coronamento a falde spioventi. L’interno presenta una successione di ambienti collegati da un passetto.