L’edificio manifesta nelle volumetrie e nella sobrietà del portico in laterizio bugnato, voltato a crociera ribassata, fattezze di maniera tardo rinascimentale.

L’ambizioso progetto originario è attribuito dal Tiraboschi alla volontà di Andrea Penci, prelato presso la Sacra Rota romana, che: “non godendo salute in quel clima, si risolse di tornarsene al suo Rivarolo, ove pieno delle idee delle fabbriche Romane sussidiato da suo fratello il Conte Domenico fece erigere il palazzo Penci nella forma grandiosa e bella, che tutt’ora possiamo rilevare”. Edificato sul finire del XVII secolo, rimase tuttavia incompiuto. La Famiglia Penci, favorita dai Gonzaga di Bozzolo e Guastalla per i servigi resi al casato, ne seguì infatti le sorti: con la fine della dinastia, da Rivarolo si spostò a Mantova e qui si estinse ai primi dell’800. Nei secoli, le successive dominazioni, dalla napoleonica all’asburgica, depredarono il Palazzo che ha subito ampi rimaneggiamenti interni nel corso del ‘900.