Il Palazzo è legato alle signorie di Pesaro dal XIII al XVII secolo, residenza, prima dei Malatesta e degli Sforza.

La facciata si deve ad Alessandro Sforza nel XV secolo,  poi ,tra il 1523 circa e il 1621,  i Della Rovere, duchi di Urbino e Pesaro ristrutturarono e ampliarono l’edificio fino alle attuali dimensioni. 

All'interno si possono ammirare  gli appartamenti dei duchi, il Salone Metaurense, i Saloni di rappresentanza arredati con pregiati mobili d’epoca messi a disposizione dalla Fondazione Cassa di Risparmio di Pesaro, la Loggia del Genga  e  le corti: il Cortile d’onore, il Cortile della caccia ed il Giardino segreto.