Dopo l'incendio del 1348 del palazzo degli Anziani qui venne trasferita la sede del potere civico. Sorse in forme semplici già prima del 1381, ma venne poi ampliato tra il 1418 e il 1450 inglobando una torre medievale. Dal 1484 venne ridisegnato ad opera dell'architetto del duca di Urbino Francesco di Giorgio Martini, in forme rinascimentali, e fu aperto a nord il doppio portale classico da Pietro Amoroso.

 

Nel 1493-94 Michele di Giovanni con il figlio Alvise di Michele realizzarono la corte porticata in stile gotico-rinascimentale. Nello stesso periodo si rinnovarono i saloni interni, con un intervento andato perso di Melozzo da Forlì. Dal 1532 entrò, con la città, nelle proprietà papali, divenendo la sede dei governatori apostolici.

 

La torre civica, originariamente del XIV secolo, venne riedificata nel 1581. Nel 1611 venne arricchita dell'orologio, e nel 1806, dotata di un carillon dal maestro orologiaio Antonio Podrini da Sant'Angelo in Vado; caratterizzato da quattro campane che intonano la melodia di Mezzogiorno.

 

Il palazzo fu rimaneggiato dopo il sisma del 1690, abbassando le coperture e relative gronde, e subì altri lavori nel 1827, l'apertura di un nuovo accesso da piazza del Plebiscito.

 

Con l'Unità d'Italia vi venne collocata la sede della prefettura, funzione che riveste tuttora.