Collegato ai palazzi circostanti da cavalcavia, è adiacente al palazzo del Podestà, da esso distinto, ma formando un unico corpo, viene spesso definito con termine unico "palazzo Orfini-del Podestà".

 

L'esterno è caratterizzato da un portale del 1515 e, nella parte in laterizio corrispondente all'antico palazzo del Podestà, da un grande arco ogivale che continua con un'ampia volta all'interno, quando originariamente doveva coprire una grande sala per le adunanze popolari nel XIII secolo. A destra si vede la torre mozza medievale, a cui segue una loggetta che collegava il palazzo con palazzo Trinci. Simile alla "Loggia dipinta" del palazzo Comunale, ha decorazioni a graffito con le Virtù teologali (1424-1428, attribuite a Giovanni di Corraduccio) e sette mensole all'esterno che reggevano altrettante teste romane simboleggianti le sette età dell'uomo: già spostate nella Loggia dipinta, sono oggi nel museo di palazzo Trinci.

 

Nella zona inferiore del palazzo si trovano resti di decorazioni ad affresco del tardo Quattrocento.