Costruito in epoca rinascimentale su un precedente impianto medievale, in cui convivono le peculiarità della fortezza e della dimora gentilizia, domina l'omonimo piccolo borgo. Legato al nome del condottiero e architetto Bartolomeo d'Alviano, la cui famiglia lo ebbe in feudo, fu acquistato nel 1654 dalla principessa di San Martino Olimpia Pamphili, potente cognata del papa Innocenzo X..

 

A pianta trapezoidale, con quattro torri circolari, angolari, bastionate e un cortile rinascimentale, il castello era il centro della contea di Alviano, retta dall'omonima famiglia, a partire dal capostipite Offredo (X secolo), al quale l'imperatore Ottone III di Sassonia conferì l'investitura. Il fortilizio fu radicalmente rimaneggiato, nel 1470, dal capitano di ventura e ingegnere militare Bartolomeo d'Alviano (1455-1515), conte di Alviano, signore di Pordenone (1508-1515), sposo di Bartolomea Orsini e di Pantasilea Baglioni, sorella di Giampaolo, reggente per il figlio Livio.

 

Bartolomeo vi trascorse brevi periodi (più a lungo, dopo la sua morte, vi soggiornò la seconda moglie Pantasilea, con i figli), ma, ispirandosi all'orsiniano castello di Bracciano, trasformò la poderosa rocca in sontuosa residenza signorile. Non dimenticando, però, le origini marziali del maniero, avviò, ad opera del figlio Bernardino, l'attività di una fonderia di cannoni, assai importante nella zona. Gli Alviano (o Liviani, come volle lo stesso condottiero) ressero la contea fino al 1543, quando la nipote Isabella Cesi la permutò con Acquasparta.

 

Con il passare del tempo la fortezza perse il suo ruolo militare e, passata sotto il dominio dello Stato Pontificio, fu data in locazione, ad uso abitativo, a diverse famiglie come i Clementini e i genovesi Raimondy. Nel 1654 il feudo fu acquistato all'asta da donna Olimpia Pamphili per la somma di 265.000 scudi, congiunta di Innocenzo X e considerata una delle persone più ricche ed influenti dello Stato della Chiesa. 

La principessa si trattenne per poco nel castello, dato che morì tre anni dopo: preferiva, infatti, il palazzo di San Martino al Cimino, nella cui abbazia fu sepolta. Nella cappella gentilizia della rocca di Alviano rimangono frammenti di affreschi sulla vita di san Francesco, attribuiti all'artista Giuseppe Bastiani, tra cui si riconosce il volto di Olimpia. Nelle tre sale al piano terra altre pitture sono riferibili al Pordenone. I Doria Pamphili furono intestatari del castello fino al XIX secolo, fin quando il comune di Alviano ne divenne proprietario.

 

Circondata dal paese, la massiccia rocca fu costruita in considerazione della sua originaria destinazione e struttura, della quale furono impiegati le fondamenta e alcuni torrioni, che dell'asprezza del terreno. Il portale d'ingresso, "sorvegliato" da un leone e da una testa di Medusa in pietra, conduce alla corte su cui si elevano tre piani e l'attico. I singolari personaggi che vi hanno abitato hanno fatto nascere varie storie e leggende tra il popolo alvianese riguardanti il castello.