Probabilmente fu in età normanna e sveva che venne fortificata pesantemente la parte meridionale del colle, decentrata rispetto all'abitato ma rivolta verso gli obiettivi che interessava tenere sotto controllo in quell'epoca, ossia le vie di comunicazione tra la costa e l'interno.

 

La torre mastia ovoidale rivolta a nord-ovest, detta di San Nicola, fu realizzata in età angioina, a giudicare dallo stemma recante i gigli di Francia che vi rimane sopra; e pure in età angioina, pare sotto il regno di Giovanna I d'Angiò, fu costruita la torre circolare con vista mare, isolata dal complesso propriamente fortificato. Questa torre è simile per tecnica costruttiva a quella del castello di Paola.

 

In età aragonese il castello fu riammodernato secondo i dettami di Francesco di Giorgio Martini e della "fortificazione alla moderna", per resistere ai colpi delle nuove armi da fuoco: le mura furono abbassate ma rinforzate in spessore, fu costruito un rivellino d'accesso sul lato orientale (oggi completamente crollato) e realizzato uno spalto che precedeva il fossato in tutta la sua lunghezza. Il castello fu bastionato, come già detto, nel 1538-1544, a cura di architetti conosciuti come il Buzzacarrino e Gian Giacomo dell'Acaya: oggi è quasi interamente conservato il grande bastione rivolto a sud, a scarpa con rodendone, poggiante sulla viva roccia della rupe, già di per sé formidabile difesa.

 

Oggi restano davvero pochi avanzi degli ambienti interni del castello, perciò è possibile saperne qualcosa di più solo scorrendo le planimetrie e le vedute settecentesche. Il castello aveva un perimetro quadrangolare, svolto intorno alla piazza d'armi, sotto la quale si trovavano tre cisterne per la raccolta delle acque piovane. Gli alloggiamenti del castellano e degli ufficiali erano disposti lungo il lato meridionale, comunicanti con il bastione cinquecentesco; i soldati con famiglia erano alloggiati nel lato occidentale, mentre gli altri alloggiavano nel lato settentrionale, dove si trovava anche l'armeria. Lungo il lato orientale si trovavano le carceri e la cappella. La polveriera era situata anch'essa sul lato orientale, presso l'ingresso principale. Erano stati previsti tre grandi locali per le artiglierie: uno nel bastione meridionale, uno all'angolo verso sud-ovest rivolto verso il quartiere Paraporto, l'altro presso la torre mastia all'angolo nord-ovest.

 

Questo grande quadrilatero era tutto circondato da un fossato, già invaso da erbacce nel Settecento, ed ancora oggi esistente: in particolare, rimane la parte in muratura dell'accesso secondario al castello, sul lato settentrionale. Il ponte levatoio è andato distrutto. Oltre il fossato, il resto dell'altopiano era circondato da un muretto diroccato già nel Settecento, che formava una sorta di "cittadella" o "avanzata" concepita per intrappolare il nemico che fosse riuscito a penetrarvi (struttura analoga a quella del vicino castello di Aiello Calabro). Ad occidente dell'altopiano sorge la torre angioina, la parte forse meglio conservata del castello e la più visibile dalla città moderna, sviluppatasi verso il mare.

 

Al castello attualmente (2011) è possibile salire da almeno quattro sentieri, piuttosto difficoltosi: uno parte dalla Strada Tirrena poco prima della confluenza con corso Umberto I, un altro incomincia a destra della chiesa del Carmine in corso Umberto I, un terzo (Salita San Francesco) si sviluppa dall'antica porta urbica fino a toccare anche le rovine del complesso francescano sottostanti la torre angioina, un quarto infine parte dalla chiesa del Collegio (a cui sono annesse le imponenti rovine dell'ex-collegio gesuitico).

 

Nel 1288 il presidio del castello era composto da 200 uomini, di cui 100 balestrieri; nel 1559, in periodo viceregnale, era sceso a 4 soldati ed 1 castellano; nel 1584 il presidio assommava a 6 posti inclusi un castellano e degli ufficiali; nel 1611 a 5 posti inclusi un castellano e degli ufficiali.

 

In quello stesso anno l'armamento del castello era composto da 2 "sacrograndi", 1 "mezzo sacro", 1 falconetto, 19 "smerigli". Sette anni dopo, nel 1618, il castello contava 10 cannoni di bronzo "scalnaccati e rotti". Nel 1619 furono inventariati 54 archibugi, 22 barili di polvere da sparo, 10 quintali di piombo, 98 palle di piombo da undici libbre, 30 palle di piombo di sei libbre, 47 palle di piombo di due libbre, 321 palle di piombo da otto once, 250 palle di piombo piccole, 50 palle per moschetti, un cassone con corazze, armi e bracciali di ferro "arruzzati", 11 barili di zolfo e 2 di salnitro, un monte di palle di pietra, una mazza di ferro; nel 1624 54 archibugi, 43 fiasche da polvere da sparo, 22 barili di polvere, 2 "sacrograndi" (cannoni), 1 falconetto, palle da cannone di grande e medio calibro, 11 barili di zolfo e 10 di salnitro, una mazza ferrata. Nel 1806, infine, durante l'assedio di Amantea, il castello e l'abitato furono difesi da 3 cannoni di grosso calibro più 9 di minor calibro dislocati sulle mura e sulle porte cittadine.