Il Castello é posto a circa 380 metri sul livello del mare, occupa con le sue strutture la sommità della collina di Monteoliveto.
E' raggiungibile per due strade carrabili che dal centro del paese portano una alla chiesa della Santissima Addolorata e l'altra sulla collina di Monteoliveto.
Il Castello, pur avendo perduto molte delle sue strutture originarie, rimane suggestivo ed è collocato in una posizione incantevole. Alcuni teorizzano la sua esistenza già nel X secolo, come punto di fuga dei cittadini dagli assedi barbari. Al di là di questa ipotesi, è certo che esso si presenta come il monumento più antico di questa cittadina. Ospitò il conte Rainulfo, fiero avversario del re delle Due Sicilie, Ruggiero I.
La topografia del castello si distacca nettamente dalla valle sottostante e si configura come un'isola fortificata,
un presidio inaccessibile, il luogo piú idoneo, per garantire la sicurezza contro gli attacchi nemici. Nonostante che il tempo molte cose ha distrutto del castello, si presenta ancora oggi, con le superstiti strutture poderose e architettonicamente bello. Restano un muraglione, la porta d'ingresso sulla quale ancora esiste lo stemma dei Caracciolo e tracce dell'esistenza del ponte levatoio.
Tra il XII e il XIII secolo venne ingrandito da Federico II e dopo varie successioni venne ereditato dal conte Della Leonessa, per passare dopo la guerra tra Angioini ed Aragonesi a Giacomo Della Leonessa, che a sua volta, fu scacciato nel 1460 da Ferrante I. Successivamente, dopo essere stato donato ai Carafa, nel 1529 passó nelle mani del marchese D'Avalos assieme al feudo per donazione di Carlo I.
