Intorno all'origine di questo castello si sono pubblicate, fin qui, varie inesattezze. L'erronea attribuzione a Federico II di Svevia (1197-1250) è sorta dal fatto che il grande imperatore fece costruire per tutto il regno molti castelli che servissero per difesa e per abitazione. Ma chi ha visto i famosi castelli svevi dalla robusta muratura a bozze e dai grossi conci a combacio, con vari piani, vaste sale, porte e portali, dove alla robustezza della difesa si volle unire lo splendore della Reggia, si guarderà bene dal riscontrare nel Castrum di Stabia un'opera di Federico. Il quale, com'è ormai noto, faceva costruire i suoi fortilizi su disegni fatti da lui stesso. Invece di una costruzione ex novo, vi fu fatta una riparazione durante il regno di Federico, come si desume dai documenti svevi sull'amministrazione dei castelli del reame di Sicilia. All'epoca degli Angioini vi si dovettero fare ulteriori restauri o ampliamenti, e perciò fu attribuito a Carlo I d'Angiò e, a torto, chiamato Angioino. Dalla forma attuale, e specialmente per la controtorre e il basamento a scarpa, che hanno carattere prevalentemente quattrocentesco, è evidente che ci furono rimaneggiamenti anche in epoca posteriore.

A quale epoca, dunque, bisogna far risalire la primitiva costruzione? È noto che nel secolo IX, quando i Saraceni infestarono le nostre contrade, si ricorse alle costruzioni di difesa; ed è molto probabile che la nostra Stabia - la quale, in tal periodo, andava perdendo o aveva già perduto la vaste estensione del suo territorio - provvedesse alla propria difesa erigendo il suo Castrum, che, essendo situato in riva al mare, fu detto Castrum ad mare: Castello a mare.

Ai primi decenni di questo secolo il maniero era diventato non più che un rudere: esso che, intorno all'anno 1000, sorgendo sul confine con Sorrento, ebbe il vanto di prestare valida difesa agli abitanti di quel ducato contro le scorrerie dei Longobardi; esso che nel 1500 aveva perduto ogni importanza militare, contentandosi appena di ospitare la guarnigione delle truppe del Governamento insediatosi nel piccolo appartamento dei Farnese (sito nell'attuale Piazza Municipio), essendo la città divenuta feudo di quella Casa; esso che successivamente era divenuto solo il ricordo di un fortilizio, abbandonato ad ogni sorta di spoliazione anche da parte degli abitanti del posto, che presero ad asportare pietre dal basamento per adattarle a costruirsi una casetta per proprio comodo; esso finì col diventare esclusivamente un soggetto di ispirazione artistica ai pittori che lo ritrassero sulle loro tele e con le loro tavolozze. Era in tali miserande condizioni quando attrasse l'attenzione del nostro concittadino Comm. Edoardo de Martino, che lo acquistò dal Demanio, col lodevole intento di conservare a Castellammare un'opera di grande valore storico. E in tre anni di lavoro, dal 1930 al 1932, sotto la direzione di un altro nostro concittadino, l'ing. Guglielmo Vanacore, e con la supervisione della Sovrintendenza alle Antichità e Belle Arti, vi apportò i necessari restauri, per restituire alla mole le sue caratteristiche originarie, pur con rifacimenti arieggianti intonazioni moderne, per non falsificare l'antico. Il corrispondente de "Il Mattino" di Napoli, che a lavori ultimati si era recato a visitarlo, dice: "con un senso di tristezza, supponendo di veder cancellato un passato ricco di tanta storia", e ne riporta un'entusiastica impressione vedendo "la storica mole troneggiare più maestosa di prima, quasi nume tutelare della nostra terra. Le torri, in parte diroccate, …restaurate; colmata l'antica vallonata per non spostare la linea dell'autostrada; costruito un portale ex novo con pietra calcarea, rispondente al materiale preesistente". Il portale, a scopo scenografico, serve per mostrare al viandante la facciata interna creata di sana pianta.

Il portale è stato ultimato a stile romanico all'ingresso del corpo principale di fabbrica, proveniente da antichità rinvenute a Solofra. Nei saloni sono stati collocati nove camini rinascimentali, in perfetto funzionamento, e tutti in armonia col tipo di ambiente in cui si trovano. Uno di questi camini è monumento nazionale, ed è stato prelevato a Riosecca (Città di Castello). Anche le cinque scale che servono per il disimpegno e l'accesso alle varie balze interne, hanno la loro caratteristica romanica o rinascimentale.