Il castello dei Gambacorta, presenta la classica disposizione topografica. Ubicato sulla cima della collina con due torri e tre bellissime loggie, è al centro del tipico rione medioevale da cui si dipanano i vicoli lungo i quali si sviluppa la parte feudale del paese con case arroccate l’una all’altra, attraversata da caratteristiche stradine. E' proprio qui, nel cuore di Celenza che si respira l'atmosfera antica di un passato custodito. Nel borgo ci sono la Chiesa Madre, la piazza, le boteghe, le lampade e i suoi angoli più pittoreschi.
La costruzione (di epoca Aragonese) fu iniziata nel 1467 da Giovanni Gambacorta e completata nel 1519 dal figlio Carlo e trasformato nel 1575 dal nipote Carlo Gambacorta di Gianpaolo in dimora gentilizia. Andrea Gambacorta (1600), esperto di architettura, pittura e scultura, rifece le mura del giardino pensile, completò gli appartamenti del palazzo baronale, arricchendolo di pitture ornamentali.
Oggi Celenza conserva ancora gran parte del piccolo centro storico feudale tra cui alcuni portali risalenti ai secoli XVI e XVII. Troneggia poi un Torrione cilindrico con base scarpata e un cornicione merlato. La seconda torre fu incendiata nel 1799 e, sotto di essa, vi era il carcere in epoca feudale. Le torri antiche inizialmente erano cinque come si rilevano dallo stemma di Celenza. L'ultimo barone che lo possedette fu Orazio Giliberti che nel 1808 lo vendete al notar Michele Iamele per 3600 ducati. In questo micro cosmo si è svolta poi la vita culturale e le testimonianze artistiche sono opera di artigiani che hanno raggiunto un buon livello. Anche l'arte ha una sua connotazione originale. Basti pensare ai reperti archeologici che sono emersi nel corso degli anni passati: resti di edifici medievali, sepolture, oggetti ornamentali, monete e sculture. Dominante l'affermazione del romanico, del gotico e delle chiese altomendievali.