
Lasciata la piazza, si raggiunge per Via Fazzi il Castello, maestoso e ben conservato esempio dell'architettura militare del Rinascimento. E' delimitato da quattro baluardi angolari a fascia e fu costruito da Gian Jacopo dell'Acaya fra il 1539 e il 1548, per volere di Carlo V. Il castello ha pianta quadrilatera irregolare. Tutta l'opera era circondata da un largo fossato distrutto dopo il 1870. Il castello ha due porte: una nella cortina nella fronte Nord-ovest, che è rivolta verso la città, e l'altra nella cortina della fronte opposta, che dava verso la campagna. La prima ha perduto ogni traccia dell'antica decorazione: il grande stemma di Carlo V che era al di sopra di essa fu trasportato in un muro del cortile. L'altra porta invece conserva in alto il suo stemma simile al primo, e mostra ancora le lunghe feritoie, che servivano al passaggio delle catene e delle aste di manovra dei ponti levatoi. Di fronte all'ingresso principale vi era la residenza del Console Veneziano, oggi occupata dall'edificio del Banco di Napoli. Dell'antico castello non si hanno precise notizie. Unico documento che ci avanza è la torre quadra, mastio, che ha tutto il carattere delle costruzioni Angioine del secolo XIV. Austera ed elegante è la sala quadrata del piano superiore, con la volta ogivale sostenuta da colonne addossate ai quattro angoli. Gli altri due piani al di sopra sono opera più recente: costruiti verso il 1579, quando era Vicerè Don Giovanni Zunica, di cui è presente lo stemma. Molto interessante , per la struttura e lo stile architettonici caratteristici, è il locale al piano terreno della torre, che fu trasformato in cappella nel secolo XVII o XVIII. Si vede ancora ben conservato il ricchissimo altare barocco. La torre non era semplicemente organo difensivo, ma parte della dimora di splendidi e potenti feudatari. In questa torre vennero custoditi i tesori di Giovanni Antonio Orsini. Il castello fu residenza dei Governatori di terra d'Otranto. Il grande salone del castello, con volta ad archi impostati su mensole di elegante decorazione, ha nel centro l'arma di D. Pedro Alvarez de Toledo, marchese di Villafranca. Dal salone si accede a due altre grandi sale, delle quali quella rivolta a mezzogiorno è simile, per struttura, stile e dimensioni, alla sala quadrata della torre; l'altra che guarda a settentrione ha la pianta trapezoidale e non presenta nulla di notevole. Tutti gli altri ambienti del fabbricato furono costruiti nel XVI secolo e sono da attribuirsi allo stesso architetto militare che diresse i lavori. Entrando nel castello dalla porta rivolta verso la città ed attraversando i vastissimi fornici battuti da cannoniere, si incontra a sinistra, la Cappella, che ha una grande porta con frontone ed una graziosa finestra sovrastante, che reca nella chiave dell'arco lo stemma dei Loffredo. Pare che la chiesetta sia stata eseguita da Errico Loffredo. Dal cortile centrale, dove si innalza l'alta torre medievale, attraversando un androne, si giunge nel piazzale. Una sola fronte conserva dalla parte interna il suo aspetto originario. I vastissimi corridoi sotterranei, a casematte, in seguito alla distruzione del fossato ed alla conseguente costruzione delle cannoniere, si sono resi senza luce e senz'aria e quasi inaccessibili. Le casematte del piano superiore sono ora utilizzate per magazzini. Oltre ai due ordini di fuoco situati nelle casematte, un terzo ordine di fuoco in barbetta era sistemato nei piazzali superiori dei bastioni ed in quelli delle cortine rivolte verso la campagna, come mostrano ancora le troniere che coronano la sommità dei muri di scarpa. Le altre cortine avevano soltanto parapetti per fucileria.
Un quarto ordine di fuoco per artiglierie era sistemato sui piazzali superiori del fabbricato centrale, ossia dell'antica torre o mastio medievale.