"Nel corso dell'XI secolo, Pecicco de Trebigne divenne il primo feudatario della baronìa di Ugento. Durante il periodo angioino, quando il castello divenne regio nel 1272, fu retto da Giovanni Conte. Oggetto di numerose trasformazioni nei secoli XVI e XVII, il maniero fu ulteriormente rafforzato quando Ugento venne elevata a capo di Contea da Giovanni Antonio Orsini del Balzo. Nel 1537, a seguito dell'occupazione della città, il fortilizio subì gravi danni, con la completa distruzione di buona parte dell'ala occidentale, di due torri e del torrione di tramontana.
Inizialmente, toccò ai conti Pandone (1564) e successivamente ai marchesi d'Amore (1643) il compito di riportarlo agli antichi splendori. Gli adeguamenti apportati ai due torrioni circolari, che furono modificati per accogliere i pezzi di artiglieria, sono probabilmente attribuibili alla commessa dei Pandone. Con i d'Amore, tra Sei e Settecento, l'edificio subì una radicale trasformazione da struttura fortificata a palazzo residenziale. Risalgono a questo periodo gli interventi di abbellimento nell'atrio, con una lunga balconata sostenuta da arcate a bugne, la costruzione di uno scalone a giorno con superfici interamente rivestite di stucchi e la decorazione delle sale al piano nobile con affreschi di soggetto mitologico. A partire dal 2013, tutto l'immobile è stato oggetto di un intervento integrale di restauro, recupero e rifunzionalizzazione."