Das Castello Caldoresco, das wichtigste Wahrzeichen der Stadt, präsentiert sich mit zwei gegensätzlichen Naturen. Wenn man es vom Barbacani-Platz aus betrachtet, erhebt es sich als mittelalterliche Burg mit einem Graben und einer Zugbrücke, während es vom Rossetti-Platz aus wie ein neoklassizistischer Palast, das Palazzo Palmieri, wirkt.

Die Burg, in ihrer zusammengesetzten und eklektischen Form, ist tatsächlich ein Kompendium der Stadtgeschichte, und bei genauer Betrachtung kann man die Ereignisse der zweitausendjährigen Geschichte in ihren Mauern nachvollziehen.

Wenn man Zugang zu den Kellern hätte, die in einen Palast umgewandelt wurden, würde man tatsächlich auf römische Mauern stoßen. Es handelt sich um Überreste des Amphitheaters des antiken Histonium, auf dessen Ruinen die Franken wahrscheinlich die erste Burg nach der Eroberung des Dorfes im Jahr 802 und der Gründung des Vasto d’Aymone errichtet hatten.

Als Giacomo Caldora, ein mächtiger Söldnerkapitän, 1422 die Stadt Vasto als Lehen erhielt, beschloss er, die Burg den verteidigungstechnischen Anforderungen der aufkommenden Feuerwaffen anzupassen. Aus diesem Grund ließ er 1427 mit den Arbeiten beginnen, die wahrscheinlich dem Militäringenieur Mariano di Jacopo da Siena, genannt il Taccola, anvertraut wurden. Dieser erweiterte die Burg nach einem Modell, das als “Bastionenbefestigung” bezeichnet wird, mit drei robusten mandelförmigen Bastionen, die Artilleriegeschosse abwehren sollten, und einer vierten runden Bastion, an die das Tor “di castello” angelehnt war, an dem man heute von der Piazza Rossetti zur Piazza Diomede gelangt.