Lo storico Castello di Vieste risale al XI secolo e sovrasta il quartiere medievale.
Possiede una pianta triangolare, con ali spigoli nord, ovest ed est, tre bastioni con punta di lancia, che incorporano alla perfezione quelli più antichi avente base circolare. Nella zona sud invece, sul limite nell’altro strapiombo della costa, una volta era presenta la fabbrica con tanto di cappella, oltre a un cinquecentesco e piccolo bastione e una serie di abitazioni.
Quando nel 1240, Federico II e il Papa si scontrarono, il Castello di Vieste subì dia Veneziani, con la città, grandi danni; l’Imperatore cosi accorse subito in città e si preoccupò subito di ricostruirlo interamente ed ampliarlo, rinforzando le mura e restaurando la Cattedrale. Nei XV e XVI secolo esso resistette alla furia potente di Draguth Rais e Acmet Pascià, ma nel 1646 con l’avvento di un terribile terremoto, crollò per gran parte.
Altri gravi danni li subì nelle prime ore del 25 maggio 1915, al momento esatto dell’inizio delle ostilità con l’Austria, quando venne cannoneggiato dal cacciatorpediniere Lika.
Poco dopo esso, assieme ai caccia Csepel e Tatra e all'incrociatore Helgoland, rivolse i cannoni contro Turbine, il cacciatorpediniere, arrivato in aiuto alla città di Vieste, distruggendolo a pochi passi dalla città.