Nel luogo più alto della città, sul Colle, "cuore" del vecchio centro paesano, sorge il "Castello", il cui impatto visivo ed ambientale è tale che non può passare inosservato; è il punto di riferimento della città.
Nell'anno 1145, il Vescovo di Fermo Liberto, sotto la cui giurisdizione era il territorio di San Benedetto in Albula, concedeva ai Gualtieri terra sufficiente per costruire un Castello con annessi orti e autorizzava la costruzione e forse la rinnovazione e il rafforzamento del torrione difensivo del Castro, affidandone la cura e la proprietà ai nobili Berardo ed Azzo figli di Gualtiero, già signori di terre d'oltre Tronto e della rocca di Acquaviva.
Si tratta di un castello con relativi ruderi che è posto a sud, immediatamente ad ovest di Monte Renzo, sovrastante la Valle del Tronto e del Ragnola.
Certamente il torrione d'avvistamento poteva sorvegliare un ampio spazio costiero che andava da oltre il Tronto sino ai confini di Cupra, tenuto conto che il mare era arretrato di oltre 500 metri e nel suo cono di osservazione non vi erano altre costruzioni che ne precludevano la visuale.