Situata su un promontorio roccioso di fronte al golfo dell'Asinara, l'intero borgo conserva tuttora le mura di recinzione, con le fortificazioni edificate per proteggerlo da attacchi provenienti dal mare.

Il castello che sovrasta l'intero borgo fu costruito dai Doria nel XII secolo, difatti al tempo si chiamava Castel-Doria, dalla metà del '400 passò sotto il controllo degli Aragonesi da lì il nome di Castel-Aragonese .

Il Centro Storico mantiene un aspetto caratteristico con viuzze strette e pavimentazione in pietra, da visitare la cattedrale di  Sant'Antonio Abate e la Chiesa di Santa Maria, spicca nella cattedrale di  Sant'Antonio il bel campanile in stile Aragonese, all'interno si nota lo stile Romanico , come l'architettura lignea  sei - settecentesca.

 La chiesa di Santa Maria  porta sulle sue mura i segni di un attacco dal mare risalente al tempo degli aragonesi.