Arbus, come gli altri paesi della costa, era meta di incursioni da parte dei pirati che vi sbarcavano per razziare e fare schiavi. È facile immaginare che le popolazioni invocassero la Madonna a protezione delle incursioni.
La traccia più antica del culto alla Madonna risale al 1636, anno nel quale fu costruita nella Parrocchia di S. Sebastiano una cappella dedicata a Nostra Signora d’Itria. Intorno al 1640 fu fondata la Confraternita di Nostra Signora d’Itria.
Altro dato certo è che il 16 aprile 1643 la statua della Madonna d’Itria veniva custodita nella chiesa di S. Sebastiano. La chiesetta campestre venne sicuramente edificata nel 1666. In questa data risulta, dal registro dei defunti, il decesso di un eremitano della chiesa di N. S. d’Itria. Si può ragionevolmente supporre che esistesse ancora prima di questa data, poiché nel 1636 fu costruita la cappella nella parrocchia.
