Sie hat keinen bestimmten Ursprung, aber man nimmt an, dass der Bau auf Ende des XVI und Anfang des XVII Jahrhunderts zurückgeht. San Sebastian, heiliger Beschützer über Epedemien, war der Schutzheilige dieser Wallfahrtskirche, die neben dem Krankenhaus der Pestkranken erbaut wurde.
Der Historiker Domingo Bohórquez zitiert das Testament eines Priesters der Santeria, der sich der Kapelle im Jahr 1646 annahm und sie restaurierte, hütete und sie mit Kultgegenständen, wie Messgewänder, Silberlampen und –leuchter, Gemälde, usw…. ausstattete, die laut dem Testament alle ihm gehörten.
Die Kirche San Sebastian liegt etwas ausserhalb des Stadtkerns und vom Bevölkerungszentrum entfernt. Aufgrund des grossen Bevölkerungszuwachses im Chiclana des XVIII Jahrhunderts, wurde aus der Kirche eine zusätzliche Hilfspfarrgemeinde, die den Einwohnern ihre Dienste anbot. 1788 wurde sie zur Hauptkirche einer eigenen Pfarrgemeinde.
Aufeinanderfolgende Änderungen und zahlreiche Umbauten, vor allem seit 1788, führten dazu, dass die Einsiedelei keinen definierten Stil hat, obwohl die letzten Überarbeitungen an der Kirche San Sebastian Ende des XX Jahrhunderts ihr eine neugotische Note verleihen.