El jardín que ahora ocupa esta placita, llamado hasta ahora Jardín de Loreto, ha sido rebautizado recientemente como Plaza de Vicent de Gràcia, nombre con el que era conocido popularmente Vicent Bisquert Riera (1884-1962). Anteriormente fue solar de la capilla de la Virgen de Loreto, uno de los edificios religiosos situados intramuros de Xàbia.
La villa de Xàbia estaba protegida y rodeada por murallas hasta el 1874, año que marca el derrumbe definitivo de los muros defensivos que circunvalaban las actuales rondas. Aquel recinto amurallado, el segundo que tuvo la villa, fue construido en una fecha incierta, probablemente a finales del siglo XV, momento de un importante crecimiento demográfico y económico de la villa. A principios del siglo XIV, el primitivo núcleo urbano de Xàbia contaba con un cierre defensivo que enmarcaba un reducido espacio urbano con una superficie de 4,38 ha.
La superficie de la nueva villa ampliada será de 6,61 ha. y el perímetro de sus murallas de 955 m. Para reforzar las puertas y el muro, se construyeron cinco torres redondas que flanqueaban los tres accesos a la villa y que, eventualmente, fuesen artillados ante posibles ataques piratas, siempre procedentes del mar. Las puertas se cerraban a las diez de la noche y se abrían de nuevo a la salida del sol.
El 1 de diciembre de 1556, siguiendo las notas recogidas por G. Cruanyes en el Archivo Parroquial, comenzaron las obras de la «casa y ermita de la Virgen de Loreto en el patio que donó Lluís Sapena en junio del pasado año a los Jurados de esta villa». Casi del mismo momento son las primeras referencias documentales sobre la puerta de la Mar, situada al lado de la ermita, una puerta que tuvo que ser reforzada en el año 1639 ante las amenazas de ataques piratas.
No conocemos ninguna imagen de la capilla de Loreto. Solo algunas descripciones cortas poco aclaratorias y alguna noticia sobre el uso funerario del edificio que acogía los vasos funerarios de los marineros. De mediados del siglo XIX es la descripción que aparece en el Diccionario (1846-1850) de Pascual Madoz. Aquí podemos leer que “fue edificado en 1515 por haber cedido su casa a dicho fin, Luis Sapena; en el que hay un gran pórtico de 3 naves sostenido por 8 columnas donde se efectúa la enseñanza de la primera educación, y está la casa habitación para el director de ella”. También el historiador dianense Roc Chabàs (1844-1912), nos dejó una breve descripción de la capilla: “es un edificio cuadrangular, cubierto por una bóveda, sustentada por columnas que formaban dos naves de estilo mudéjar”.
Como ya hemos dicho, este edificio se encontraba justo al lado de la puerta de la Mar, lugar donde se concentraba la población dedicada a los trabajos del mar y que, a finales del siglo XVI estaba formada por 24 pescadores. Desde finales del siglo XVII se formó fuera de las murallas, el Raval de la Mar. Aquel nuevo barrio tenía, durante la segunda mitad del siglo XVIII, unos 47 vecinos que, aplicando un coeficiente de 4 por unidad familiar, representaba unas 188 personas. La mayoría de estos ciudadanos se dedicarían a oficios relacionados con el mar y la pesca y su capilla y el vaso donde eran enterrados era la ermita de Loreto. De hecho, una de las pocas noticias que nos hablan de la capilla está relacionada con la actividad pesquera. El 26 de agosto del año 1757, dos barcas coraleras de Begur (Principat de Catalunya) se dirigían hacia su puerto de origen desde la zona de Vera (Murcia); a la altura del Cap de Sant Antoni, un temporal hizo balancear una de las embarcaciones y sus cuatro tripulantes murieron ahogados. El mar solo sacó a dos, que fueron enterrados en la ermita de Loreto.
La última noticia vinculada a este edificio nos habla de su derribo. El 12 de agosto de 1881 leemos en el periódico de Alicante Las circunstancias, órgano del partido liberal dinástico: “Dicen de Jabea que días pasados una sensible desgracia ha consternado a los habitantes de la población a consecuencia del estado ruinoso en que se encuentra el edificio Público denominado Loreto, desprendiéndose una de sus bóvedas y arrastrando en su caída a un desgraciado a quien dejó cadáver”. Con tal motivo, parece que se acordó la demolición del referido edificio, a fin de evitar nuevas desgracias.
El derribo de la capilla creó un solar que, poco tiempo más tarde se convirtió en el primer jardín público. En él, Vicent de Gràcia construyó el año 1923 una fuente que aprovechaba un robusto elemento de piedra de una almazara sobre la que se colocó una imagen de Ntra. Sra. de Loreto en memoria del templo que existió desde el siglo XVI.