En el siglo XVII, el interés religioso de la contrarreforma, favorecerá la creación y construcción de conventos. En el año 1616, Lluc Espanyol, un xabienc devoto y piadoso, hizo una donación de 6 hanegadas, fuera de las murallas de la villa, con el fin de construir el Convent Mínim de Nostra Senyora de la Victòria i Sant Francesc de Paula.
Con el paso de los años, se crea alrededor del convento, un gran arrabal, indicador del crecimiento urbanístico y demográfico del pueblo. El convento estaba formado por varias dependencias, entre las cuales destacaba el claustro de dos plantas de estilo renacentista y la iglesia, con una gran fachada de tosca, recta y vertical abierta a la plaza. Todo este conjunto fue afectado por las leyes desamortizadoras del siglo XIX y fue cedido al ayuntamiento en 1841 para “escuelas, cátedra de latinidad, cárcel y pósito”. Destruido en 1936, el Ayuntamiento permutó este solar por el que ahora ocupa el mercado. Sobre este amplio solar, se construyó en el año 1946 el actual convento destinado a acoger la comunidad de las Agustinas Descalzas, abandonándolo definitivamente en 2003.