En la época medieval, Xàbia, era un pequeño recinto cerrado por una muralla del s.XIII, con torres cantoneras, una probablemente la de En Cairat, que aún se conserva, y que parece que formaba parte de una construcción anterior.
El importante crecimiento demográfico experimentado en Xàbia durante el s.XV supuso una evolución urbanística, ya que el primitivo recinto amurallado era insuficiente para acoger este incremento de la población. A finales de este siglo o principios del XVI se modificó del perímetro de las murallas para abrir nuevos viales, efectuándose un nuevo trazado de las mismas que discurría por las actuales rondas que circundan la villa, y cuyos accesos eran el Portal de San Vicent o de la Ferreria, Portal del Clot o de Sant Jaume y Portal de la Mar.
Siguiendo su trazado medieval, la villa continuó creciendo alrededor de la Iglesia de San Bartolomé . En sus inmediaciones se erigieron los edificios más representativos y importantes ejemplos de las edificaciones de la burguesía en sus respectivas épocas, que eligieron los alrededores de la iglesia para levantar sus casas.
Es el caso de varios ejemplos de casas góticas de los s.XV al XVII en las calles Sor Mª Gallart, Pl. de l’Església, Sta.Marta, Sor Catalina Bas, S. Pere Martir, Metge González, Major, i Estret. Un claro ejemplo del gótico civil es el Palau dels Sapena (s.XV) en la Pl. de l’Església, con arcos carpaneles en la galería y ventanas geminadas y trilobuladas.
Cerca de la Porta del Mar, acceso a la villa desde el puerto, se establecieron los marineros. Allí se levantó en 1515, para servir a la gente del mar, la Iglesia del Loreto, que fue derribada en 1870. En la actualidad existe una pequeña construcción de tosca, de estilo neogótico construida en 1954.
A finales del s. XVIII y durante el s. XIX, la burguesía mercantil local dedicada a la exportación de la pasa, y los propietarios agrarios, eligieron los alrededores de la iglesia para construir ostentosos edificios de los que son claro ejemplo: Casa dels Bolufer, Casa de les Primícies, Casa Arnauda ( o de la Senyoreta Josefina), Casa Abadía, Casa de Montalbán (Capitán de la flota de pailebotes de la familia Bolufer), y la Casa de Tena, actualmente CA Lambert. Esta última, construida en 1857, que albergó a principios de s. XX la farmacia del mismo nombre, ha sido rehabilitada recientemente para albergar actividades culturales.
En 1805 se abrió la cuarta puerta de la muralla, el Portal Nou, en la actual Pl. Marina Alta, pero entre 1869 y 1874, se derriban definitivamente las murallas para acometer la expansión urbanística de la villa planteándose la ejecución de l´Eixample (ensanche). Esto supuso la creación de amplias avenidas para favorecer el tránsito de mercancías desde la Pl. del Convent, dónde llegaban los principales caminos comarcales, hacia el puerto. Estas son las actuales avenidas Príncep d’Astúries, dónde siguieron construyendo sus casas los agricultores enriquecidos gracias a la pasa, y Av. D’ Alacant, dónde se instaló parte de la burguesía mercantil.
Como testimonio de la importancia que alcanzó el comercio de la pasa quedan en Xàbia los "riurau", construcción rectangular de mampostería común y tosca, con grandes arcadas o "ulls", con cuya finalidad era albergar la uva extendida en cañizos para su secado. Uno de los mayores es el Riurau de los Català d´Arnauda, recientemente trasladado desde su ubicación original al Parque Montaner.