Otro edificio a destacar en el puerto es la Casa del Cable, construido en 1860 para albergar la estación telegráfica que enlazaba la Península con Ibiza mediante un cable submarino.
A mediados del siglo XIX, el paisaje urbano del barrio de Aduanas estaba definido por los almacenes de pasa y las humildes casas de pescadores que habían ido construyéndose. Es en aquellos momentos cuando se iniciaba en el país el establecimiento y desarrollo de la red telegráfica con las primeras instalaciones de cables submarinos.
En 1860, empiezan los trabajos de cableado para comunicar las Islas Baleares con la península.
La proximidad de Xàbia con Ibiza y la idoneidad de su bahía, aconsejarán la instalación de la estación donde llegaría el cable telegráfico submarino. Se inicia entonces la construcción de la Casa del Cable.
Hacia el 1870 se reparó el cableado entre Xàbia-Sant Josep de Sa Talaia (Ibiza) y Barcelona-Maó, que se estropeaba con cierta frecuencia hasta que dejó de funcionar, definitivamente, en la década de los años cincuenta del siglo pasado.
Pero además, la Casa del Cable fue, entre el último cuarto del siglo XIX y durante la primera década del XX, el oratorio o capilla que daba servicio religioso al barrio marinero y donde era custodiada la imagen de Nuestra Señora de Loreto.
La importancia de la estación como enlace telegráfico con las islas, hizo que en diversas ocasiones se instalaran destacamentos militares para poder garantizar la comunicación telegráfica.
La estructura original del edificio, presentaba una planta cuadrada, de poco más de 9 metros de lado, con dos pisos y cubierta de teja a cuatro aguas. Posteriormente se hicieron varias reformas y se le añadieron las cuatro columnas de tosca que sostienen la terraza y forman la naia que aún se conserva y hace tan singular la casa.
En la planta baja se localizaba la oficina telegráfica, mientras que el piso superior estaba ocupado por las habitaciones y una estancia de servicios.
Adosado al costado sur de la casa, se situaban otras dependencias con sólo una planta y cubierta a dos aguas, que servirían como almacenes y otros espacios domésticos auxiliares.
Tras su remodelación, sus salas actualmente se destinan a exposiciones.