El Museo de Xàbia ocupa uno de los edificios más relevantes de la villa. Su primer propietario y constructor, Antoni Banyuls (muerto el 1662), fue un personaje de importancia por su proximidad al rey Felipe III, de quien fue mayordomo. El palacio, levantado durante la primera mitad del siglo XVII, presenta una magnífica fachada de piedra "tosca" en la cual destacan los "porxens" del piso superior. En el interior, las tres plantas en las que se divide, fueron muy transformadas en la segunda mitad del siglo XIX, siguiendo las modas de aquellos momentos de auge económico. De esta manera, sólo se conserva la pavimentación original con baldosas de barro y "mocadorets" en verde y blanco, en la sala VI. Los nuevos espacios expositivos del nuevo edificio muestran en la primera planta, una selección de la obra legada por el pintor J.B. Segarra Llamas (Xàbia, 1916-1994) con un total de 32 obras expuestas, que fueron realizadas en diversas técnicas (óleo, carbón, grafito, sanguina y acuarela), así como un conjunto de objetos personales del artista. La planta superior está dedicada a la arqueología submarina, con una amplia y rica colección de piezas recuperadas en el litoral de Xàbia que permiten conocer una parte sustancial de la historia de estas tierras entre el siglo VII a.n.e y el siglo XIX de nuestra era.