El Palacio también llamado de los Zarauz ó Corral que desde su origen formaron uno de los linajes de Parientes Mayores más importantes de la provincia. Situado en el extremo oriental de la villa, de espaldas al mar, fue construido en el año 1536 con los restos de la primitiva Casa-Torre que existió en el lugar, donde las construcciones de corte militar o defensivo dejan de existir, y se piensa en viviendas más cómodas para vivir. Mandado destruir por Enrique IV con el fin de terminar con las luchas entre los linajes banderizos.

Se trata de un edificio de planta cuadrada; con planta sótano al norte, planta baja y dos alturas. El paramento exterior está formado por piedra sillar arenisca y en sus ángulos tiene unas masas cúbicas que forman garitón y pináculo en un mismo cuerpo y que constituyen un recuerdo estético de las antiguas casas-torre.

La parte central del edificio es de época más antigua que los dos cuerpos laterales, añadidos en el siglo XIX. Aunque posee elementos renacentistas, la puerta de entrada se abre con un gran arco de medio punto. Asimismo, presenta ventanas de medio punto en la planta baja y balcones adintelados con molduras en el piso principal.

El mobiliario de su interior ofrece singular importancia, destacando igualmente su archivo y su colección de cuadros, fundamentalmente un Van Dyck. Es uno de los mejores exponentes arquitectónicos de la villa. Rodeado por un bello jardín inglés fue residencia veraniega, entre otros personajes destacados, de la reina Isabel II.

En la fachada central se levanta la gran portada en forma de arco con dovelas de enorme altura rodeados por un vigoroso moldurón. Corona el edificio una sólida cornisa de piedra rematado por un almenado decorativo. Todo ello se remata por un jardín que reproduce el espíritu renacentista y que supone un cambio drástico con respecto al gótico.