El Palacio fue mandado edificar en 1592 por don Fernando de Torres y Portugal, exvirrey de Perú, con patio renacentista con dos galerías de arcos carpaneles de ladrillo y escalera manierista, sobre unos Baños Árabes. Estos baños fueron construidos entre los siglos XI y XII. El conjunto fue rehabilitado como centro cultural gestionado por la Diputación Provincial, y alberga el Museo de Artes y Costumbres Populares y el Museo de Arte Naïf.
Fue declarado Monumento Histórico Artístico el 3 de junio de 1931.