Construida en las primeras décadas del siglo XVI, es la primera mansión palaciega construida en la ciudad, exponente de una época de transición en la que se mezclan ideales caballerescos medievales de fama y exaltación de una estirpe con el nuevo lenguaje renacentista.

La Casa de las Torres, actual es una Escuela de Artes y Oficios, plateresca como las de los Morales y los Ortega, se caracteriza por dos torreones de los que toma el nombre.

Está declarado monumento arquitectónico histórico-nacional desde 1925.