Construido a principios del siglo XVI, aunque con muchas reformas posteriores.
Popularmente se conoce como El Torreón de los Velada, es una obra en la que se utilizó mampostería para el lienzo y sillares graníticos para esquinas y vanos, en los que podemos ver muy buenos enrejados de forja. A partir de este torreón se distribuyen las dos alas del edificio; éstas se organizan en dos cuerpos y en una de ellas podemos observar una de nuestras típicas portadas renacentistas: grandes dovelas se organizan en un arco de medio punto, sobre ellas una ventana de arco conopial y enmarcándolo todo un alfiz moldurado.
Como reseña histórica destacable en este palacio se alojaron Carlos I, su esposa Isabel de Portugal y su hijo Felipe, futuro Felipe II.
Actualmente el Torreón de los Velada es un lujoso y céntrico hotel de nuestra capital.