Conserva elementos del primitivo edificio del siglo XIV como es la portada posterior.

Fue construido, al parecer, como casa-fuerte y transformado en residencia señorial en el siglo XVI.

Es de estilo renacimiento con partes góticas en su sector más antiguo.

Se encuentra unido a la iglesia y convento de Santo Domingo y muestra un pensil o jardín colgante, decorado con columnas y esculturas romanas, procedentes algunas de ellas de Cáparra y Mérida.