Formado por dos edificios ensamblados: el llamado Martillo del Palacio (la parte de este que da a la Glorieta) y el palacio propiamente dicho, que da a la plaza del Cardenal, a la izquierda de la catedral. El Martillo del Palacio es un espigón saliente que se construyo hacia 1749 sobre terrenos cedidos por el marqués de Villafranca para tener un mirador en el palacio de cara al rio y a la glorieta. En esas mismas fechas empezó a construirse también el Palacio dentro de un estilo propiamente manierista italiano. El patio del palacio es de un gran interés. El conjunto quedó terminado en 1768 bajo el mandato del Obispo Rojas cuyo escudo figura bajo el balcón principal.