Este noble edificio, fue fundado por D. Bartolomé Santos de Risoba, Obispo de Sigüenza (1650-1657), a mediados del siglo XVII. Su construcción y ornamentación, tal como hoy se conserva, debida a D. Francisco Díaz Santos Bullón, Obispo de Sigüenza (1750-1761), quien costeó el enlosado del patio principal y toda la magnífica fachada, dando mayor amplitud y esbeltez, con trabajo de costosa cantería, a mediados del siglo XVIII.
Su fachada es de una gran espectacularidad barroca, constituyendo su principal motivo ornamental el blasón del Obispo constructor, sobre la puerta principal de entrada.


En su interior, bellísimo patio cuadrado, con arquería de medio punto en el piso inferior y doble nivel en los restantes, con balcones encuadrados con placas de magnífico molduraje barroco.
La capilla pública, que en 1876 construyó D. Francisco de Paula Benavides y Navarrete, añadida al pabellón oriental, posee también fachada a la calle, pero es de gran sencillez y contextura diferente, ornamentada con diversos escudos. El de D. Bartolomé Santos de Risoba, y el de D. Antonio Ochoa y Arenas (1879-1896).


Constituye un conjunto muy importante dentro del estilo barroco de Sigüenza.