Fue en origen un palacio barroco con jardín y huerta, tipo este muy en boga en el siglo XVIII. Construido a mediados del siglo XVIII por el arquitecto Joseph de Zuaznávar, es de estilo barroco. Se halla situado dentro del casco histórico de la villa, frente a la iglesia parroquial.
El origen del Palacio está en el mecenazgo sobre su familia, del Arzobispo de Valencia e inquisidor general, D. Andrés Orbe y Larreátegui, personaje influyente durante el primer tercio del siglo XVIII.

Es un edificio grande, de tres plantas, más ático. Se estructura espacialmente a base de un gran hueco rodeado de un anillo habitable. El citado hueco se corresponde a la caja de la escalera noble que se forra en muros de sillerías y se cubre con cúpula sobre pechinas; y ésta a su vez por linterna. El área envolvente de este cuadro lo constituyen, propiamente, los habitáculos del palacio, amplias salas abiertas a las cuatro fachadas.

La fachada principal es una de las más espectaculares de la arquitectura barroca en Vizcaya. Las cantoneras de esta fachada muestran, a media altura, escudo esquinero, con las ramas repetidas de Orbe y Larreátegui: partido de lobos rampantes a árbol y dragón, con la leyenda Ave María.

La cúpula, es el elemento que mejor define el edificio exterior, recoge las mismas formas que el campanario de la iglesia.

La funcionalidad inicial del edificio, como vivienda, ha sido modificada y es actualmente sede del Ayuntamiento de la Villa de Ermua.