Fue antes castillo e iglesia. La fortaleza primitiva, existente ya en época musulmana, fue ampliada en el siglo XV por Fernán Pérez de Montemayor, y en el siglo XVI se insertó en ella la parroquia de San Pedro, cuyas obras dirigió Hernán Ruiz I, a quien se atribuye la bella portada gótica que hoy pervive como puerta principal de las Casas Consistoriales, en las que también se integran dos torreones laterales de la antigua fortaleza.