El Castillo de Villafranca se mando construir por los marqueses de Villafranca a comienzos del S. XVI. Hasta el s.XVIII fue usado como residencia por los marqueses, más fue tarde incendiado por los franceses durante la Guerra de la Independencia, pasando a servir como cárcel de la villa. En el s. XIX lo mado reconstruir el conde de Peñarramiro.