Este castillo, ubicado en San Fernando, probablemente fue construido hacia el siglo XIII, tras la reconquista, aunque conserva la estructura de los antiguos "ribat" islámicos, inspirados a su vez en modelos romanos. No se ha podido determinar una causa histórica para su disposición ni para su dedicación a San Romualdo.
Se levanta en lugar cercano al Puente de Zuazo, justo al inicio de la calle Real. Parece que ya existía un castillo junto al puente a comienzos del siglo XIV, que podría coincidir en su estructura general con el actual. En esta época el rey Juan II firma un documento en el que lo denomina la "casa de la puente", y la cede a la familia Zuazo.
La actividad de los Zuazo debió significar un desarrollo nuevo de la isla, basado en una estructura administrativa distinta. Se trataba de una propiedad señorial, en la que si continuaba existiendo un poblado adscrito, éste no tenía el concejo ni las atribuciones del siglo anterior.
Poco se sabe sobre su construcción y sobre los hechos que lo motivaron pero se puede asegurar que corresponde a los últimos momentos de la época medieval. La estructura arquitectónica es única en España, ya que responde al tipo de los "ribat" islámicos, es decir, a una mezcla de convento y fortaleza, destinada a residencia de cuerpos militares, semejantes en cierto modo a nuestras órdenes militares. Es de origen islámico, aprendido en modelos romanos, el trazado rectangular con torres destacadas en las esquinas, pero corresponde exclusivamente a la tradición árabe la disposición de celdas con entradas independientes alrededor del patio, así como las formas constructivas de los arcos y bóvedas.