Construido en 1558 por ingenieros italianos y por encargo del Virrey de Valencia, D. Bernardino de Cárdenas, para protección y defensa de los marineros frente a los ataques de los piratas, hecho frecuente en nuestras costas en los siglos XVI y XVII.

Es una fortaleza de planta cuadrada, con dos baluartes y dos torreones en las esquinas, propios del arte militar renacentista. En el interior se halla el patio de armas y el aljibe, con la Capilla de la Virgen de Loreto y el Museo del Mar. Actualmente, el Castillo-Fortaleza se halla convertido en Centro Cultural, en el que se desarrollan actividades de carácter cultural, festivo y religioso.