El castillo de Santa Anna de Oliva se ubica sobre una elevación junto a la población valenciana. A tres kilómetros de la costa.

Fue construido en el Siglo XVI, a iniciativa del Conde de Oliva, iniciándose los trabajos durante la primera mitad del siglo, quizás a partir de 1528

De estilo pre-renacentista, fue una de las primeras fortalezas del levante en adaptar las prácticas defensivas frente al uso de la artillería; muros de menor envergadura, ataluzados y más gruesos. Seria así mismo armado con piezas de artillería (hasta 7 unidades) propiedad del señor, quien también costeaba su guarnición. Se construyó con el propósito de defender la población de los ataques de los piratas berberiscos, frecuentes durante la primera mitad del Siglo XVI

Se mantuvo operativo apenas 150 años. Tras la Guerra de La Sucesión, fue destruido por las tropas borbónicas en 1709, por orden del rey.

Pese a todo, la solidez de sus muros y simplicidad del diseño han permitido que permanezca reconocible hasta la actualidad, edificándose a mediados del Siglo XVIII una nueva ermita, dedicada a Santa Anna, en memoria de la que existió en el emplazamiento antes del castillo, y que, a su vez, debió sustituir una antigua alcazaba musulmana del siglo XII.

Aparte la vigilancia de costas, cuyo verdadero impulso llegaría en 1585 con el plan de Felipe II contra los piratas, la fortificación serviría para la vigilancia de la población morisca hasta su expulsión.

Se trataba de una fortaleza de planta rectangular, con torreones circulares en sus esquinas, un acceso acodado en uno de sus muros y un aljibe interior (aunque según parece la intención inicial era abrir un pozo, proyecto que no tuvo éxito).

En el emplazamiento de la también derruida ermita del Siglo XVIII, se ha representado un posible torreón, o pabellón para diferentes usos, cuyos cimientos pudieron ser aprovechados tras perder su capacidad militar para a la edificación religiosa. Este elemento se hallaba también presente en otras fortalezas del mismo tipo contemporáneas como el Castillo de Santa Barbara en Lanzarote.

Aunque no parece que adquiriera especial relevancia en su entorno (casi de forma simultanea se construyeron las murallas de la ciudad y se reforzaría el palacio-fortaleza gótico ubicada en ella), representa un ejemplo de la evolución en la técnica militar del periodo, en claro contraste con las antiguas alcazabas islámicas, mas o menos reformadas, que poco a poco perdían capacidad militar.
