La seva importància estratègica s’evidencia quan, el 1157, Ramon Berenguer IV la cedeix a Guillem Ramon de Montcada quan encara era musulmana. El 1225 Jaume l’assetja sense èxit per la gran dificultat que suposava l’enclavament maritimorocós i no se n’apodera fins al 1234 per capitulació. L’any 1294, després de permutar-la Jaume II per la ciutat de Tortosa, va passar a ser domini del Temple i es converteix en seu de la comanda que fins llavors havia mantingut Xivert.

El 1303 porten a terme l’adquisició més important de l’orde en la Corona d’Aragó, el senyoriu de Culla (promesa al Temple per Pere el Catòlic i no lliurada per Jaume I després de la seva conquesta). Aquesta costosa operació fa pensar en l’interès de l’orde per organitzar un extens domini estratègic, al costat del mar, presidit per una fortalesa que recorda el preat castell Peregrí, que van haver d’abandonar en Terra Santa.

Es troba sobre una petita i rocosa península envoltada per les aigües del Mediterrani i proveït d’un brollador propi d’aigua dolça. Va ser construït per l’orde del Temple entre el 1294 i el 1307, seguint el model de Miravet i mantenint, 140 anys després, un conservat i efectiu estil romànic cistercenc de transició. Avui dia es pot considerar el castell templer més ben conservat.

El conjunt forma un cos superior flanquejat per quatre torres i disposa d’unes 15 dependències (porteria, cisterna, cavallerisses, celler, habitacles, magatzems, presó, sala d’armes, refectori, cuina i temple) distribuïdes en dos nivells, al voltant d’un pati elevat.

És famós, a més, per haver-lo escollit el papa Luna com a seu papal durant el Cisma d’Occident.