A Hugues de Payns y sus primeros compañeros se les había encomendado inicialmente la misión de proteger a los peregrinos que deseaban rezar en la Iglesia del Santo Sepulcro de Jerusalén.
La ruta de Jerusalen procedente de San Juan de Acre, principal puerto de embarque de los cruzados, se encajona en un desfiladero que bordea el Monte Carmelo, muy propicio a emboscadas. A su paso por el llamado “Maupas”, los viajeros de camino a Jerusalén eran frecuentemente asaltados, mejor dicho asesinados por los bandidos. Para que esta protección fuera efectiva, decidieron asegurar la guardia del paso más peligroso, conocido en las crónicas con el nombre de "el Estrecho" y que bordeaba la costa entre Césaria y Haîfa.
Los templarios no lograron acabar con la inseguridad de aquel camino hasta construir el castillo de Chàteau Pelèrin.
Dice la crónica: …“Esos dos caballeros guardaban conjuntamente cierto paso llamado hoy Chàteau Pelèrin”…
En un lugar de la costa, levantaron el primer edificio en un montículo rocoso, que utilizaron como torre de vigilancia. Esta torre será la base alrededor de la cual los Templarios construirán una de sus fortalezas más importantes. La torre primitiva se integrará en el ángulo sureste en la primera línea de las fortificaciones de la fortaleza que se instalará más tarde en un extenso promontorio que dominará las inundaciones.
En 1218, los Templarios, ayudados por los Caballeros Teutónicos y Gauthier d 'Avesnes, un barón flamenco, refuerzan la posición de la torre conocida como "el Estrecho" o "Pierre-Encise".Durante su trabajo, descubren cimientos de murallas antiguas, sobre las que deciden montar las fortificaciones de su nuevo castillo.Se encuentran varias fuentes de agua potable, así como restos de muros, que utilizan para su edificación.Después de la primera línea defensiva, los Templarios levantaron un segundo muro sobre todo el ancho del istmo.Este muro está protegido por un foso y está reforzado con tres salientes cuadrados. En el extremo sur, la puerta de entrada del castillo se abre en un hueco que da al mar. Justo detrás de este segundo muro, dos enormes torres oblongas, construidas con gigantescos bloques de piedra y unidas por una cortina, aseguran la defensa de la calzada que conduce a la segunda puerta, ubicada al norte del istmo.Estas torres estaban constituidas por salas arqueadas en dos niveles y coronadas por una terraza almenada. El sótano estaba ocupado por vastos sótanos y almacenes.
En la parte posterior de este sistema defensivo, se abre una gran explanada, rodeada de varios edificios defensivos, murallas, salientes.El sótano de estos edificios también contiene varias tiendas y almacenes.
En el lado sur de la explanada, hacia la mitad de su longitud, se elevaba la bóveda hexagonal, que según Jacques de Vitry, ha sido uno de los más bellos ejemplares de la arquitectura gótica en Oriente. Esta bóveda tenía un plan de construcción casi idéntico al de la bóveda templaria de Laon.
Todo en el oeste del promontorio, se encontraban las instalaciones portuarias que permitían el abastecimiento del baluarte y la descarga de la mercancía.
También se construyeron tiendas y almacenes alrededor de estas instalaciones.
En cuanto a los edificios reservados para el uso de los templarios, fueron construidos al lado de la iglesia, pero ahora han desaparecido por completo.
En 1219, inmediatamente al final de su construcción, el sultán Malik al-Mu'azzam Musa que acababa de conquistar la ciudad fortificada de Cesaree, intenta en vano asediar la fortaleza que en árabe también llama "Ateleyt".
En 1229, el emperador germánico Federico II, evaluando que Chateau-Pelerin sería perfectamente adecuado para su propio uso como ciudad fortificada en la costa, intenta tomar el castillo por sorpresa.
Entra seguido por su tren al recinto y convoca al comandante del Templo para que entregue el Castillo sin demora.Los templarios, lejos de dejarse intimidar por la soberbia del emperador, cierran las puertas, toman armas y declaran que si el emperador no abandona el lugar de inmediato, será encarcelado.
Federico II fulminando de rabia contra La Orden, obedece a marcharse.
En 1291, tras la caída de Acre, la ciudadela es abandonada por sus defensores, cayendo así en manos musulmanas, que la desmantelan de inmediato.