Sus orígenes son inciertos, pero según la leyenda está relacionada con Tierra Santa y la Orden del Temple. Se dice que esta talla fue traída en el año 450 por Santo Toribio, obispo de Astorga, desde Tierra Santa hasta el Bierzo. Siglos más tarde y ante la amenaza de invasión por parte de los musulmanes, San Genadio escondería la Virgen y no se supo de su ubicación hasta siglos más tarde. Los Templarios del Castillo de Ponferrada necesitaron de gran cantidad de madera para afrontar diversas obras en la fortaleza. Un 8 de septiembre, durante las labores de talado de árboles, descubrirían la talla siglos antes desaparecida en el interior del tronco de una encina. Este hallazgo hizo que la Virgen tomara el nombre de Virgen de la Encina.