A lenda da imagem de Nossa Senhora da Nazaré remonta a tempos antigos quando o monge grego Ciríaco fugiu com ela para Belém de Judá e a entregou a S. Jerónimo, que por sua vez a enviou a Santo Agostinho, que por sua vez a entregou ao Mosteiro de Cauliniana, a doze quilómetros de Mérida.
Foi aqui que puseram à imagem o nome de Nossa Senhora da Nazaré por ter vindo da cidade Natal da Virgem. Quando os mouros derrotaram os cristãos obrigando o rei Rodrigo a fugir para Mérida, este levou consigo a imagem mas não se sentindo aí seguro fugiu de novo na companhia do abade Frei Romano que possuía uma preciosa caixa de relíquias que tinha pertencido a Santo Agostinho.
Chegaram os dois fugitivos mais mortos do que vivos ao sítio da Pederneira, hoje chamado da Nazaré, na costa do Atlântico, onde decidiram separar-se. Rodrigo instalou-se no monte de S. Bartolomeu e Frei Romano no monte fronteiriço, combinando comunicarem-se por intermédio das fogueiras que acendiam à noite.
Uma noite a fogueira de Frei Romano não se acendeu e Rodrigo foi encontrar o seu companheiro morto. Apavorado, foge com a imagem e a caixa de relíquias para ir morrer perto de Viseu.
A imagem e a caixa de relíquias foram encontradas por uns pastores em 1179.
Início 
