O culto de Nossa Senhora de Cárquere, na região de Viseu, já se fazia na época, anterior à nacionalidade, em que D. Rodrigo perdeu a Espanha para os Mouros, sendo provavelmente muito mais antiga.
Durante a invasão moura, a imagem foi escondida num carvalho oco, juntamente com uma caixa de relíquias, os sinos da ermida e uma cruz de prata. Estes objectos foram aí esquecidos.
Muitos anos depois, nasceu D. Afonso Henriques com um grave problema de saúde: o pequeno infante não tinha acção nas pernas, do joelho para baixo. O seu aio, Egas Moniz, teve um sonho em que lhe apareceu Nossa Senhora. A Virgem mandou-o ir a Cárquere e cavar em determinado local, onde encontraria os restos da ermida e a sua imagem.
Deveria então mandar construir uma nova igreja e sobre o altar colocar o infante, passando aí uma noite de vigília. A construção terminou quando D. Afonso Henriques tinha cinco anos e as indicações da Virgem foram cumpridas.
No dia seguinte, o infante andou e correu como uma criança saudável. O conde D. Henrique, perante este milagre, agradeceu à Virgem mandando construir um mosteiro junto à igreja que doou aos cónegos regentes de Santo Agostinho.