Quando foi criada a paróquia, em 1560, por entendimento entre o senhor de Góis, D, Diogo da Silveira, e os representantes da Igreja Matriz de Góis, foi decidida a construção da nova Igreja de Nossa Senhora de Cadafaz. Julga-se que a sua construção terá sido terminada em 1606, data inscrita por cimo de uma das portas. Admite-se que a sua imagem é a que hoje se encontra na parte lateral esquerda da igreja, em frente à de S. Sebastião. "A mesma foi restaurada em 1815 e ampliada em 1855. Parte do custo das obras de ampliação ficaram-se a dever ao grande homem barão de Louredo, que, além da valiosa ajuda das obras, também ofereceu um órgão e o lustro central da igreja. Na mesma época, também ofereceu um relógio de torre ao lugar de Corterredor, sua terra natal, mas os moradores do referido luga rejeitaram-no, alegando que fazia muito barulho e que acordava os meninos. Por isso, foi decidido ser levado para a sede de freguesia, onde ainda hoje se encontra em funcionamento. "(Lucinda Nunes Rosa, O Varzeense de 15.02.2003).