O powstaniu Kościółka św. Anny powstała legenda a może to historia prawdziwa o mieszkańcu Nowej Rudy nazywanym Kaspar Pohl. Człowiek ten postanowił palić w kuchennym piecu drewnem pozostałym po Kapliczce poświęconej św. Annie. Tę drewnianą kapliczkę wybudowano w 1515 r. Zaniedbana zawaliła się w 1600 r. Pozostał po niej obraz św. Anny (powieszono go na drzewie obok) oraz sterta drewna, którą wspomniany już pan Pohl czterema końmi zaczął zwozić pod swój dom. Mimo ostrzeżeń od ludzi, by świętego nie ruszać Kaspar kontynuował zwózkę. Gdy zjeżdżał na dół już z ostatnim ładunkiem niespodziewany grom (może z jasnego nieba) zabił jego trzy konie. Sam Pohl ocalał i zamiast dziękować za to Bogu zaczął kląć ku niebiosom i mówił do Boga: - Zabrałeś mi trzy moje najlepsze konie! Więc weź jeszcze czwartego !
Wtem ostatni koń padł martwy. Od tego czasu Pohl już nigdy nie klną.
W okresie kontrreformacji na pamiątkę tego wydarzenia na wzgórzu postawiono drewniany słup z wizerunkiem św. Anny, natomiast w 1644 r. zbudowano murowaną kaplicę, która przetrwała do naszych czasów a w 1655 r. przy kaplicy powstała pustelnia. Miejsce to stała się popularne wśród pielgrzymów. A 26 lipca w dzień patronki odbywały się odpusty, które przekształciły się w ludowe festyny.