Podle pověsti stojí za zrodem poutního místa sv. Anny písař pohledského cisterciáckého kláštera Jakub Čermák, který při štvaní jelena zapadl v lese do bažiny a jemuž skrz modlitbu pomohla dostat se z nesnáze právě svatá Anna.
Na místě této nehody byl při kopání základů pro stavbu kaple objeven léčivý pramen, nedaleko od něho v místě otisků šlépějí prý samotné světice byl postaven dnešní poutní kostel. Kostel sv. Anny je postaven údajně dle plánů J. B. Santiniho, datován do roku 1766.
