Původ poutního místa Svatý Kámen sahá do 1. poloviny 16. století. Podle tradované legendy se kolem roku 1500 nedaleko Rychnova na velkém balvanu zjevila malým pasáčkům Panna Maria Sněžná. Pověsti o tomto podivuhodném zjevení vedly v 17. století až k založení poutního místa. To získalo postupem času velké množství příznivců z obou stran hranice a přistoupilo se tak ke stavbě velkého barokního kostela. Původní stavba se ovšem protáhla až do 18. Století, neboť vzhledem k velké oblibě začala stavbu financovat i braniborská kněžna a vedle kostela tak vznikl i malý klášter a kaple, postavená nad pramenem s léčivou vodou.
Pokojnou duchovní službu však narušil komunistický převrat. Ještě těsně po únoru 1948 se konala na Svatém Kameni poslední pouť. V průběhu této poslední poutě měl být také zatčen státní bezpečností farář, sloužící mši, a to přímo v kostele.Byl však včas varován a po kázání odešel rovnou za sakristie přes hranici do Rakouska. O rok později již komunisté klášter zrušili a kvůli stavbě hraničního pásma také uzavřeli.
Areál kostela i kláštera, včetně hospodářských budov patřících klášteru čekala postupná devastace. Nejprve se do kostela nastěhoval státní statek, který měl v kostele sklad, v zimě sloužil kostel k ustájení ovcí. Po velkolepé stavbě hraničního pásma byly objekty obsazeny vojskem pohraniční stráže. Kostel tak začal sloužit jako sklad ostnatého drátu a pletiva na ženijní zátarasy. Věž kostela pak posloužila jako pozorovatelna a hláska. Štukovou výzdobu, malby i řezbářské práce v kostele začali využívat vojáci jako střelecké terče. Veškerý barokní mobiliář byl v padesátých letech rozkraden nebo zničen. Zachráněny byly pouze varhany, které byly převezeny do Českých Budějovic. Klášterní budovy - ambity a budova s celami řeholníků byly v průběhu dvaceti let devastovány, až se přistoupilo k jejich úplné demolici během70. a 80. let. Z původního kláštera tak nezbylo zhola nic. Ještě před tím však byly zdemolovány a odklizeny hospodářské budovy naproti kostelu.
V 80. letech minulého století se stal předmětem jednání o totální demolici dokonce samotný kostel. Díky sametové revoluci k demolici naštěstí nedošlo.