Ursprünglich nannten die Rathener Bürger die Schlucht den Blanken Grund. Zugewuchert und fast unzugänglich muss sie damals gewesen sein und kein Weg führte hindurch.Als im Jahre 1639, im Zuge des Dreißigjährigen Krieges, schwedische Truppen mordend und brandschatzend durch das Land zogen, flüchteten sich die Rathener mit ihren Hab und Gut in die umliegenden Schluchten und Gründe. Auch der Blanke Grund wurde Zufluchtsstätte vieler Menschen. Seit jener Zeit wird dieses Schluchtsystem "Schwedenlöcher" genannt.

In der Folgezeit suchten die Menschen immer wieder Schutz in der unübersichtlichen Felsenschlucht, so im Nordischen Krieg im Jahr 1706, 1813 zur Zeit der Napoleonischen Kriege und 1945 am Ende des Zweiten Weltkrieges.

In den Jahren 1780 und 1790 wurden erste Wege für die Holzgewinnung angelegt. Der aufmerksame Wanderer wird an den Felswänden drei Einmeiselungen "ICH.1782, ICH 1784 und ICH 1787" finden. Die in Felsengassen mit drei Anfangsbuchstaben eingemeißelte Jahreszahlen sollen auf einen alten Wegebau hinweisen.

1886 entstand eine erste Steiganlage, auf Veranlassung des Gebirgsvereins, anlässlich des VII Deutschen Geographentages zu Dresden. Die letzte größere Instandsetzung erfolgte in den Jahren 1967-68.