Im Jahre 1841 errichtete der damalige Besitzer des Zirkelsteines, Johann Gottlob Füssel, eine kleine Bergwirtschaft auf dem Zirkelstein. Innerhalb der Familie wurde die Bergwirtschaft bis 1913 geführt und danach verpachtet. Am 3. September 1926 wurde die Bergwirtschaft bei einem schweren Gewitter durch Blitzschlag in Brand gesetzt, brannte vollständig ab und wurde nie wieder aufgebaut.
Der Name "Zirkelstein" kommt von dem fast kreisrunden Aussehen des Felsens.