Der Schriftsteller Joseph Victor von Scheffel gab dem Bergsee seinen Namen. Der bis dahin verwendete Name „Schwarzsee“ für die fünf Hektar große aufgestaute Wasserfläche, wurde daraufhin abgeschafft. Scheffel zu Ehren gab man einer Steinformation den Namen Scheffelfelsen und hier kann man sie spüren: Die wildromantische Atmosphäre dieser Umgebung. Man kann noch heute nachempfinden, wie schon vor Jahrhunderten die Stimmung dieses Fleckchens den Schriftsteller auf seine Geschichte einstimmte.
Heute findet sich am Bergsee ein kleines Restaurant, Tretboote und in der Nähe ein Wildgehege.