Der Schriftsteller Joseph Victor von Scheffel gab dem Bergsee seinen Namen. Der bis dahin verwendete Name „Schwarzsee“ für die fünf Hektar große aufgestaute Wasserfläche, wurde daraufhin abgeschafft. Scheffel zu Ehren gab man einer Steinformation vor Ort den Namen Scheffelfelsen und hier kann man sie spüren: Die wildromantische Atmosphäre dieser Umgebung. Man kann noch heute nachempfinden, wie schon vor Jahrhunderten die Stimmung dieses Fleckchens den Schriftsteller auf seine Geschichte einstimmte.
Heute ist der Bergsee ein beliebtes Naherholungsgebiet inmitten des Südschwarzwaldes, eingebettet in den schönen Säckinger Stadtwald. Er verbindet Naturerlebnis mit verschiedenen Freizeitaktivitäten. Der See ist ca. 30 Gehminuten nördlich von der Altstadt entfernt und ganzjährig frei zugänglich. Es handelt sich nicht um einen Badesee.
Vor Ort findet man ein kleines Restaurant, in den Sommermonaten einen Tretbootverleih und einen Hochseilgarten sowie in der Nähe das beliebte Wildgehege.