Der Sage nach errichtete ein Ritter Luithold die Kapelle als sein Sohn von der Burg Hauenstein über die Mauer fiel. In seiner Not bat er den heiligen Josef um Hilfe, damit sein Sohn überlebt. Nachdem dieser lebend gefunden wurde, errichtete Luithold die Kapelle zum Dank. Man munkelt, dass an diesem Ort der Sohn gefunden wurde, denn warum auch sonst wurde die Kapelle mit 90 Stufen dort errichtet?
Das genaue Alter der Kapelle ist leider nicht bekannt. Nachweislich wurde sie 1641 umgestaltet. Ritter Luithold lebte jedoch schon im Jahre 1215 und man geht davon aus, dass die Kapelle 1216 fertig gestellt wurde.