Overfitting
Wer lange genug sucht, findet in jedem Datensatz Regelmäßigkeiten, die nur Zufall sind. Je mehr Varianten geprüft werden, desto sicherer findet man eine, die im Rückblick glänzt.
Wenn du tausend zufällige Regeln an historischen Daten prüfst, werden einige davon hervorragend aussehen. Nicht weil sie funktionieren, sondern weil bei tausend Versuchen immer etwas dabei ist.
Genau das passiert, wenn man Parameter optimiert. Man probiert Zeiträume, Schwellen und Filter durch, bis die Kurve schön ist. Das Ergebnis beschreibt dann die Vergangenheit perfekt und die Zukunft gar nicht.
Ein Warnzeichen ist eine zu glatte Ergebniskurve. Echte Strategien haben schlechte Phasen. Wenn ein Backtest keine hat, wurde er meist so lange angepasst, bis sie verschwunden sind.
Der beste Schutz ist Sparsamkeit. Wenige Regeln, wenige Parameter, runde Werte statt exakt optimierter. Eine Strategie mit zwei Parametern, die mittelmäßig aussieht, ist meist mehr wert als eine mit zehn, die glänzt.
Bei k unabhängigen Versuchen wächst die Wahrscheinlichkeit, mindestens ein scheinbar signifikantes Ergebnis zu erhalten, gegen eins. Verfahren zur Korrektur berücksichtigen die Zahl der Versuche, etwa über angepasste Signifikanzniveaus oder über ein an die Versuchszahl angepasstes Sharpe-Verhältnis. Ohne Angabe der Zahl geprüfter Varianten ist ein Ergebnis nicht bewertbar.
Die Zahl effektiver Versuche ist häufig größer als angegeben, da bereits die Auswahl von Universum, Zeitraum und Datenquelle Freiheitsgrade enthält. Auch die Entscheidung, eine Untersuchung überhaupt fortzusetzen, hängt von Zwischenergebnissen ab, was eine implizite Selektion darstellt.
Als Gegenmaßnahmen gelten die Beschränkung der Parameterzahl, die Prüfung der Stabilität in der Umgebung der gewählten Parameter, eine fortlaufende Vorwärtsprüfung sowie die Anforderung einer ökonomischen Begründung vor der Datenanalyse. Die Stabilitätsprüfung ist besonders aussagekräftig: Ein Ergebnis, das bei geringfügiger Parameteränderung zusammenbricht, beruht mit hoher Wahrscheinlichkeit auf Zufall.
Drei Sätze zum Mitnehmen
- Bei genug Versuchen findet sich immer etwas, das im Rückblick glänzt.
- Eine zu glatte Ergebniskurve ist ein Warnzeichen, kein Gütesiegel.
- Ein Ergebnis, das bei kleiner Parameteränderung zusammenbricht, ist Zufall.
Hast du es verstanden?
Warum ist die Zahl geprüfter Varianten entscheidend?
Weil bei vielen Versuchen scheinbar signifikante Ergebnisse allein durch Zufall auftreten.
Was sagt eine sehr glatte Ergebniskurve aus?
Meist dass so lange angepasst wurde, bis die schlechten Phasen verschwanden.
Was prüft die Stabilitätsanalyse?
Ob das Ergebnis bei geringfügiger Änderung der Parameter bestehen bleibt.
Passt dazu
- Dein schriftlicher PlanStufe 4
- Fundamental- und technische AnalyseStufe 3
- PortfoliotheorieStufe 4