Vom Zufallstreffer zur Suchraum-Eskalation

Eine faire Münze produziert scheinbare Gewinner

Stellen wir uns 100 Personen vor. Jede wirft unabhängig von den anderen 100-mal eine faire Münze. Niemand besitzt einen Informationsvorteil. Trotzdem werden die Ergebnisse verschieden ausfallen. Im Mittel erwarten wir 50-mal Kopf; die Standardabweichung beträgt fünf.

Nun erzählen wir nur von den Personen, die mindestens 60-mal Kopf geworfen haben. Ein solches Ergebnis klingt beeindruckend. Für eine einzelne Person liegt seine Wahrscheinlichkeit nach der exakten Binomialverteilung bei ungefähr 2,84 %. Unter 100 Personen erwarten wir deshalb rund 2,84 solche Ergebnisse. Die Wahrscheinlichkeit, dass wenigstens eine Person diese Schwelle erreicht, beträgt etwa 94,4 %.

Der einzelne Erfolg ist selten. Ein Erfolg irgendwo in einer großen Gruppe ist es nicht. Wer die Auswahlgeschichte weglässt, lässt aus einem erwartbaren Zufallsgewinner leicht ein vermeintliches Talent werden. Entscheidend ist deshalb der Unterschied zwischen „Diese vorher festgelegte Person war erfolgreich“ und „Wir haben nachträglich die erfolgreichste Person ausgewählt“.

Vom Einzelfall zum Multiple-Testing-Problem

Dasselbe Prinzip gilt für statistische Tests. Ein Test mit einem Signifikanzniveau von 5 % liefert unter einer zutreffenden Nullhypothese mit höchstens dieser Wahrscheinlichkeit einen Fehlalarm. Werden 20 unabhängige Tests mit jeweils exakt 5 % Fehlalarmwahrscheinlichkeit durchgeführt und sind alle Nullhypothesen wahr, beträgt die Wahrscheinlichkeit mindestens eines Fehlalarms bereits rund 64,2 %. Bei 100 Tests sind es rund 99,4 %:

P(mindestens ein Fehlalarm) = 1 − (1 − α)^K.

Diese Rechnung setzt unabhängige Testergebnisse voraus. Reale Strategien teilen Daten und ähneln sich häufig; dann gilt die Formel nicht unverändert. Das Grundproblem bleibt: Die Aussagekraft eines nachträglich ausgewählten Treffers lässt sich nicht allein mit dem Schwellenwert eines einzelnen Tests beurteilen. Ein p-Wert von 0,05 ist außerdem keine Aussage, dass die getestete Hypothese mit 95 % Wahrscheinlichkeit wahr sei.

Data Snooping beginnt, wenn Ergebnisse die nächste Frage verändern

Beim Trading können die Varianten verschiedene Zeitfenster, Features, Modelle, Hyperparameter oder Handelsregeln sein. Multiple Testing beschreibt das Problem vieler Prüfungen. Data Snooping betont, dass die Daten wiederholt die Auswahl und Gestaltung des Verfahrens beeinflussen. Beides kann zusammen auftreten, ohne identisch zu sein.

Ein typischer Ablauf: Ein Modell funktioniert auf einem historischen Zeitraum nicht gut. Daraufhin wird das Zeitfenster verändert. Danach kommen ein Volatilitätsfilter und eine andere Ausstiegsschwelle hinzu. Schließlich wird eine Kennzahl gewählt, in der die neue Variante besonders gut aussieht. Jeder Schritt kann einzeln plausibel erscheinen. Zusammengenommen ist die endgültige Pipeline jedoch auch auf die Eigenheiten dieser Daten zugeschnitten.

Besonders leicht übersehen wird die Wiederverwendung eines vermeintlichen Testsatzes. Wenn sein Ergebnis die nächste Modelländerung auslöst, beeinflusst er bereits die Entwicklung. Er bleibt nicht deshalb eine unabhängige Abschlussprüfung, weil die Datei weiterhin „test“ heißt.

Die Zahl der sichtbaren Versuche unterschätzt oft die Suche

Moderne ML-Verfahren erweitern die möglichen Entscheidungen. Schon 20 Features erlauben 2²⁰ = 1.048.576 Teilmengen, wenn jedes Feature entweder verwendet oder weggelassen werden darf. Bei 30 Features sind es über eine Milliarde. Werden zusätzlich Vorverarbeitung, Prognosehorizont, Modellfamilie und Schwellen kombiniert, multiplizieren sich die möglichen Konfigurationen.

FP-Growth macht die Frage besonders anschaulich: Ein Verfahren sucht häufige Kombinationen von Items. Aus einem kontinuierlichen Merkmal können durch Diskretisierung mehrere Kategorien entstehen. Hinzu kommen Entscheidungen über Mindesthäufigkeit, Regellänge und nachgelagerte Filter. Werden die gefundenen Regeln anschließend anhand ihrer Backtest-Performance ausgewählt, gehört auch diese Auswahl zum Forschungsprozess.

Eine große kombinatorische Zahl ist allerdings noch keine Zahl unabhängiger Tests. Manche Kombinationen sind unmöglich, werden nie ausgewertet oder erzeugen nahezu dieselben Positionen und Renditen. Häufigkeitsschranken und begrenzte Regellängen reduzieren den tatsächlich durchsuchten Raum. Mögliche Kombinationen, geprüfte Varianten und effektiv unabhängige Suchchancen sind verschiedene Größen. Sie dürfen nicht beliebig gegeneinander ausgetauscht werden.

Warum das beste Rauschen mit der Suche wächst

Ein einfaches Modell isoliert den Mechanismus. Angenommen, jede Variante besitzt denselben wahren Wert null, während ihr Schätzfehler unabhängig normalverteilt ist. Bei K standardnormalverteilten Fehlern wächst der Erwartungswert ihres Maximums für große K in führender Ordnung wie √(2 ln K). Hat der Fehler die Standardabweichung σ_ε, wird dieser Ausdruck entsprechend skaliert.

Die Formel beschreibt den ausgewählten Schätzfehler, keine allgemeine Renditeprognose. Auch ist sie eine asymptotische Näherung und keine exakte Rechnung für jede endliche Testzahl. Sinkt die Fehlerstreuung in einem geeigneten Modell wie 1/√T, ergibt sich als Größenordnung √(ln K / T).

Das erklärt die Rolle kombinatorischer Suchräume. Bei K = 2^p wächst ln K proportional zur Featurezahl p. Die entsprechende Größenordnung wird dann √(p/T). Verdoppelt sich der tatsächlich unabhängig erschlossene Raum in jeder Runde, also K_r = 2^r, wächst das standardisierte Maximum asymptotisch wie √(2r ln 2).

Bei Kennzahlen wie der Sharpe Ratio ist zusätzlich die Zeiteinheit entscheidend: Eine pro Beobachtung berechnete Sharpe Ratio und ihre annualisierte Darstellung haben unterschiedliche Skalierungen. Stichprobenlänge und Annualisierungsfaktor dürfen nicht vermischt werden. Deshalb übersetze ich die vereinfachte Fehlerformel hier nicht unmittelbar in einen jährlichen Renditebetrag.

Was „unbegrenzte Suche“ beweist – und was nicht

Im unabhängigen Normalmodell ist jeder endliche Schwellenwert irgendwann mit beliebig hoher Wahrscheinlichkeit überschreitbar. Für einen festen Wert c gilt P(max Z_k ≤ c) = Φ(c)^K; dieser Ausdruck geht bei wachsendem K gegen null. Die fünfte Notiz untersucht diese idealisierte Zuspitzung.

Daraus folgt keine unbegrenzte Manipulierbarkeit realer Backtests. Auf einem festen Datensatz können Varianten redundant sein; erreichbare Kennzahlen können Schranken besitzen. Neue Kombinationen erzeugen nicht automatisch neue unabhängige Normalziehungen. Ebenso ist die Unabhängigkeitsannahme nicht pauschal „konservativ“: Ihre Wirkung hängt von der tatsächlichen Abhängigkeitsstruktur ab.

Auch ein beobachteter Wert unterhalb eines modellierten erwarteten Maximums ist für sich genommen noch kein vollständiger Signifikanztest. Dafür benötigt man die passende Nullverteilung und ein zum Auswahlverfahren passendes Prüfverfahren. Die belastbare Aussage lautet: Ein unbeachteter Auswahlprozess kann einen großen Teil des scheinbaren Erfolgs erklären. Ob er das im konkreten Fall tatsächlich tut, bleibt zu untersuchen.

Die methodische Konsequenz: den Forschungsprozess mitprüfen

Die Antwort besteht nicht darin, Modellsuche zu verbieten. Sie besteht darin, Entwicklung und Bewertung so zu organisieren, dass ein guter Fund eine faire Prüfung bekommt:

1. Vor der Suche definieren: Fragestellung, Zielgröße und Suchbudget festhalten. Änderungen bleiben möglich, werden aber als neue Forschungsentscheidungen dokumentiert.
2. Die ganze Suche protokollieren: Gescheiterte Varianten, verworfene Features und geänderte Filter gehören ebenso dazu wie die Siegerkonfiguration.
3. Auswahl und Bewertung trennen: Optimierung im inneren Verfahren durchführen; das gesamte Auswahlverfahren auf äußeren, zeitlich geeigneten Abschnitten beurteilen. Zeitreihenabhängigkeit und überlappende Prognosehorizonte bei der Trennung berücksichtigen.
4. Den Abschlussdatensatz schützen: Nach Einsicht vorgenommene Änderungen machen aus ihm Entwicklungsinformation. Eine neue ehrliche Abschlussprüfung benötigt dann neue oder anderweitig unabhängig reservierte Evidenz.
5. Auswahlbewusste Verfahren verwenden: Je nach Fragestellung können etwa die Deflated Sharpe Ratio oder Verfahren zur Probability of Backtest Overfitting helfen. Ihre Annahmen und benötigten Informationen müssen zum Forschungsprozess passen.
6. Mehr als das Maximum berichten: Stabilität über Zeitabschnitte und plausible Parameterbereiche, Unsicherheit sowie realistische Kosten betrachten. Ein einzelner Spitzenwert genügt nicht.

Der rote Faden der fünf Notizen ist damit einfach: Je flexibler die Suche, desto mehr muss die Bewertung über die Suche wissen. Ein guter Backtest ist ein Ergebnis. Ob er eine belastbare Entdeckung ist, zeigt sich erst an der Prüfung des Verfahrens, das ihn hervorgebracht hat.

Die fünf Originalnotizen

Die folgenden Arbeitsstände stammen aus Januar 2026. Dieser Artikel ordnet ihre gemeinsame Fragestellung ein und präzisiert insbesondere die Grenzen der idealisierten Modelle. Die PDFs bleiben unverändert.

1. Münzwurfbeispiel für Multiple Testing Bias · 2 Seiten
2. Multiple Testing und Data Snooping Bias beim Trading · 4 Seiten
3. Abschätzung mit Landau-Symbolen · 4 Seiten
4. Suchraum-Eskalation bei ML und FP-Growth · 9 Seiten
5. Divergenz des Selektionsbias bei iterativer Suchraum-Eskalation · 4 Seiten

Weiterführende Primärquellen

• Bailey, D. H. & López de Prado, M. (2014): The Deflated Sharpe Ratio: Correcting for Selection Bias, Backtest Overfitting and Non-Normality. Entwickelt eine Korrektur für selektionsbedingte Performance-Inflation und nicht normalverteilte Renditen.
• Bailey, D. H., Borwein, J. M., López de Prado, M. & Zhu, Q. J.: The Probability of Backtest Overfitting, Autorenfassung 2015. Behandelt die Bewertung von Backtest-Überanpassung und kombinatorisch symmetrische Kreuzvalidierung.