Wie wir testen

Was diese Seite kann: zeigen, wie wir unsere eigenen Strategien prüfen, damit „sah gut aus“ nicht mit „ist gut“ verwechselt wird. Jeder Schritt hat ein echtes Beispiel mit Datum und Hash. Was sie nicht kann: versprechen, dass eine Strategie, die diese Schritte besteht, künftig Geld verdient. Bisher gilt: 24 vorab registrierte Familien geprüft, 0 bestanden. „0 bestanden“ heißt nicht, dass kein Vorteil existiert. Die Karten liegen auf dem Register, Abschnitt Urteile.

Dieselben Regeln stecken im Tape Check: Wer dort eine Prognose stempelt, legt sich vorher fest, und die Prognose wird später gegen die Null-Prognose bewertet (Methodenpapier ZSB-1).

1. Vorab festlegen

   Bevor wir auch nur eine Zahl aus echten Daten sehen, steht fest: Hypothese und Mechanismus (wer muss handeln, und wann), genaue Regel, Märkte, Zeiträume (Entwicklung, Prüfung, Holdout), Kosten je Trade, Mindestzahl an Trades, Fehlerrate 1 % je Familie und die Bedingungen, unter denen eine Familie als bestanden gilt. Dazu eine Kostenprobe ohne Kursdaten: Kann der nötige Bruttoeffekt die Kosten überhaupt tragen?

   Beispiel Runde 5: Die Kostenprobe hat zwei Kandidaten vor jedem Lauf gestrichen; bei einem hätten allein die Kosten 0,8–0,9 R je Trade betragen. Gerechnet wurde nur, was die Probe bestand. Quelle: Kosten-Vorprüfung Runde 5, 17.10.2026 10:26–10:31.

2. Zeitstempel

   Der festgelegte Text bekommt einen Fingerabdruck (sha256) und einen Zeitstempel in der Bitcoin-Blockchain (OpenTimestamps). Erst wenn die Zeile „Runde x – vor jedem Lauf“ im Logbuch steht, darf gerechnet werden.

   Beispiel Runde 5: festgeschrieben 17.10.2026 11:50, sha256 531a2b3343b92c5e3d960784a365b2e7b559bb577d49b190713fc6a82f68f733, OpenTimestamps. Die Logbuch-Zeile stand um 22:02; bis dahin lief kein Test auf echten Daten.

3. Null-Seeds

   Vor dem echten Lauf läuft der Code auf künstlichen Daten ohne Effekt. Dort darf er höchstens so oft „Treffer“ melden, wie die Fehlerrate erlaubt. Auf künstlichen Daten mit eingepflanztem Effekt muss er den Effekt finden. Echte Daten fasst diese Probe nicht an.

   Beispiel Runde 5: Familie „dünnes Orderbuch“: 0 von 24 Null-Seeds unter der Schwelle (kleinstes p 0,25), eingepflanzter Effekt gefunden. Für eine genaue Prüfung einer Fehlerrate von 1 % sind 24 Läufe zu wenig; ein kleinstes p von 0,25 ist bei 24 Läufen auffällig hoch, der Test war hier eher zu streng. Quelle: Null-Seed-Lauf 17.10.2026 11:19–11:50.

4. Holdout genau einmal

   Die Regel darf auf den Entwicklungsdaten gebaut werden. Die Prüfdaten sehen wir einmal. Den Holdout (die letzten Jahre) öffnen wir genau einmal, mit einer Logbuch-Zeile davor, und rechnen danach nichts nach. Findet sich vorher ein Fehler im eigenen Code, wird er offen korrigiert, mit Begründung und neuem Hash, bevor ein Ergebnis zu sehen ist.

   Beispiel Runde 4: Logbuch „Holdout geöffnet“ 17.10.2026 09:26, Holdout-Läufe danach, je einmal. Beispiel Runde 5: Vor dem Echtlauf zählte unser Code Sonntagszeilen mit; die Korrektur wurde mit Diff und neuem Hash dokumentiert, bevor ein Ergebnis zu sehen war. Holdout am 18.10.2026 11:50–11:56 einmal gerechnet: n 301, Ø −0,065 R.

5. Prognose-Logbuch

   Vor jeder Runde schreiben wir auf, wie wahrscheinlich wir ein Ergebnis halten, mit Zeitstempel. Später wird die Prognose bewertet (Brier-Score). So sieht man, ob wir uns selbst zu viel zutrauen.

   Beispiel Runde 4: Prognose vor dem Lauf: „mindestens eine von fünf Familien besteht“ mit 0,35. Eingetreten: nein (0 von 5). Beispiel Runde 3: Für die Marktgewichtung stand „fällt durch, Rauschen“ vorab im Logbuch; so kam es.

6. Veröffentlichen, egal wie

   Jedes Ergebnis kommt auf eine Karte, gleich groß, ob gut oder schlecht. Nichts wird nachgeschoben: keine neuen Schwellen, nachdem das Ergebnis bekannt ist. Was nicht testbar war, heißt „nicht testbar“, nicht „durchgefallen“.

   Stand 19.10.2026: 24 vorab registrierte Familien geprüft (19 durchgefallen, 1 unentschieden, 2 nicht testbar, 2 laufen noch), 0 bestanden; 43 Karten auf dem Friedhof. Ein Strom ist auf Bewährung (Holdout n 348, +0,138 R je Trade, t 1,65, nicht signifikant; letzte 12 Monate −0,05 R bei n 72; Prüfpunkt 28.02.2027). Alle Karten: Register, Abschnitt Urteile.

Was diese Schritte nicht leisten

• Sie verhindern Selbsttäuschung, nicht Verluste. Eine Familie, die alle sechs Schritte besteht, hat einen Befund, keine Garantie.
• Wir korrigieren nicht über Familien: Bei 24 Familien mit je 1 % Fehlerrate ist ein zufälliger Treffer mit rund 21 % zu erwarten; ein künftiges „bestanden“ zeigen wir darum mit dieser Zahl.
• Alle Runden teilen sich denselben Holdout-Zeitraum; spätere Ideen kennen frühere Ergebnisse.
• Der Holdout ist nur einmal unberührt. Für Varianten unseres eigenen Stroms bleibt nur noch der Zeitraum ab 10.2025 plus die Zukunft.
• Prereg-Texte und Code veröffentlichen wir mit der jeweiligen Methodenversion; bis dahin zeigen Hash und Zeitstempel, dass der Text zu diesem Zeitpunkt existierte. Dass vorher nicht gerechnet wurde, steht in unserem Logbuch; das kann der Stempel nicht beweisen. Runden 1–3 haben einen Hash, aber keinen Zeitstempel.