Eine schlechte Woche: Was Ergebnisse zeigen und was nicht
Die Prüfung von neun analysen an einem Beispiel trennt normale Ergebnisschwankungen von einem Prozessfehler. Eine schlechte Woche allein ist kein Beweis.
Auf dieser Seite
Nehmen wir ein durchgerechnetes Beispiel mit neun analysen und sieben verlorenen Wetten. Diese Zahlen dienen der Veranschaulichung. Sie sind keine Bilanz der tatsächlichen Ergebnisse von BAI8. Ohne die jedem Ereignis zugewiesene Wahrscheinlichkeit lässt sich nicht ehrlich sagen, wie überraschend diese Folge ist. Das Beispiel reicht aber aus, um zu zeigen, warum Ergebnisse und Vorgehen getrennt geprüft werden müssen.
Acht der neun waren in Ordnung
Mit „in Ordnung“ meinen wir: Die Begründung hält auch beim erneuten Lesen stand, die Quellen sind echt, und bei einer Wiederholung käme dieselbe Zahl heraus, wenn nur die damals verfügbaren Informationen bekannt wären. Sieben dieser acht Wetten gehen verloren. Das entspricht dem, was Varianz bewirkt. Allein aus den Ergebnissen lässt sich kein konkreter Korrekturbedarf ableiten.
Angenommen, sechs der acht Wetten werden zu einem besseren preis abgeschlossen als dem letzten preis vor Schließung des wettmarkts. Damit kommt ein Preisvergleich zur Prüfung hinzu. Neun Beobachtungen reichen aber weiterhin nicht aus, um eine Methode zu bestätigen.
Eine war nicht in Ordnung
In diesem Beispiel wird zwei Stunden vor Anpfiff eine Mannschaftsaufstellung veröffentlicht und anschließend geändert. Die recherche erfasst die erste Version. In den folgenden Schritten prüft niemand den Zeitstempel. So entsteht eine analyse auf Grundlage einer bereits überholten Aufstellung. Das ist ein nachweisbarer Fehler in den Eingangsdaten, kein Rückschluss aus dem Ergebnis.
Für diesen Prozessfehler gibt es eine überprüfbare Gegenmaßnahme: Zu jeder Aussage wird der Veröffentlichungszeitpunkt gespeichert. Sobald dieselbe Quelle eine neuere Aktualisierung veröffentlicht, wird die Information erneut abgerufen. Die Beschreibung der Korrektur beweist noch nicht, dass sie funktioniert. Dafür braucht es kontrollierte Tests und spätere Prüfungen.
Warum es auf diese Unterscheidung ankommt
Wenn schlechte Wochen und fehlerhafte Abläufe gleich behandelt werden, führt jede schlechte Woche zu einer Änderung. Die Methode richtet sich dann zunehmend danach, was die letzten paar Ergebnisse nahelegen. Eine propere Bewertungsregel bewertet die Wahrscheinlichkeiten über eine ganze Reihe von Ereignissen, statt nach jeder verlorenen Wette eine reaktive Änderung zu belohnen.
Um beides zu trennen, braucht es eine vollständige Aufzeichnung mit Zeitstempeln. Sie muss auch die Wochen enthalten, die ein Herausgeber lieber weglassen würde.
Was Sie daraus nicht erfahren
Ob die Gegenmaßnahme mit den Zeitstempeln ausreicht. Sie behebt den Fehler im beschriebenen Beispiel. Sie liefert keine Schätzung dazu, wie oft ähnliche Fehler zuvor aufgetreten sind oder wie oft die betroffenen Wetten zufällig zugunsten des Herausgebers abgerechnet wurden.
Häufige Fragen
Ist dies ein Bericht über die tatsächlichen Ergebnisse von BAI8?
Nein. Es ist ein durchgearbeitetes Beispiel dafür, wie Sie eine schlechte Woche prüfen können, ohne Ergebnisse mit der Qualität des Prozesses zu verwechseln.
Beweisen sieben Verluste bei neun analysen, dass die analysen fehlerhaft sind?
Nein. Die Wahrscheinlichkeit dieser Folge hängt davon ab, welche Wahrscheinlichkeit für jedes Ereignis angesetzt wurde. Neun Beobachtungen sind zu wenig, um eine Methode allein anhand der Trefferquote zu beurteilen.
Welchen Prozessfehler verwendet das Beispiel?
Eine veraltete Mannschaftsaufstellung. Das Beispiel geht davon aus, dass bei der recherche eine Aufstellung gelesen wurde, die vor einer kurzfristigen Änderung veröffentlicht worden war. Im weiteren Ablauf beachtete niemand den Zeitstempel.