Was eine Kalibrierungskurve zeigt
Ein Modell, das 70% angibt, sollte in sieben von zehn Fällen richtig liegen. Die Kalibrierungskurve prüft das: einfach und leicht zu lesen.
Auf dieser Seite
Nehmen Sie alle spiele, für die ein Modell 70% vorhergesagt hat, und zählen Sie, wie oft das vorhergesagte Ereignis eingetreten ist. Sind es etwa sieben von zehn, bedeutet die Zahl das, was sie aussagt. Sind es fünf von zehn, ist die Vorhersage in diesem Bereich falsch kalibriert. Die Kurve allein zeigt nicht, ob das Modell die Mannschaften in die richtige Reihenfolge gebracht hat. Sie zeigt, dass die angegebene Wahrscheinlichkeit nicht mit der beobachteten Häufigkeit übereinstimmte.
So lesen Sie das Diagramm
Die vorhergesagte Wahrscheinlichkeit steht auf der waagerechten Achse, die beobachtete Häufigkeit auf der senkrechten. Ein perfekt kalibriertes Modell folgt der Diagonalen. Punkte oberhalb der Linie bedeuten, dass das Modell die Wahrscheinlichkeit unterschätzt: Ereignisse, für die es 40% angegeben hat, treten in der Hälfte der Fälle ein. Punkte unterhalb bedeuten, dass es die Wahrscheinlichkeit überschätzt. Der Abstand zur Linie muss zusammen mit der Anzahl der Vorhersagen in diesem Bereich und ihrer Stichprobenunsicherheit betrachtet werden.
Warum Kalibrierung allein nicht reicht
Ein Modell, das für jedes spiel einer Liga antwortet: „Die Heimmannschaft gewinnt in 46% der Fälle“, kann perfekt kalibriert sein, wenn Heimmannschaften in 46% dieser Stichprobe gewinnen. Trotzdem unterscheidet es nicht zwischen den einzelnen Partien, weil es nie etwas über ein bestimmtes spiel aussagt. Die zweite Eigenschaft, die eine Vorhersage braucht, ist Schärfe: die Bereitschaft, von der Grundrate abzuweichen, wenn es dafür einen Grund gibt.
Kalibrierung ohne Schärfe ist wie eine Wettervorhersage, die immer „durchschnittlich“ sagt. Schärfe ohne Kalibrierung ist wie eine, die immer „sicher“ sagt. Beide sind auf unterschiedliche Weise nutzlos. Und beide schneiden bei der Kennzahl gut ab, an der die jeweils andere scheitert.
Wo die Kalibrierung im Ablauf steht
Die Kalibrierung wird anhand der Zahl geprüft, die aus der analyse hervorgeht, denn nur diese Zahl veröffentlicht das Produkt. Jede analyse hält den Ausgangswert des wettmarkts und die Anpassung durch die recherche getrennt fest. Das ist entscheidend: Ist die veröffentlichte Zahl falsch kalibriert, lässt sich prüfen, ob der ursprüngliche preis oder die recherche die Ursache war. Genau darum geht es bei dem gesamten Ablauf: Jeder Schritt lässt sich einzeln als Fehlerquelle untersuchen.
Was Ihnen die Kurve nicht sagt
Eine Kalibrierungskurve braucht genügend Beobachtungen in jedem Wahrscheinlichkeitsbereich. Enthalten die Klassen nur wenige Beobachtungen, ist die Stichprobenunsicherheit der beobachteten Häufigkeiten groß. Eine willkürliche Einteilung der Klassen kann scheinbare Schwankungen erzeugen. Die Kurve sagt auch nichts darüber aus, ob das Modell besser abschneidet als der wettmarkt. Das ist eine andere und schwierigere Frage.
Häufige Fragen
Was ist eine Kalibrierungskurve?
Ein Diagramm, das vorhergesagte Wahrscheinlichkeiten den beobachteten Häufigkeiten gegenüberstellt. Man fasst alle Vorhersagen mit 70% zusammen, zählt, wie oft diese Ereignisse eingetreten sind, und trägt beide Werte als Punkt ein. Bei einem perfekt kalibrierten Modell liegen die Punkte auf der Diagonalen.
Ist ein gut kalibriertes Modell auch nützlich?
Nicht unbedingt. Ein Modell, das für jedes spiel die insgesamt beobachtete Häufigkeit vorhersagt, kann insgesamt gut kalibriert sein, ohne zwischen einzelnen spielen unterscheiden zu können.
Was ist der Unterschied zwischen Kalibrierung und Genauigkeit?
Kalibrierung prüft, ob die angegebenen Wahrscheinlichkeiten den beobachteten Häufigkeiten entsprechen. Klassifikationsgenauigkeit prüft, ob die anhand eines Schwellenwerts zugeordneten Klassen richtig waren. Schärfe oder Trennvermögen beschreibt dagegen, ob Vorhersagen unterschiedliche Fälle unterscheiden können. Das sind getrennte Eigenschaften.