Ce que montre une courbe de calibration
Un modèle qui annonce 70% doit avoir raison environ sept fois sur dix. La courbe qui le vérifie est le test le plus simple d’une prévision, facile à lire.
Sur cette page
Prenez tous les matchs pour lesquels un modèle a annoncé 70%, et comptez ceux où l’événement prévu s’est produit. Si la réponse est environ sept sur dix, ce chiffre signifie bien ce qu’il annonce. Si la réponse est cinq sur dix, la prévision est mal calibrée dans cette zone. La courbe seule ne permet pas de savoir si le modèle a classé les équipes dans le bon ordre ; elle montre que la probabilité annoncée ne correspondait pas à la fréquence observée.
Lire le graphique
La probabilité prévue figure sur l’axe horizontal, la fréquence observée sur l’axe vertical, et un modèle parfaitement calibré suit la diagonale. Les points au-dessus de la ligne indiquent que le modèle manque de confiance : les événements auxquels il attribuait 40% se produisent une fois sur deux. Les points en dessous indiquent un excès de confiance. La distance à la ligne doit être interprétée en tenant compte du nombre de prévisions dans cette zone et de leur incertitude d’échantillonnage.
Pourquoi la calibration seule ne suffit pas
Un modèle qui répond « l’équipe à domicile gagne dans 46% des cas » pour chaque match du championnat peut être parfaitement calibré si les équipes à domicile gagnent dans 46% des cas de cet échantillon. Il ne distingue pourtant pas les matchs, puisqu’il ne dit jamais rien sur un match précis. La seconde propriété nécessaire à une prévision est la finesse : la capacité à s’écarter de la fréquence de base lorsqu’il y a une raison de le faire.
La calibration sans finesse, c’est un prévisionniste météo qui annonce toujours « dans la moyenne ». La finesse sans calibration, c’est un prévisionniste qui annonce toujours « certain ». Les deux sont inutiles, chacun à sa manière, et chacun obtient de bons résultats sur l’indicateur où l’autre échoue.
La place de la calibration dans le processus
La calibration est vérifiée sur la probabilité issue de l’analyse, car c’est le seul chiffre que ce produit publie. Chaque analyse conserve séparément son point de départ sur le marché et l’ajustement apporté par la recherche. C’est essentiel : si le chiffre publié est mal calibré, il est possible de déterminer si le problème vient du prix de départ ou de la recherche, et tout l’intérêt du processus est de pouvoir attribuer la responsabilité à chaque étape séparément.
Ce que cela ne vous dit pas
Une courbe de calibration exige suffisamment d’observations dans chaque zone de probabilité. Lorsque les intervalles contiennent peu d’observations, les fréquences observées présentent une forte incertitude d’échantillonnage, et un choix arbitraire des intervalles peut faire apparaître des irrégularités. Elle ne dit pas non plus si le modèle fait mieux que le marché, ce qui est une autre question, plus difficile.
Questions fréquentes
Qu’est-ce qu’une courbe de calibration ?
Un graphique qui compare les probabilités prévues aux fréquences observées. Regroupez toutes les prévisions à 70%, comptez la fréquence à laquelle ces événements se sont produits, puis reportez ces deux valeurs sur le graphique. Un modèle parfaitement calibré se situe sur la diagonale.
Une bonne calibration signifie-t-elle qu’un modèle est utile ?
Pas à elle seule. Un modèle qui prédit la fréquence de base observée pour chaque match peut être calibré dans l’ensemble sans faire la moindre distinction entre les matchs.
Quelle est la différence entre calibration et exactitude ?
La calibration vérifie si les probabilités annoncées correspondent aux fréquences observées. L’exactitude de classification vérifie si les catégories attribuées à partir d’un seuil étaient correctes. La netteté ou la résolution évalue si les prévisions distinguent les différents cas. Ce sont des propriétés distinctes.