Une mauvaise semaine : les limites des résultats

Prenons un exemple détaillé de neuf analyses, dont sept se soldent par une perte. Ces chiffres servent d’illustration. Ils ne reflètent pas les performances réelles de BAI8. Sans la probabilité attribuée à chaque événement, il est impossible de dire honnêtement à quel point cette série est surprenante. Elle suffit à montrer pourquoi les résultats et le processus doivent être examinés séparément.

Huit des neuf analyses étaient valables

Par valables, nous entendons que le raisonnement tient à la relecture, que les sources sont réelles et que le chiffre serait le même si le calcul était reproduit avec les seules informations disponibles à l’époque. Sept de ces huit analyses se soldent par une perte. Cela correspond à ce que fait la variance, et les résultats seuls ne permettent d’identifier aucun point précis à corriger.

Supposons que six des huit paris soient pris à un prix meilleur que celui du marché à la clôture. Cela ajoute une comparaison des prix à l’examen, mais neuf observations ne suffisent toujours pas à valider une méthode.

Une analyse ne l’était pas

Dans cet exemple, une composition d’équipe est publiée deux heures avant le coup d’envoi, puis modifiée. La phase de recherche lit la première version. Aucune étape suivante ne vérifie l’horodatage. Une analyse est donc construite sur une composition déjà remplacée. Il s’agit d’une erreur vérifiable dans les données utilisées, et non d’une déduction tirée du résultat.

Cette défaillance du processus appelle une réponse que l’on peut tester : enregistrer l’heure de publication avec chaque affirmation et récupérer à nouveau l’information lorsque la même source publie une mise à jour plus récente. Décrire la correction ne prouve pas son efficacité. Il faut des tests contrôlés, puis des audits.

Pourquoi cette distinction est essentielle

Si les mauvaises semaines et les défaillances du processus sont traitées de la même façon, chaque mauvaise semaine entraîne un changement. La méthode dérive alors au gré des derniers résultats. Une règle de score propre évalue les probabilités sur une série, plutôt que de récompenser un changement décidé en réaction à chaque perte.

Distinguer les deux exige un registre complet et horodaté, qui inclut les semaines qu’un éditeur préférerait omettre.

Ce que cela ne vous dit pas

Si la mesure concernant l’horodatage suffit. Elle répond à l’exemple que nous avons défini. Elle ne permet pas d’estimer à quelle fréquence des défaillances similaires se sont produites auparavant, ni à quelle fréquence les paris concernés ont été réglés, par hasard, en faveur de l’éditeur.