Le mois complet : comment auditer 41 analyses
Un exemple d’audit de 41 analyses réglées montre pourquoi séparer résultats, prix de clôture et erreurs de méthode avant de tirer des conclusions.
Sur cette page
Prenons un exemple d’audit mensuel portant sur quarante et une analyses. Vingt-sept sont gagnantes, quatorze sont perdantes, et le mois se termine avec un résultat positif. Ces chiffres sont illustratifs, ils ne décrivent pas les résultats réels de BAI8. La question utile est de savoir ce qu’un audit complet pourrait établir et ce qu’il ne pourrait pas établir.
Le chiffre qui apporte une information
Dans cet exemple, trente-deux des quarante et une analyses donnent lieu à un pari pris à un prix plus avantageux que celui du marché à la clôture. Cette comparaison mérite d’être consignée, pour les raisons exposées dans pourquoi le prix de clôture est le seul indicateur honnête : elle est mesurée immédiatement pour chaque pari et ne dépend pas du fait que le ballon soit entré ou non.
Pour les neuf autres, le prix de clôture évolue dans l’autre sens. Six de ces neuf analyses portent sur des matchs où la recherche ne trouve rien et où le chiffre issu de l’analyse reste proche du prix du marché au départ. Ce constat justifie d’enquêter, mais ne prouve pas à lui seul que le marché a ensuite découvert quelque chose qui avait échappé à la recherche.
Deux cas où le raisonnement était erroné
Distinguer les erreurs de méthode des pertes ordinaires est important, car seules les premières permettent de repérer une partie précise de la méthode à corriger.
Supposons que le premier cas concerne un marché sur le total de buts, où la recherche estime une fréquence de buts à partir de matchs disputés contre trois équipes promues. C’est un problème d’échantillonnage que la revue devrait repérer. La correction devrait être testée sur des données hors échantillon avant de pouvoir être considérée comme une amélioration.
Supposons que le second soit un échec de la recherche du type décrit dans pourquoi aucun chiffre n’est publié avant la recherche : trois médias ont repris la même information sur une blessure, ils ont été comptés comme trois sources, alors que l’information provenait d’une seule. Il faut donc éliminer les doublons en remontant aux sources, puis vérifier par un test que ce changement repère les doublons sans écarter les confirmations indépendantes.
Ce que vaut un bon mois
Très peu à lui seul. Les intervalles de confiance binomiaux exacts sont larges lorsque les échantillons sont petits. Sans la probabilité attribuée à chaque analyse, même ce calcul reste incomplet. Voir dans un mois bénéficiaire une validation de la méthode serait précisément l’erreur que cet article cherche à éviter.
Ce que cela ne vous dit pas
Si l’une ou l’autre des corrections proposées améliore les analyses. Chacune répond à l’exemple qui l’a suscitée, ce qui constitue une affirmation différente et bien moins solide. Le test honnête consiste à vérifier si le changement améliore les scores de probabilité sur des données hors échantillon.
Questions fréquentes
S’agit-il du bilan des performances réelles de BAI8 ?
Non. C’est un exemple concret qui montre comment un audit mensuel complet doit distinguer les résultats, les prix et les erreurs de méthode.
Un mois rentable prouve-t-il qu’une méthode fonctionne ?
Non. Un mois représente un petit échantillon. Son taux de réussite peut donc s’écarter largement du taux réel par le seul effet du hasard.
Que faire lorsque le raisonnement était erroné et qu’il ne s’agissait pas de malchance ?
Il faut le consigner séparément. Une perte malgré un raisonnement solide et une perte due à une erreur de méthode sont deux événements différents, qui ne doivent pas être analysés de la même façon.