Il mese completo: come verificare 41 analisi

Prenda in esame un esempio di verifica mensile su quarantuno analisi. Ventisette risultano vincenti, quattordici perdenti, e il mese si chiude in positivo. Questi dati sono illustrativi, non descrivono i risultati effettivi di BAI8. La domanda utile è che cosa una verifica completa potrebbe accertare e che cosa no.

Il numero che dà informazioni

In questo esempio, trentadue delle quarantuno scommesse vengono effettuate a un prezzo migliore di quello su cui il mercato si assesta alla chiusura. Vale la pena registrare questo confronto, per i motivi illustrati in perché la quota di chiusura è l'unico metro di giudizio onesto: si misura subito su ogni scommessa e non dipende dal fatto che il pallone sia entrato in rete.

Per nove, il prezzo di chiusura va nella direzione opposta. Sei di queste nove riguardano partite in cui la ricerca non trova nulla e il valore stimato resta vicino al prezzo di mercato iniziale. Questo schema è un motivo per approfondire, non è di per sé un'evidenza che il mercato abbia poi trovato qualcosa che la ricerca aveva trascurato.

Due casi in cui il ragionamento era sbagliato

Distinguere gli errori di metodo dalle normali perdite conta, perché solo i primi individuano una parte specifica del metodo da correggere.

Supponiamo che il primo caso riguardi un mercato sul totale dei gol, in cui la ricerca ricava una media di gol segnati dalle partite disputate contro tre squadre neopromosse. È un problema di campionamento che la revisione dovrebbe rilevare. La correzione richiederebbe una verifica su dati esterni al campione prima di poter essere considerata un miglioramento.

Supponiamo che il secondo caso sia un errore nella ricerca del tipo descritto in perché non viene pubblicato alcun numero prima della ricerca: tre testate avevano riportato la stessa notizia su un infortunio, erano state contate come tre fonti, ma la notizia proveniva da una sola. Serve quindi eliminare i duplicati risalendo alle fonti originali, per poi verificare che la modifica individui i duplicati senza scartare le conferme indipendenti.

Quanto vale un buon mese

Molto poco, da solo. Gli intervalli di confidenza binomiali esatti sono ampi quando il campione è piccolo. Senza la probabilità assegnata a ogni analisi, anche quel calcolo è incompleto. Leggere un mese in positivo come una conferma della validità del metodo sarebbe esattamente l'errore che questo articolo vuole evitare.

Che cosa non ci dice tutto questo

Se una delle due correzioni proposte migliori le analisi. Ciascuna risponde all'esempio che l'ha suggerita: un'affermazione diversa e molto più debole. La verifica onesta consiste nello stabilire se la modifica migliora i punteggi che misurano la qualità delle probabilità su dati esterni al campione.