Cosa mostra una curva di calibrazione
Un modello che indica 70% dovrebbe avere ragione circa sette volte su dieci. La curva che lo verifica è il test più semplice di una previsione, facile da leggere.
In questa pagina
Prenda tutte le partite per cui un modello ha indicato 70% e conti in quante si è verificato l'esito previsto. Se la risposta è circa sette su dieci, quel numero significa ciò che dice. Se la risposta è cinque su dieci, la previsione è mal calibrata in quell'intervallo. La curva da sola non stabilisce se il modello abbia ordinato correttamente le squadre in base alle loro probabilità; mostra che la probabilità dichiarata non corrispondeva alla frequenza osservata.
Come leggere il grafico
La probabilità prevista è sull'asse orizzontale, la frequenza osservata su quello verticale, e un modello perfettamente calibrato segue la diagonale. I punti sopra la linea indicano che il modello è troppo prudente: gli eventi a cui attribuiva 40% si verificano la metà delle volte. I punti sotto la linea indicano che è troppo sicuro. La distanza dalla linea va letta insieme al numero di previsioni in quell'intervallo e alla loro incertezza campionaria.
Perché la sola calibrazione non basta
Un modello che risponde «la squadra di casa vince nel 46% dei casi» per ogni partita del campionato può essere perfettamente calibrato se le squadre di casa vincono nel 46% di quel campione. Resta comunque incapace di distinguere tra le partite, perché non dice mai nulla su una partita specifica. La seconda proprietà necessaria a una previsione è la nettezza: la capacità di allontanarsi dalla frequenza di base quando c'è un motivo per farlo.
La calibrazione senza nettezza è come un meteorologo che dice sempre «nella media». La nettezza senza calibrazione è come uno che dice sempre «certo». Entrambi sono inutili, per ragioni diverse, ed entrambi ottengono buoni risultati sulla metrica in cui l'altro fallisce.
Dove si colloca nel processo
La calibrazione viene verificata sul valore risultante dall'analisi, perché è l'unico valore che questo prodotto pubblica. Ogni analisi conserva separatamente nel registro il punto di partenza del mercato e la correzione apportata dalla ricerca. Questo conta: se il valore pubblicato è mal calibrato, è possibile chiedersi se la causa sia il prezzo iniziale o la ricerca, e il senso dell'intero processo è proprio poter attribuire la responsabilità a ciascun passaggio separatamente.
Cosa non dice questa curva
Una curva di calibrazione richiede un numero sufficiente di osservazioni in ogni intervallo di probabilità. Con poche osservazioni per intervallo, le frequenze osservate hanno un'ampia incertezza campionaria, e una scelta arbitraria degli intervalli può creare oscillazioni apparenti. Inoltre, la curva non dice nulla sulla capacità del modello di fare meglio del mercato, che è una questione diversa e più difficile.
Domande frequenti
Che cos'è una curva di calibrazione?
Un grafico che confronta la probabilità prevista con la frequenza osservata. Si raggruppano tutte le previsioni al 70%, si conta quante volte quegli eventi si sono verificati e si riportano i due valori sul grafico. Un modello perfettamente calibrato si trova sulla diagonale.
Una buona calibrazione significa che un modello è utile?
Da sola, no. Un modello che prevede per ogni partita la frequenza di base osservata può risultare calibrato nel complesso senza distinguere affatto tra le partite.
Qual è la differenza tra calibrazione e accuratezza?
La calibrazione verifica se le probabilità dichiarate corrispondono alle frequenze osservate. L'accuratezza della classificazione verifica se le etichette assegnate applicando una soglia erano corrette, mentre la nitidezza o la risoluzione verifica se le previsioni distinguono i casi. Sono proprietà separate.