O que uma curva de calibração mostra
Um modelo que prevê 70% deve acertar cerca de sete em dez vezes. A curva que verifica isso é o teste mais simples de uma previsão e é fácil de ler.
Nesta página
Considere todos os jogos para os quais um modelo indicou 70% e conte em quantos deles a previsão se confirmou. Se a resposta for cerca de sete em dez, esse número significa o que diz. Se a resposta for cinco em dez, a previsão está mal calibrada nessa faixa. A curva, por si só, não permite determinar se o modelo classificou as equipes na ordem correta; ela mostra que a probabilidade indicada não correspondeu à frequência observada.
Como ler o gráfico
A probabilidade prevista fica no eixo horizontal, a frequência observada no vertical, e um modelo perfeitamente calibrado segue a diagonal. Pontos acima da linha significam que o modelo tem confiança de menos: resultados aos quais atribuiu 40% acontecem metade das vezes. Pontos abaixo significam que ele tem confiança demais. A distância até a linha deve ser lida junto com o número de previsões naquela faixa e a incerteza amostral dessas previsões.
Por que a calibração, por si só, não basta
Um modelo que responde "a equipe da casa vence 46% das vezes" para todos os jogos da liga pode estar perfeitamente calibrado se as equipes da casa vencerem em 46% dessa amostra. Ainda assim, ele não consegue diferenciar os jogos, porque nunca diz nada sobre um jogo específico. A segunda propriedade de que uma previsão precisa é a nitidez: a disposição para se afastar da taxa de referência quando há motivo para isso.
Calibração sem nitidez é como um meteorologista que sempre diz "na média". Nitidez sem calibração é como um que sempre diz "com certeza". Ambos são inúteis por razões diferentes, e ambos parecem bons na métrica em que o outro falha.
Onde isso entra no processo
A calibração é verificada no número obtido na análise, porque esse é o único número que o produto publica. Cada análise mantém registros separados do ponto de partida do mercado e do ajuste feito pela pesquisa. Isso importa: se o número publicado estiver mal calibrado, é possível investigar se o problema veio do preço inicial ou da pesquisa, e o propósito de todo o processo é permitir que a responsabilidade seja atribuída a cada etapa separadamente.
O que isso não revela
Uma curva de calibração precisa de observações suficientes em cada faixa de probabilidade. Quando há poucas observações por intervalo, as frequências observadas têm grande incerteza amostral, e escolhas arbitrárias dos intervalos podem criar oscilações aparentes. A curva também não diz nada sobre se o modelo supera o mercado, que é uma pergunta diferente e mais difícil.
Perguntas frequentes
O que é uma curva de calibração?
É um gráfico que compara a probabilidade prevista com a frequência observada. Agrupe todas as previsões de 70%, conte com que frequência esses eventos ocorreram e marque o par no gráfico. Um modelo perfeitamente calibrado fica sobre a diagonal.
Uma boa calibração significa que um modelo é útil?
Por si só, não. Um modelo que prevê a taxa de ocorrência observada para todos os jogos pode estar calibrado no conjunto, mesmo sem conseguir distinguir um jogo de outro.
Qual é a diferença entre calibração e acurácia?
A calibração verifica se as probabilidades informadas correspondem às frequências observadas. A acurácia de classificação verifica se as categorias atribuídas a partir de um limiar estavam corretas, enquanto a nitidez ou a resolução verifica se as previsões distinguem os casos. São propriedades distintas.