Qué muestra una curva de calibración
Un modelo que indica un 70% debería acertar siete de cada diez veces. La curva que lo comprueba es la prueba más sencilla de un pronóstico y se lee fácilmente.
En esta página
Tome todos los partidos para los que un modelo indicó 70% y cuente en cuántos se produjo el resultado previsto. Si la respuesta es aproximadamente siete de cada diez, esa cifra significa lo que dice. Si la respuesta es cinco de cada diez, la predicción está mal calibrada en ese intervalo. La curva por sí sola no permite determinar si el modelo ordenó correctamente a los equipos; muestra que la probabilidad indicada no coincidió con la frecuencia observada.
Cómo leer el gráfico
La probabilidad prevista aparece en el eje horizontal y la frecuencia observada en el vertical. Un modelo perfectamente calibrado sigue la diagonal. Los puntos por encima de la línea indican que el modelo tiene menos confianza de la debida: los resultados a los que asignó un 40% se producen la mitad de las veces. Los puntos por debajo indican un exceso de confianza. La distancia respecto a la línea debe interpretarse junto con el número de predicciones en ese intervalo y la incertidumbre del muestreo.
Por qué la calibración por sí sola no basta
Un modelo que responde «el equipo local gana el 46% de las veces» para todos los partidos de la liga puede estar perfectamente calibrado si los equipos locales ganan el 46% de los partidos de esa muestra. Aun así, no distingue entre partidos porque nunca dice nada sobre un partido concreto. La segunda propiedad que necesita una predicción es la nitidez: la capacidad de alejarse de la frecuencia general cuando hay motivos para hacerlo.
La calibración sin nitidez es como un meteorólogo que siempre dice «lo habitual». La nitidez sin calibración es como uno que siempre dice «seguro». Ambos son inútiles por motivos distintos, y ambos obtienen buenos resultados en la métrica en la que el otro falla.
Dónde encaja esto en el proceso
La calibración se comprueba sobre la cifra resultante del análisis, porque es la única cifra que publica este producto. Cada análisis deja constancia por separado del punto de partida del mercado y del ajuste derivado de la investigación. Esto importa: si la cifra publicada está mal calibrada, se puede examinar si el problema procede del precio de partida o de la investigación, y la razón de ser de todo el proceso es que se pueda atribuir la responsabilidad a cada paso por separado.
Lo que esto no le dice
Una curva de calibración necesita suficientes observaciones en cada intervalo de probabilidad. Cuando hay pocas observaciones por intervalo, la incertidumbre del muestreo es amplia, y una elección arbitraria de los intervalos puede crear oscilaciones aparentes. Tampoco dice nada sobre si el modelo supera al mercado, que es una cuestión distinta y más difícil.
Preguntas frecuentes
¿Qué es una curva de calibración?
Un gráfico que compara la probabilidad prevista con la frecuencia observada. Agrupe todos los pronósticos del 70%, cuente con qué frecuencia ocurrieron esos sucesos y represente ambos valores en el gráfico. Un modelo perfectamente calibrado se sitúa sobre la diagonal.
¿Una buena calibración significa que un modelo es útil?
Por sí sola, no. Un modelo que predice la frecuencia general observada para todos los partidos puede estar calibrado en conjunto sin distinguir entre unos partidos y otros.
¿Qué diferencia hay entre calibración y exactitud?
La calibración comprueba si las probabilidades indicadas coinciden con las frecuencias observadas. La exactitud de clasificación comprueba si las etiquetas asignadas al aplicar un umbral fueron correctas, mientras que la nitidez o la resolución evalúan si los pronósticos distinguen entre casos. Son propiedades distintas.