El mes completo: cómo auditar 41 análisis

Considere un ejemplo de auditoría mensual de cuarenta y un análisis. Veintisiete aciertan, catorce fallan y el mes termina con un saldo positivo. Estas cifras son ilustrativas, no una afirmación sobre los resultados reales de BAI8. La pregunta útil es qué podría demostrar una auditoría completa y qué no.

La cifra que aporta información

En este ejemplo, treinta y dos de los cuarenta y un análisis se llevan a la práctica a un precio mejor que el precio final del mercado. Merece la pena registrar esa comparación, por los motivos expuestos en por qué la línea de cierre es el único marcador honesto: se mide en cada apuesta de inmediato y no depende de si el balón entró o no.

En nueve casos, el precio de cierre es peor. Seis de esos nueve corresponden a partidos en los que la investigación no encuentra nada y el precio calculado se mantiene cerca del precio de mercado del que partió. Ese patrón es un motivo para investigar, pero no demuestra por sí solo que el mercado encontrara después algo que la investigación pasó por alto.

Dos casos en los que el razonamiento falló

Distinguir los errores del proceso de las pérdidas habituales importa porque solo los primeros señalan una parte concreta del método que necesita corregirse.

Supongamos que el primero es un mercado de totales en el que la investigación obtiene una tasa de goles a partir de una serie de partidos contra tres equipos recién ascendidos. Es un problema de muestreo que la revisión debería detectar. La corrección tendría que probarse con datos ajenos a la muestra antes de poder considerarse una mejora.

Supongamos que el segundo es un fallo de investigación del tipo descrito en por qué no se publica ninguna cifra antes de la investigación: tres medios publicaron la misma información sobre una lesión, se contaron como tres fuentes, pero la información procedía de una sola. Eso exige eliminar los duplicados entre las fuentes y después comprobar que el cambio detecta los duplicados sin descartar las confirmaciones independientes.

Cuánto vale un buen mes

Muy poco por sí solo. Los intervalos de confianza binomiales exactos son amplios cuando las muestras son pequeñas. Sin la probabilidad asignada a cada análisis, incluso ese cálculo queda incompleto. Interpretar un mes rentable como una validación sería precisamente el error que este artículo pretende evitar.

Lo que esto no le dice

Si alguna de las dos correcciones propuestas mejora los análisis. Cada una responde al ejemplo que la motivó, lo que supone una afirmación distinta y mucho más débil. La prueba honesta consiste en comprobar si el cambio mejora las puntuaciones de las probabilidades con datos ajenos a la muestra.