O mês completo: como auditar 41 análises

Considere um exemplo de auditoria mensal de quarenta e uma análises. Vinte e sete ganham, quatorze perdem, e o mês termina com saldo positivo. Esses números são ilustrativos, não uma afirmação sobre os resultados reais do BAI8. A pergunta útil é o que uma auditoria completa poderia demonstrar e o que não poderia.

O número que traz informação

Neste exemplo, o preço obtido em trinta e duas das quarenta e uma é melhor que o preço de fechamento do mercado. Vale registrar essa comparação, pelos motivos apresentados em por que a linha de fechamento é o único placar honesto: ela é medida imediatamente em cada aposta e não depende de a bola ter entrado ou não.

Nove fecham no sentido contrário. Seis dessas nove são jogos em que a pesquisa não encontra nada e o número estimado fica próximo do preço de mercado que serviu de ponto de partida. Esse padrão é motivo para investigar, mas não é evidência, por si só, de que o mercado encontrou depois algo que a pesquisa deixou passar.

Dois casos em que o raciocínio estava errado

Distinguir erros de processo de perdas comuns importa porque só os primeiros identificam uma parte específica do método que precisa de correção.

Suponha que o primeiro seja um mercado de total de gols em que a pesquisa extrai uma taxa de gols de uma análise de jogos contra três equipes recém-promovidas. Esse é um problema de amostragem que a revisão deveria detectar. A correção precisaria passar por um teste fora da amostra antes de poder ser considerada uma melhoria.

Suponha que o segundo seja uma falha de pesquisa do tipo descrito em por que nenhum número é publicado antes da pesquisa: três veículos publicaram a mesma informação sobre uma lesão, ela foi contada como três fontes, mas teve origem em uma só. Isso exige eliminar duplicações entre as fontes e, depois, testar se a mudança detecta informações duplicadas sem descartar confirmações independentes.

Quanto vale um bom mês

Muito pouco por si só. Intervalos de confiança binomiais exatos são amplos quando a amostra é pequena. Sem a probabilidade atribuída a cada análise, até esse cálculo fica incompleto. Interpretar um mês lucrativo como validação seria exatamente o erro que este texto procura evitar.

O que isso não permite concluir

Se alguma das duas correções propostas melhora as análises. Cada uma responde ao exemplo que a motivou, o que é uma afirmação diferente e muito mais fraca. O teste honesto é verificar se a mudança melhora as pontuações das probabilidades fora da amostra.