Uma semana ruim: o que os resultados podem ou não mostrar
Uma auditoria de nove análises separa a variação normal dos resultados de uma falha no processo, sem tratar uma semana ruim como prova.
Nesta página
Considere uma amostra ilustrativa de nove análises, com sete perdas. Esses números são ilustrativos, não representam o histórico real de desempenho do BAI8. Sem a probabilidade atribuída a cada evento, não é possível dizer com honestidade quão surpreendente é essa sequência. Ela basta para mostrar por que os resultados e o processo devem ser auditados separadamente.
Oito das nove estavam corretas
Por corretas, queremos dizer que o raciocínio se sustenta ao ser relido, as fontes são reais, e o número seria o mesmo se fosse reproduzido apenas com as informações disponíveis naquele momento. Sete dessas oito resultam em perdas. Isso é compatível com o que a variância faz e não há nada específico a corrigir apenas com base nos resultados.
Suponha que seis das oito sejam aceitas a um preço melhor do que o preço de fechamento do mercado. Isso acrescenta uma comparação de preços à revisão, mas ainda não torna nove observações suficientes para validar um método.
Uma não estava correta
No exemplo, uma escalação é publicada duas horas antes do início do jogo e depois alterada. A pesquisa lê a primeira versão. Nenhuma etapa posterior verifica o horário da publicação, então uma análise é construída com base em uma escalação que já foi substituída. Esse é um erro comprovável nos dados de entrada, e não uma inferência a partir do resultado.
Essa falha no processo tem uma resposta que pode ser testada: registrar o horário de publicação de cada afirmação e buscá-la novamente quando a mesma fonte publicar uma atualização mais recente. A correção não fica comprovada apenas por ser descrita; ela precisa de testes controlados e auditorias posteriores.
Por que essa distinção é o ponto central
Se semanas ruins e falhas no processo forem tratadas da mesma forma, toda semana ruim provoca uma mudança e o método passa a seguir o que os últimos resultados sugeriram. Uma regra de pontuação própria avalia as probabilidades ao longo de uma série, em vez de premiar uma mudança reativa após cada perda.
Separar as duas coisas exige um registro completo, com data e hora, que inclua as semanas que quem publica preferiria omitir.
O que isso não permite concluir
Se a resposta baseada no horário de publicação é suficiente. Ela trata do exemplo que definimos. Não estima com que frequência falhas semelhantes ocorreram antes, nem com que frequência as apostas afetadas por elas foram resolvidas, por acaso, a favor de quem publica.
Perguntas frequentes
Este é um relatório do desempenho real do BAI8?
Não. É um exemplo prático de como revisar uma semana ruim sem confundir os resultados com a qualidade do processo.
Sete derrotas em nove provam que as análises têm falhas?
Não. A probabilidade dessa sequência depende da probabilidade atribuída a cada evento, e nove observações são poucas demais para avaliar um método apenas pela taxa de acerto.
Qual erro de processo o exemplo usa?
Uma escalação desatualizada. O exemplo supõe que uma etapa da pesquisa tenha usado uma escalação publicada antes de uma mudança de última hora e que nenhuma etapa posterior tenha verificado a data e a hora da publicação.