Rendimiento
Cada pronóstico queda sellado antes del pitazo y después se mide contra lo que pasó. Acá están todos, también los que salieron mal.
¿Le ganamos al mercado? ?
El mercado es el juez: las cuotas de cierre, sin el margen de la casa, resumen lo que sabe todo el mundo antes del partido.
Acierto frente al mercado ?
Error promedio de cada fuente (RPS: cuanto más corta la barra, mejor), cada una sobre sus propios partidos: no es una comparación pareada. Las demás fuentes son referencias externas, sin nombre.
Calibración ?
Si decimos 40 %, tiene que pasar cerca de 4 de cada 10 veces. Cada punto junta los pronósticos de un tramo: sobre la diagonal, bien calibrado; arriba, pasó más de lo que decíamos; abajo, menos.
Tramo por tramo
| Decíamos | Pronósticos | Promedio | Pasó |
|---|---|---|---|
| 0–10 % | 2 | 9,0 % | 0,0 % |
| 10–20 % | 10 | 17,3 % | 0,0 % |
| 20–30 % | 43 | 25,8 % | 27,9 % |
| 30–40 % | 29 | 33,8 % | 31,0 % |
| 40–50 % | 18 | 44,5 % | 50,0 % |
| 50–60 % | 8 | 55,1 % | 62,5 % |
| 60–70 % | 2 | 63,1 % | 50,0 % |
| 70–80 % | 2 | 74,4 % | 100,0 % |
Evolución del error acumulado
El error promedio partido a partido, en orden. Al principio salta mucho; con más partidos se va asentando.
Tabla técnica
Para quien quiera el detalle: las tres métricas de cada fuente, cada una sobre todos sus partidos.
Ver RPS, Brier y LogLoss por fuente
| Fuente | Partidos | RPS | Brier | LogLoss |
|---|---|---|---|---|
| DC sin regla | 38 | 0,1765 | 0,5733 | 0,9630 |
| Poisson bivariado | 38 | 0,1770 | 0,5763 | 0,9674 |
| Oficial (Dixon-Coles) | 38 | 0,1774 | 0,5749 | 0,9640 |
| Modelo externo (matriz) | 15 | 0,1885 | 0,6273 | 1,0407 |
| Modelo externo (publicado) | 15 | 0,1888 | 0,6305 | 1,0480 |
| IA externa | 14 | 0,1963 | 0,6309 | 1,0452 |
| Mercado sin margen (Shin, juez) | 29 | 0,1979 | 0,6198 | 1,0320 |
| Mercado, método básico | 29 | 0,1980 | 0,6200 | 1,0326 |
Con menos de ~100 partidos, las diferencias de RPS entre fuentes son en su mayoría ruido. No se ajustan parámetros antes de la revisión del partido 30.
RPS (Ranked Probability Score): error de un pronóstico 1X2 que tiene en cuenta el orden local, empate, visitante; 0 es perfecto. Brier: error cuadrático de las tres probabilidades. LogLoss: castiga fuerte haber dado poca probabilidad a lo que pasó. En las tres, menor es mejor.