Encuestas, estadísticas y previsiones… ¡tan precisas!

Viene a cuento ahora que día sí día también aparecen resultados de múltiples encuestas en prensa o televisión, pero lo mismo puede decirse de previsiones de todo tipo tanto macroeconómicas (“el PIB de tal país crecerá o decrecerá tanto el año próximo”), como de empresas (“las ventas previstas para el próximo trimestre…” en las que se basa el presupuesto de resultados, etc.) Todas esas cifras se acostumbran a dar como si fueran seguras, sin referencia a error alguno (que sin embargo siempre existe y que solo aparece, a veces, en un pie de página de la correspondiente ficha técnica, en letra tan pequeña que nadie hace caso).

A continuación vienen ríos de tinta para comparar estos valores con otros parecidos procedentes de otras encuestas o previsiones similares. Por ejemplo en La Vanguardia del 10 de febrero, página 19, se publican los resultados de una encuesta acerca de si los catalanes opinan que Cataluña será independiente en el año 2020. Se dice sin ambages que son (exactamente) el 17,6% y se compara con la cifra obtenida en otra encuesta realizada un año antes, cuyo resultado difería del anterior en unas pocas décimas. Conclusión: “ha crecido tanto”. ¿Así de claro y preciso?

Pues mire, no. Conviene ser serios con esto para no crear confusión. La ficha técnica de esa encuesta (que ni siquiera aparece en La Vanguardia pero sí en el programa “8 al dia” de 8TV del día anterior) nota un error en los resultados de “+/- 2.5%”. Aunque no se entiende muy bien cómo interpretar esta inexactitud, está claro que no puede hablarse de un resultado específico, sino de un intervalo de resultados posibles con cierta probabilidad, de modo que la comparación debería hacerse en términos de intervalos y sus probabilidades, y así resultaría menos concluyente.

De hecho, una consecuencia lógica de los métodos empleados para obtener esos resultados es que, estrictamente hablando, la probabilidad de que el valor que se acostumbra a dar como resultado de una encuesta coincida exactamente con el valor real es exactamente cero. ¿Y nos atrevemos a discutir y comentar la evolución de las opiniones de quien sea en largos y sesudos artículos de prensa? ¡Los métodos empleados no resultan nunca en tal precisión, a no ser que se entreviste digamos a todos los catalanes (de quienes la muestra con que se trabajó nunca puede decirse, estrictamente, que sea completamente representativa).

Sólo pido un poco más de modestia a la hora de informar de los resultados de encuestas de este tipo; se trata simplemente de reconocer que la manera de medir utilizada produce siempre resultados inexactos, informando de su precisión y de las consiguientes implicaciones. Comparar cifras específicas (“puntuales”, se dice ahora) es una mala (aunque extendida) práctica que induce a confusión y lleva a perder el tiempo analizándolas sin tener en cuenta el error asociado.

Por la razón que sea, en esto de la incertidumbre y las probabilidades tendemos a simplificar demasiado. Por ignorancia, por dejadez o para “ponerlo fácil” (sin informar del alcance de la simplificación, sin embargo). Nos gusta más la precisión, aunque sea falsa. Cualquiera de estas razones es inadmisible.

A veces vamos incluso más allá. Cuando en las recientes negociaciones entre la CUP y Junts pel sí para formar gobierno en Cataluña, una de las asambleas de la CUP acabó en empate entre las dos opciones alternativas, los periódicos y las tertulias se llenaron de comentarios acerca de lo poco probable de tal resultado, hasta el punto de insinuar que había habido pucherazo. Bueno, antes que nada habría que haber informado de cómo cada uno calculó dicha probabilidad, y de qué hipótesis partió. Si se supone que la probabilidad de que cada cupaire vote una u otra opción es cercana al 50% (algo aceptable dado además el resultado), y que cada individuo vota independientemente de los demás (algo seguramente implícito en todos los cálculos efectuados), un empate es el resultado más probable de todos (siendo aún muy improbable, cada una de todas las demás lo es más).

O sea, atentos a cómo y bajo qué hipótesis medimos nuestras incertidumbres . No es posible ser riguroso solo con un poco de sentido común y unas cifras que no sabemos cómo y a partir de qué se obtuvieron. Para empezar, por definición, incertidumbre implica imprecisión en el resultado. Y normalmente los procedimientos utilizados se basan en conceptos bien definidos que obligan a introducir la noción de probabilidad.