Algo no calza al comparar las encuestas de Adimark y el CEP que conocimos esta semana. La primera da un 21% de las preferencias para Guillier; la segunda, solo un 13%. La primera indica una aprobación del gobierno de un 31%; la segunda, de solo un 18%. Las diferencias anteriores son demasiado grandes si se considera que las dos encuestas reportan un margen de error de un 3%.

La fórmula que se utiliza para calcular el margen de error de una encuesta supone que todos responden cuando son contactados, es decir, y en jerga de encuestólogo, que la tasa de respuesta es del 100%. Pero tal como lo ilustra el diálogo que sigue entre Jon Stewart y el decano de los encuestadores de los Estados Unidos, John Zogby, poco antes de la elección presidencial de 2004, donde Bush venció a Kerry, la tasa de respuesta, al menos para las encuestas telefónicas, no llega siquiera al 50%:

Stewart: "¿Supongo que están encuestando mientras hablamos, dada la cercanía de la elección?".

Zogby: "Cierto. ¿Por qué no estás en tu casa, donde mi gente está tratando de llamarte en este momento?".

Stewart: [Sonríe, se queda pensando, continúa] "Cuando dicen que el número de entrevistados fue de, digamos, 1.300, ¿a cuántas personas tuvieron que llamar?".

Zogby: "Ufff, me imagino que necesitamos alrededor de 10 mil números telefónicos".

Stewart: "¿En serio?".

Zogby: "Sí, de veras. Mucha gente no está en su casa y alrededor de dos de cada tres se niega a responder hoy en día".

Stewart: "Entonces, ¿por qué el margen de error no es del 70%?".

Zogby: "¿Por qué me preguntas esto?" [Lo que sigue en voz baja, pero claramente audible] "Dijiste que no me ibas a preguntar esto".

Stewart: "Tienes razón, no te lo voy a preguntar. Dime entonces quién crees que va a ganar [la elección presidencial de la próxima semana]".

Zogby: "Kerry".

En general, la tasa de respuesta en las encuestas telefónicas es muy baja, típicamente no llega al 30% y a veces ni siquiera al 10%. Si la mayoría de los encuestados optó por no responder cuando fueron contactados, ¿qué valor tiene la respuesta de quienes sí respondieron? O dicho de otra forma, ¿qué asegura que los que respondieron piensan igual a quienes guardaron silencio? La verdad es que requiere de un optimismo casi irresponsable suponer que quienes responden representan preferencias similares a aquellos de quienes no lo hicieron. Y sin ese supuesto, el margen de error probablemente crece tanto que la mayoría de las encuestas sirve de poco.

La tasa de respuesta en la encuesta CEP publicada el viernes de esta semana fue de un 79%, una tasa mucho más alta que las mencionadas anteriormente, porque no se trata de una encuesta telefónica, sino presencial, y porque no se reemplaza a quienes no se puede contactar, sino que se regresa varias veces a los hogares respectivos. A diferencia de la CEP, la encuesta Adimark no publica la tasa de respuesta, la cual, al tratarse de una encuesta telefónica, presumiblemente sea muy inferior a aquella del CEP.

Tasas de respuesta muy por debajo del 100% son un motivo para no creerles a los márgenes de error que reportan las encuestas. Un segundo motivo para tener un sano escepticismo es que es bien difícil saber quiénes de los encuestados irán a votar y quiénes no. Y como las preferencias de quienes votan y quienes no votan pueden ser bien distintas, si se calculara el margen de error correctamente -tarea nada de fácil-es probable que este sería varias veces el 3% reportado.

Un estudio hecho hace casi dos décadas encontró algún tipo de regulación para encuestas electorales en 30 de los 78 países considerados. Es probable que los países con regulaciones hayan aumentado desde entonces. Una exigencia mínima sería reportar la tasa de respuesta y señalar que los supuestos bajo los cuales se calculan los márgenes de error no se cumplen ni remotamente. Podrían considerarse exigencias adicionales, como auditorías externas que detecten errores en el manejo de la información y requerimientos de transparencia respecto de clientes de las empresas encuestadoras que podrían significar conflictos de intereses.

Mientras tanto, seguiremos atentos cada domingo a lo que diga una tercera encuesta política, la Cadem, a pesar de que esta tampoco publica la tasa de respuesta y también es mayoritariamente telefónica. Escucharemos a sesudos analistas explicando fluctuaciones semanales que probablemente no son más que ruido mientras no tenemos cómo detectar posibles errores que subestiman o sobreestiman sistemáticamente las intenciones de votos por candidatos específicos.

Mark Twain atribuyó al primer ministro británico Benjamín Disraeli la frase según la cual hay tres tipos de mentiras: la mentira, la gran mentira y las estadísticas. Luego de lo sucedido con las proyecciones de las elecciones del Brexit, Trump y el plebiscito reciente en Colombia, tal vez se podría incluir una cuarta categoría, aquella de las encuestas electorales.