07 julio 2012

Elecciones presidenciales en México 2012: ¿han fallado las encuestas?


Reflexiones previas
Forma parte de la costumbre. Prácticamente después de cada proceso electoral, un coro de voces se levanta afirmando que las encuestas han fallado. Pocas veces, sin embargo, esas afirmaciones se ven acompañadas de análisis concretos que las respalden. El caso de México en 2012 no es una excepción. Pero, ¿han realmente fallado las encuestas? ¿Todas? ¿En qué medida?

Parte el problema a la hora de interpretar encuestas es no tener muy claro qué son exactamente. Hay una definición muy poco técnica que a mí me gusta mucho: una encuesta es una “foto fija algo borrosa” de una situación determinada. Es una “foto fija” porque mide lo que acontece en un momento muy particular, y sólo en ese momento. Es “algo borrosa” porque no lo refleja con exactitud, sino de forma aproximada.

Hay otro aspecto muy importante relacionado con el anterior: las encuestas hacen diagnósticos, pero no pronósticos ni predicciones: pretender que una encuesta realizada a, pongamos por caso, mediados de mayo prediga los resultados que se darán el 1 de julio es una pura quimera. Sólo puede ofrecer, y de manera aproximada, qué es lo que piensa la ciudadanía a mediados de mayo. Punto. De ahí que sea tan importante hacer series de encuestas, para ser capaces de detectar el movimiento que se produce: ser capaces de convertir las fotos borrosas en películas borrosas. Al menos de esta forma podremos intuir hacia dónde están yendo los tiros…

Así pues, una parte del problema radica en pedirle a las encuestas lo que no pueden, ni pretenden, ofrecer: exactitud total, ligada a predicción. De hecho, lo primero que deberíamos hacer al leer una encuesta es fijarnos en la ficha técnica. Allí nos dirá algo así como que para un nivel de confianza del 95%, el margen de error máximo admitido es del 3%. ¿Qué nos están queriendo decir con esto? Pues sencillamente: que cualquier dato que se ofrezca oscilará, con una probabilidad muy alta entre un ±3%. Si, por ejemplo, el 53% de la población aprueba la gestión de tal político, sabemos que con una probabilidad del 95% lo aprobará entre el 50% y el 56%.

Para zanjar este tema y entrar en materia, preguntaría: si las encuestas siempre fallan, ¿por qué las multinacionales invierten cada año sumas ingentes de dinero en llevarlas a cabo? Por dar un dato del mundo de la política: ¿por qué Obama invirtió 28 millones de dólares en encuestas en su campaña de 2008? Dudo que tanto las multinacionales como el equipo de Obama despilfarren sus recursos tan alegremente…
A pesar de lo dicho, aquí se analizarán las encuestas según su capacidad para haber anticipado los resultados de las elecciones. Por esta razón sólo se han elegido las últimas de cada serie, por su cercanía a la fecha de la votación.

Metodología del análisis
El análisis consistirá, por tanto, en la comparación de los datos de las últimas encuestas publicadas por cada medio o instituto de opinión.

El núcleo del análisis será el examen de las desviaciones entre los porcentajes de voto atribuidos a cada candidato/a en cada encuesta y los resultados reales. Para el cálculo de los resultados reales se han excluido los votos nulos y a otros candidatos no registrados, ya que estos no se incluían en las encuestas, recalculando así los porcentajes de voto reales para favorecer la comparabilidad de los datos.

Análisis de datos
A continuación se recogen los resultados reales de las elecciones y los porcentajes recalculados tal y como se ha comentado. De aquí en adelante, los candidatos se presentan por sus abreviaturas (JVM: Josefina Vázquez Mota; EPN: Enrique Peña Nieto; AMLO: Andrés Manuel López Obrador; en los cuadros, GQT: Gabriel Quadri de la Torre).

Cuadro 1: Resultados de las elecciones presidenciales mexicanas, 2012

JVM
EPN
AMLO
GQT
Candidatos no registrados
Nulos
Total
Nº votos
12.785.307
19.225.173
15.895.931
1.150.522
2.0918
1.241.019
50.318.870
% real
25,41%
38,21%
31,59%
2,29%
0,04%
2,47%
100%
% recalculado
26,1%
39,2%
32,4%
2,3%
-
-
100%

En el Cuadro 2 se presenta un resumen de las últimas encuestas publicadas por cada medio, incluyendo fechas del trabajo de campo, márgenes de error y tamaños muestrales, ordenadas todas ellas por fecha, desde la más próxima a las elecciones hasta la más lejana.

Cuadro 2: Últimas encuestas publicadas por cada medio y resultados electorales
Instituto responsable
Fecha campo
Error
Muestra
EPN
AMLO
JVM
GQT
ELECCIONES MÉXICO 2012
1 de julio
-
-
39,2%
32,4%
26,1%
2,3%
Gea/Isa / Milenio
25 al 27 de junio
3,0%
1.144
46,9%
28,5%
22,4%
2,2%
BGC Ulises Beltrán / Excélsior
22 al 24 de junio
2,9%
1.200
44,0%
28,0%
25,0%
3,0%
Buendía y Laredo / El Universal
22 al 24 de junio
2,2%
2.000
45,0%
27,9%
24,4%
2,7%
Estadística / Grupo Fórmula
22 al 24 de junio
3,0%
1.150
44,2%
26,7%
24,7%
4,2%
Mitofsky Roy Campos  
22 al 24 de junio
3,1%
1.000
44,5%
29,4%
24,1%
2,0%
Grupo Reforma
21 al 24 de junio
2,7%
1.616
41,0%
31,0%
24,0%
4,0%
Covarrubias y Asociados / SDPnoticias
21 al 24 de junio
2,5%
1.500
41,0%
30,0%
26,0%
3,0%
María de las Heras / Uno TV
21 al 24 de junio
2,6%
1.500
40,2%
32,4%
22,9%
4,5%
Paremetría / El Sol de México
18 al 23 de junio
3,1%
1.000
43,9%
28,7%
23,6%
3,8%
Ipsos Bimsa
14 al 19 de junio
3,7%
1.000
41,0%
34,0%
24,0%
1,0%


En cuanto a las fichas técnicas, cabe destacar que prácticamente todos los trabajos de campo fueron finalizados a una semana de las elecciones. Además, los márgenes de error oscilan entre el mínimo del 2,2% que manejó Buendía y Laredo / El Universal y el máximo del 3,7% empleado por Ipsos Bimsa. Esto implica que las muestras fluctuaron entre las 2.000 unidades del primero y las 1.000 del segundo. Como veremos más adelante, las encuestas son un claro ejemplo de que, a partir de un mínimo, no siempre el tamaño es lo que importa…

Con el fin de completar el cuadro anterior, a continuación se incluyen un cuadro y una gráfica que intentan responder a la pregunta ¿en cuánto se han desviado las encuestas en relación con los resultados? En rojo se marcan los porcentajes inferiores al voto real.

Cuadro 3 y Gráfica 1: Desviaciones de las encuestas y los resultados reales
Instituto responsable
EPN
AMLO
JVM
GQT
Ipsos Bimsa
1,8%
1,6%
-2,1%
-1,3%
María de las Heras / Uno TV
1,0%
0,0%
-3,2%
2,2%
Grupo Reforma
1,8%
-1,4%
-2,1%
1,7%
Covarrubias y Asociados / SDPnoticias
1,8%
-2,4%
-0,1%
0,7%
Mitofsky Roy Campos
5,3%
-3,0%
-2,0%
-0,3%
Paremetría / El Sol de México
4,7%
-3,7%
-2,5%
1,5%
BGC Ulises Beltrán / Exclélsior
4,8%
-4,4%
-1,1%
0,7%
Buendía y Laredo / El Universal
5,8%
-4,5%
-1,7%
0,4%
Estadística / Grupo Fórmula
5,0%
-5,7%
-1,4%
1,9%
Gea/Isa / Milenio
7,7%
-3,9%
-3,7%
-0,1%


(pinchar en la imagen para ver más grande)



Lo primero que se puede afirmar es que todas las encuestas pronosticaron correctamente el orden de cada candidato/a. Hay que tener en cuenta que en el inicio de la campaña, JVM aventajaba a AMLO en prácticamente todas las encuestas. Por tanto, todas fueron capaces de detectar este cambio de tendencia y acabaron situando con cierta claridad a AMLO por delante de JVM, tal y como ocurrió finalmente.

Otro dato destacable es, en segundo lugar, que todas las encuestas (menos una) otorgaron a EPN un porcentaje de voto superior al 40%, incluso en el entorno del 45% en varias de ellas, cuando finalmente quedó a 0,9 puntos de tal cifra. Y que todas, salvo una, sobreestimaron su voto real.

En tercer lugar, lo contario ha ocurrido con AMLO: casi todas las encuestas lo situaron en el entorno del 30%, más bien por debajo, cuando en realidad obtuvo un 32,4%. Todas, salvo dos, infravaloraron su voto. Y una pronosticó con absoluta exactitud su porcentaje de voto.

En cuarto lugar, algo similar le ha ocurrido a JVM, cuyos resultados electorales mejoraron (aunque muy ligeramente) los datos de las encuestas: todas le dieron por debajo de sus votos reales.

En quinto lugar, con GQT se da una mezcla de ambas situaciones, si bien, dado el bajo número de sufragios que obtuvo, en general las desviaciones se mantienen dentro de límites más pequeños.

Ante esta realidad, cabe preguntarse si, en general, las encuestas han sido un instrumento más de la contienda electoral o una mera herramienta de diagnóstico de la opinión pública. Dicho de otro modo, si su uso ha sido inocente o instrumental.

En efecto, la percepción de que las encuestas se usan para influir en el voto está bastante extendida en todos los procesos electorales. En mi opinión, este hecho tendría dos importantes problemas.

En primer lugar, no se sabe a ciencia cierta qué efectos puede producir el hecho de manipular los resultados de las encuestas. Por ejemplo, situar a un candidato por encima de sus expectativas reales (como podría parecer que se ha hecho con EPN) puede provocar un efecto de movilización del voto rival, sobre todo si este candidato está en realidad bajando en las encuestas, como sería el caso. Dudo, por tanto, que los estrategas de campaña del PRI hayan intentado persuadir a algunos medios de que aumentaran artificialmente el porcentaje de voto de su candidato porque serían conscientes de que el riesgo cierto sería aumentar el voto a AMLO. En cualquier caso, jugar a aprendices de brujo con los resultados de las encuestas me parece comparable a jugar a la ruleta rusa…

En segundo lugar, me resulta difícil de aceptar que las casas encuestadoras pongan en peligro su prestigio permitiendo que se publiquen datos diferentes a los que proporcionan a sus clientes. Hoy en día, esos resultados permanecen accesibles a todo el mundo en internet y son un recordatorio continuo de éxitos y, sobre todo, fracasos (un fracaso puede sepultar varios éxitos). El prestigio es un bien demasiado preciado, y voluble, como para ponerlo en juego de una forma tan espuria.

Me decanto más por pensar que algunas encuestas no fueron capaces de captar la fuerza con que EPN estaba bajando ni el impulso que AMLO estaba adquiriendo una vez quedó claro que él era la alternativa al PRI y no la candidata del PAN. Y este hecho no empezó a ser notorio hasta finales del mes de mayo. No descarto que hayan detectado el movimiento real desde esta fecha y durante junio, pero entiendo que, de ser el caso, decidieron ser conservadoras en sus estimaciones y no lanzarse a publicar un cambio de tendencia tan claro, distanciándose así, además, del grueso del resto de encuestas. A veces, el miedo a equivocarte es el camino más recto hacia la equivocación.

En cualquier caso, dicho todo esto, ¿se han equivocado tanto las encuestas? En el Cuadro 4 se presentan las desviaciones medias de cada encuesta con relación a los resultados reales. En cierto modo, pues, se trata de un ranking de quién pronosticó mejor los resultados. Se incluye una segunda columna en la que se excluye el voto de GQT ya que, al tener una intención de voto tan baja y por tanto ser más sencillo equivocarse menos, podría distorsionar algo el grado de acierto de las encuestas. En verde se marcan las desviaciones medias inferiores al margen de error y en rojo las superiores.

Cuadro 4: Desviaciones medias entre las encuestas y los resultados y márgenes de error.

Nº de
ranking

Instituto responsable
MARGEN DE ERROR
DIFERENCIAS MEDIAS
DIF. MEDIAS SIN GQT
1
Covarrubias y Asociados / SDPnoticias
2,5%
1,3%
1,4%
2
María de las Heras / Uno TV
2,6%
1,6%
1,4%
3
Ipsos Bimsa
3,7%
1,7%
1,8%
4
Grupo Reforma
2,7%
1,8%
1,8%
5
Mitofsky Roy Campos
3,1%
2,7%
3,4%
6
BGC Ulises Beltrán / Exclélsior
2,9%
2,8%
3,4%
7
Buendía y Laredo / El Universal
2,5%
3,1%
4,0%
8
Paremetría / El Sol de México
3,1%
3,1%
3,6%
9
Estadística / Grupo Fórmula
3,0%
3,5%
4,0%
10
Gea/Isa / Milenio
3,0%
3,9%
5,1%


Como se puede apreciar, seis de diez encuestas tienen diferencias medias inferiores a sus márgenes de error, cuatro de diez si se excluye a GQT del cómputo. Además, cuatro encuestas en ambos casos tienen diferencias medias inferiores al 2%.

¿Es esto haber fallado tanto? ¿Ser capaces de pronosticar los resultados equivocándote de media menos de un 2% justifica la afirmación genérica de que “las encuestas han fallado” y las casas encuestadores mexicanas deben revisar en profundidad sus planteamientos metodológicos?

Me parece exagerado, máxime si tenemos en cuenta la realidad mexicana. Un país de casi dos millones de kilómetros cuadrados (casi cuatro veces España), con un censo cercano a los 80 millones de personas, 32 entidades federativas, enorme heterogeneidad social, cultural y política tanto de norte a sur como en el interior de muchos estados, dispersión poblacional y en el que sólo el 43% de los hogares poseen telefonía fija, lo que obliga a realizar encuestación presencial en viviendas.

Cuando las voces críticas se levantan para descalificar los pronósticos, a mí personalmente me parece un pequeño prodigio que, con muestras de 1.500 personas, haya encuestas que se hayan equivocado de media en un 1,3% (Covarrubias y Asociados) o que María de las Heras haya dado a AMLO exactamente el voto que obtuvo y a EPN sólo un punto más del que finalmente consiguió.

Me gustaría, pues, para finalizar felicitar particularmente a Covarrubias y Asociados / SDPnoticias, María de las Heras / Uno TV, Ipsos Bimsa y al Departamento de Opinión Pública del Grupo Reforma por haber situados sus pronósticos tan cerca de los resultados finales.

No hay comentarios:

Publicar un comentario

La victoria de Pedro Sánchez en las primarias: cuatro lecciones para la estrategia política

El largo proceso interno que ha vivido el PSOE durante este último año, desde las elecciones generales de junio de 2016 hasta la clara vict...