la manipulación de la data ¿CÓMO SABER SI UNA ENCUESTA ES CONFIABLE? por Iñaki Sagarzazu

Las encuestas son, salvo las elecciones claro está, los mejores mecanismos para evaluar las tendencias de intención de voto. Sin embargo, en realidad las encuestas son una “foto” de un momento particular del comportamiento electoral. Debido a esto es común observar que a medida que se acercan los procesos electorales hay un mayor número de encuestas que predicen el “ganador”. Es común también, dada la variedad de métodos para realizar encuestas, que no todas las encuestas tomen la “foto” igual. Es completamente normal entonces que diferentes encuestas den estimaciones desiguales del momento electoral ya que éstas pueden variar en diferentes aspectos: desde el número de entrevistados, la forma de contactar y seleccionar a los entrevistados (teléfono, entrevistas personales, internet), el lugar de realización de la encuesta, etc.

A pesar de todas estas posibles fuentes de diferenciación, en teoría si dos encuestas son realizadas de formas diferentes pero de forma estadísticamente correcta entonces los resultados deberían ser relativamente cercanos. En algunos casos, sin embargo, si la diferencia entre los candidatos es muy pequeña entonces es posible que dos encuestas den como ganador a diferentes candidatos. Lo que no es normal es que una encuesta A de ganador a un candidato por más de 20 puntos de diferencia y una encuesta B de ganador al oponente, por los mismos 20 puntos. Es decir, es posible que una ‘foto’ tenga tonalidades diferentes al retratar el mismo paisaje, más no es normal cuando dos fotos tomadas en el mismo lugar muestran paisajes completamente diferentes.

A pesar de que esta situación no debería ser estadísticamente posible, sigue ocurriendo que a medida que se acercan los procesos electorales más y más encuestas muestran resultados más y más diversos, El Encuestómetro de la fundación Liderazgo y Visión de Venezuela es una herramienta que nos permite evaluar la calidad de las diferentes encuestas que se hacen públicas. El Encuestómetro utiliza diez variables como requisito para determinar si una encuesta es confiable.

1. Población definida
2. Método de recolección de datos
3. Método de muestreo
4. Ente que paga por la encuesta
5. Datos de la muestra (N, Nivel de Confianza, Error)
6. Ubicación Geográfica
7. Cuestionario
8. Porcentaje de Rechazo
9. Fechas de campo
10. Trayectoria de la Firma

De estas diez variables yo he escogido 7 para realizar un análisis estadístico, pues considero que son las únicas que se pueden evaluar objetivamente. Las otras tres no son consideradas por las siguientes razones: ninguna encuestadora venezolana reporta que ente pagó por la encuesta, tampoco se reporta cuál es el porcentaje de personas que rechazó participar de la encuesta; y por último, en mi opinión, es muy difícil ser objetivo al evaluar la trayectoria de la firma sin parecer parcializado. Así pues el análisis realizado permite no solo evaluar los indicadores sino evaluar también si las encuestadoras añaden sesgos sistemáticos.

Un total de 35 encuestas fueron evaluadas determinando si cumplían o no cada uno de los siete 7 requisitos. Así mismo se tomaron parámetros como el número de entrevistados o la fecha de las elecciones, y finalmente se estimó que tan grande fue la diferencia entre la encuesta y el resultado electoral.

Figura 1

La Figura 1 muestra el promedio del error de las encuestas de cara a cuatro procesos electorales (el referéndum revocatorio, las presidenciales de 2006, el referéndum del 2007 y las elecciones de la Asamblea Nacional del 2010). Como se puede ver las encuestas previas al RR2004 son las que tuvieron en promedio un error más grande, seguidas por las encuestas previas al Referéndum del 2007.

Al realizar el análisis los resultados muestran varias conclusiones interesantes.

  • En promedio, las encuestas que no publican ningún tipo de información y que son de encuestadoras poco conocidas tienen una diferencia de 20 puntos porcentuales entre la predicción y el resultado de la elección.
  • De los siete indicadores solo tres parecieran ser importantes para determinar la confiabilidad de una encuesta. Estos son: 1) que la encuesta reporte el Nivel de Confianza (indicador 5), 2) que se reporten las preguntas específicas, o el cuestionario entero (indicador 7), y 3) que se reporten las fechas de campo.
  • Los indicadores restantes no muestran tener influencia en la desviación sin embargo esto no es indicativo de que no son importantes pero por el contrario puede deberse a que son indicadores altamente reportados.
  • Finalmente, se muestra que todas las casas encuestadoras son diferentes y que cada encuestadora añade o sustrae –sistemáticamente- un sesgo a sus encuestas.
  • Este último resultado es particularmente interesante ya que puede permitir realizar estimaciones para evaluar mejor que tanto difiere una encuesta típica, de una encuestadora específica, con base en los resultados de una elección. En esta oportunidad, dada la poca cantidad de encuestas en la muestra, evitaré evaluar las diferentes encuestadoras pero con mayor disponibilidad de datos se podría establecer un ranking de encuestadoras. Y de esta forma nos permitiría crear un evaluador específico para medir la trayectoria de confiabilidad de la firma –y tal vez sustituirlo por el punto 10.

Figura 2

En conclusión, a pesar de que las encuestas deben representar momentos de la realidad política se da el caso que varias casas encuestadoras muestran estimaciones muy diferentes realizadas en el mismo periodo de tiempo. Este análisis muestra que es posible estimar que tan confiables pueden ser las diferentes encuestas en base a diferentes indicadores y que tan exactas son las diferentes encuestadoras con base en procesos electorales pasados.

Como investigador, y ciudadano venezolano, me parece importante hacer un llamado de atención para que las encuestadoras y los periodistas que las publican amplíen la información que se hace pública con respecto a cada encuesta. La existencia de transparencia en base a la metodología utilizada para realizar la encuesta, el tamaño de la muestra, y las fechas de realización del estudio son factores que permiten evaluar la utilidad y confiabilidad de la encuesta para predecir el evento electoral. También es importante que aquellos que investigamos, trabajamos y reportamos los resultados de encuestas tengamos una mayor comprensión sobre que representan dichos resultados y cuáles son los márgenes de error que pueden presentarse. Este punto es particularmente importante de cara a procesos electorales donde las expectativas, que caracterizan los procesos Venezolanos de la última década, son tan altas.

Iñaki Sagarzazu es Doctor en Ciencias Polticas de la Universidad de Houston (EEUU) e investigador en la Universidad de Oxford. Su blog en http://yvpolis.blogspot.com

Anuncios

Acerca de Alfonso Molina

Alfonso Molina. Venezolano, periodista, publicista y crítico de cine. Fundador de Ideas de Babel. Miembro de Liderazgo y Visión. Ha publicado "2002, el año que vivimos en las calles". Conversaciones con Carlos Ortega (Editorial Libros Marcados, 2013), "Salvador de la Plaza" (Biblioteca Biográfica Venezolana de El Nacional y Bancaribe, 2011), "Cine, democracia y melodrama: el país de Román Chalbaud" (Planeta, 2001) y 'Memoria personal del largometraje venezolano' en "Panorama histórico del cine en Venezuela" (Fundación Cinemateca Nacional, 1998), de varios autores. Ver todo mi perfil
Esta entrada fue publicada en Otras voces, Sociedad y etiquetada , . Guarda el enlace permanente.

Responder

Por favor, inicia sesión con uno de estos métodos para publicar tu comentario:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s