Usted está aquí: Home >> otros temas >> Encuestas de opinión ¿política o ciencia?

Cumplen las encuestas de opinión todo lo que prometen?

Encuestas de opinión ¿política o ciencia?
(12/09/2009)

Este artículo intenta aportar un método para dilucidar si las encuestas de opinión que se divulgan
por los medios corresponden al análisis estadístico de un universo de datos basado en un
método científico o son una forma de opinar sobre la realidad política en base a cuadros y gráficas.

Por Daniel Mordecki

Objetivo

El objetivo de este artículo es analizar la validez de las encuestas de opinión que se difunden en Uruguay.

No hay demasiadas opiniones divergentes sobre la afirmación de que las encuestas de opinión lejos de ser inocuas, inciden en la propia política que intentan mirar "desde afuera". Por ello es relevante analizar si realmente tienen la precisión que prometen y sobre todo, si los datos son tan ciertos y precisos como los analistas de encuestas pretenden que son en sus análisis.

Metodología

La metodología se basa en la comparación de los resultados de la última serie de encuestas previas a las elecciones internas del 28 de junio de 2009 con los resultados reales que dichas elecciones arrojaron. Esta enfoque tiene la ventaja de que no requiere conocer la metodología con que se realiza cada encuesta, sino que busca determinar la validez de los pronósticos.

Este artículo es la continuación de 2 artículos anteriores, que aplican la misma metodología sobre las encuestas previas a las elecciones internas 2004 y a las elecciones nacionales 2005.

Hemos recibido varias críticas al respecto de si las encuestas de opinión son o no "pronósticos". Quienes emitieron las críticas sostienen que no se trata de un pronóstico, sino de una foto del momento en que se realizan. La respuesta hay que buscarla en la prensa escrita, radial y televisiva, que así las presentan cuando las difunden: "¿Y este escenario va a cambiar de aquí a octubre?" pregunta el periodista al encuestador ... Desde este punto de vista, pasa a ser irrelevante si fueron o no concebidas como pronósticos, dado que las empresas encuestadoras no parecen molestarse cuando los informativos y programas que los contratan las presentan de este modo.

Dejamos fuera del análisis todos los candidatos del partido colorado, con excepción de Bordaberry, el Partido Independiente y Asamblea Popular. En estos casos, dado el pequeño porcentaje de voluntades que captan, son múltiples las causas por las cuales las encuestas tienen márgenes de error muy grandes. Pensamos que lo mismo deberían hacer las encuestadoras, no presentando datos para los candidatos que no tienen 5 o 6 puntos del total de la muestra. Justo es decir que no todas las encuestadoras presentan datos para estos partidos.

Los datos

El cuadro muestra el último pronóstico de cada empresa encuestadora previo a la elección y el resultado final emitido por la Corte Electoral.

Los cálculos

Para realizar el análisis se hace variar el margen de error y para cada uno de los valores se calculan cuántos pronósticos son acertados y cuántos no lo son.

El procedimiento es el siguiente:

• Se fija un margen de error en porcentaje
• Para cada encuestadora y candidato, se calcula el valor absoluto del error y a partir de él los valores
• Borde Inferior = pronóstico -  VA error
• Borde Superior = pronóstico + VA error
• Si el pronóstico está dentro del rango [Borde Inferior | Borde Superior] se cuenta un acierto. De lo contrario se cuenta un fallo.

Para comprenderlo mejor veamos un ejemplo: Interconsult dio en su última encuesta un 55% de intención de voto a Mujica dentro del Frente Amplio, que terminó obteniendo 52.02% de los votos. Los cálculos en este caso arrojarían los siguientes valores:

Resultado

Para todas las encuestadoras y todos los candidatos se realizaron uno a uno los cálculos correspondientes a los 30 pronósticos, con porcentajes de error desde 3% hasta 15%. A continuación se muestra el cuadro de resumen de los resultados obtenidos:

Conclusiones

En primer lugar, la comparación con los análisis anteriores muestran que con un 3% de margen de error, la precisión ha caído sensiblemente: de 18% en las internas 2004 y 20% en las elecciones 2005 a un 10% en esta instancia. Por otra parte, en el otro extremo de la tabla con un 15% de margen de error en 2004 y 2005 se alcanzaba un 65% de aciertos y este valor ahora asciende a 80%. Esto parece reforzar la idea de que las encuestas de opinión reflejan apenas un panorama borroso de la realidad, y que sus valores están apoyados en márgenes de error muy importantes, por los que los datos varían fuertemente en cada instancia. Queda pendiente una vez más la pregunta de cómo hacen las encuestadoras para presentar mes a mes datos que tienen pequeñísimas variaciones si los pronósticos en los que se basan tienen márgenes de error tan significativos

Por otra parte, estos datos y cálculos muestra otra vez, como en los análisis anteriores, que los pronósticos que las empresas encuestadoras dan a conocer en los diarios, la radio y la televisión están muy lejos de tener el valor y la precisión que los analistas políticos que las divulgan quieren hacer parecer que tienen. Por ejemplo, las conclusiones a las que arriban a partir del cambio de uno o dos por ciento en la intención de voto de un partido son sólo una opinión sin sustento estadístico.

En 2004 el artículo decía:

"La industria de las encuestas, propone un mensaje pseudo-científico, que intenta mostrar un panorama muy distinto al que arrojan los datos. Independientemente de la encuestadora, el medio que difunde los datos, el candidato que festeja y el que dice que la encuesta está arreglada, los distintos voceros de las empresas analizan la realidad como si su herramienta de medición tuviera la precisión de un rayo láser, cuando tienen entre sus manos apenas un trabuco naranjero."

Reafirmamos en un 100% esta afirmación.

Hacia una Ley de Encuestas

Se publicó en la prensa la intención de algunos legisladores de regular el funcionamiento de las empresas encuestadoras y la difusión de encuestas. Saludamos esta iniciativa.

Sin intención de abarcar la totalidad del tema de regulación, nos parece que sería importante que esta ley incluyera los siguientes elementos:

• Registro de que se comenzó una encuesta. Las empresas encuestadoras deben anunciar a un órgano oficial que comenzaron a realizar una encuesta con el fin de difundirla en los medios. A partir de ello se deben dar dos condiciones:
• Todas las encuestas que se comienzan deben obligatoriamente ser publicadas, independientemente de su resultado.
• Está prohibido difundir encuestas de las que no se registró el comienzo
   
• Publicación de los datos sin procesar. Junto con la difusión de una encuesta la empresa deberá publicar en su sitio Web todos los datos "en crudo", formulario por formulario y encuestado por encuestado, de modo que cualquier ciudadano pueda realizar sus propios cálculos a partir de la información relevada. Esta publicación deberá incluir explícitamente la información de cuántas personas NO contestaron la encuesta.
   
• Indicar otras fuentes de datos. Las encuestadoras deberán indicar si los porcentajes de intención de voto surgen exclusivamente de los datos relevados o si se tomaron otros datos para realizar cálculos o ponderaciones, como por ejemplo datos del censo, encuestas anteriores, etc.

Estas consideraciones se aplican exclusivamente a las encuestas que tienen como fin ser divulgadas en los medios. Se excluyen explícitamente las encuestas que las empresas realizan por encargo de empresas, organizaciones o individuos y que tienen como fin exclusivo la difusión en ese entorno restringido.

Fuentes

• Equipos: Artíuclo sobre la última encuesta de Equipos publicada en El País Digital (pdf 186Kb)
• Factum: Intención de voto hacia el 28 de junio, tomado de su página Web (pdf 99Kb)
• Interconsult: Encuesta de opinión pública, tomado de su página Web (pdf 152Kb)
• Cifra: El voto en las elecciones internas el domingo 28 tomado de su sitio Web (pdf 129Kb)
• Radar: Encuesta nacional de Grupo RADAR sobre intención de voto, tomado de su página Web (pdf 212Kb)
• Resumen de los resultados: Elecciones Internas de Uruguay de 2009, tomado de Wikipedia (pdf 338 Kb)

esta muii buena la info!!
biie

Estoy de acuerdo con la vision de que hay una linea fina entre cuanto las encuestas miden y cuanto las encuestas influyen.

Esto no es misterio, es sabido que el proceso de medición siempre afecta lo medido. Lo importante es valorar este fenomeno.

Independiente de la validez conceptual del artículo (no tengo aun opinión seria formada al respecto),celebro que en este país se trate el tema con ese nivel.

Comentarios de los artículos anteriores

Patetico lo suyo señor. En el articulo comete un monton de atropellos hacia las empresas y las compara sin tomar en cuenta un monton de cosas.
Ud. habla de "pronosticos" y no siempre fueron pronosticos sino estados de situación.
Ademas comete una burrada enorme. El margen de error estadístico no es el mismo para todos los porcentajes. El margen máximo estadistico se maneja para el total de la muestra y para un PxQ =0,50. Cuando el PxQ=0,2 el margen de error es menor.

Muchas gracias por el estudio. Era algo muy necesario para la sociedad. Al fin entendemos -aun que sea someramente- "el misterio de las Encuestas"

Agradecería se me proporcionara información sobre en qué consiste y cómo actúa la "Desviación Standard".
Gracias y felicitaciones por el trabajo.

Hola: No se si lo consideran o no , pero no emqueda calro finalmente cual seria el % error muestral optimo para las encuestas. 12% un maximo o el optimo 3% - 6%, para hacer valida la encuesta

me parece muy interesante el articulo expuesto en esta pagina... mi recomendacion es que...

El articulo me pareció excelente

Solicito esta informacion (I y II) para un trabajo de investigación con las encuestadoras de Perú. Gracias

solicito esta informaciòn para un trabajo de la Universdad.

no me gustó la página, ya que no encontré nada que me ayudara en mi trabajo a realizar

Envíe este artículo a un amigo por Email

Los datos que usted indique serán utilizados exclusivamente para enviar un link de este artículo al email destino. Nuestra Política de Privacidad es simple: no enviamos SPAM. Jamás.