Notas Metodológicas sobre “El Sesgo pro-Alianza de la Adimark”

Las siguientes notas metodológicas son sobre el artículo “El Sesgo pro-Alianza de la Adimark”.
  1. ¿Tienes algo personal contra Adimark? No, no tengo nada personal contra Adimark. Solo llama la atención que al comparar los índices de aprobación presidencial de Agosto de 2012, Adimark se aleja significativamente de la CEP y la UDP. Es el outlier (el odd one out). En estos casos el cánon estadístico es (1) eliminar la observación de Adimark, o (2) indagar por qué es un outlier. Lo primero equivale a condenar sin dar un juicio justo. Yo hago lo segundo. Esto le da una oportunidad a Adimark de demostrar, con evidencia, que no tiene un sesgo, y que son CEP y UDP los outliers.
  2. ¿Pero desde el comienzo dudas de Adimark? Eso es irrelevante. Desde el comienzo del artículo sugiero que “Adimark es inocente hasta ser encontrado culpable”. En términos metodológicos esto significa que el artículo está estructurado de la misma forma que un paper académico, donde se acepta la hipótesis nula (existe un sesgo pro-Alianza de Adimark) por defecto si no se puede comprobar la hipótesis alternativa (sí existe un sesgo pro-Alianza de Adimark) con evidencia.
  3. ¿Por qué comparar a Adimark con la CEP y no con otra encuestadora? El artículo está, en gran medida, basado en el hecho que la encuestadora CEP representa un indicador fidedigno de la realidad, por lo cual cualquier desviación de Adimark representaría un sesgo. Además de los argumentos explícitos en el texto, es importante considerar que la CEP es un buen proxy porque (1) es de las pocas encuestadoras que liberan su base de datos (junto a la UDP), y (2) porque tiene encuestas multi-anuales estables desde desde 2006 (año en que comenzó a operar Adimark).
  4. ¿Por qué no comparar a Adimark con UDP o CERC? CERC y UDP son buenas encuestadoras, según el ranking de encuestadoras de tresquintos  (para ver, pinchar aquí). Pero por un lado, la UDP solo tiene 1 encuesta anual, lo que reduce la capacidad comparativa. Y por otro lado, la CERC aun no libera sus datos de forma pública, lo que podría generar duda en algunos lectores. En todo caso, la correlación entre las encuestas de CERC y CEP, desde 1990, es alta (R²=0.999), lo cual indica que ambas encuestadoras obtienen resultados significativamente similares, a pesar del escenario de sondeo. (Disclosure: el director de la encuestadora CERC me dio acceso a todas sus encuestas desde 1990, los cuales he revisado sin encontrar irregularidades).
  5. Dices que el sesgo pro-Alianza de Adimark se puede deber a un “sesgo de fábrica”. Sí, el sesgo de fábrica es inherente a la metodología de cada encuestadora. Es parte del error que no esta contemplado en el margen de error (o lo que yo denomino el error-no-forzado). Entre los típicos sesgos de fábrica: Sin respuesta (las características de aquellos quienes aceptan ser encuestados pueden ser marcadamente distintas a las de aquellos que se niegan a ser encuestados); Respuesta parcializada (las respuestas dadas por los encuestados no reflejan sus verdaderas creencias); Redacción de preguntas (la redacción de preguntas, el orden en las cuales estas son preguntadas y el patrón en el que las respuestas alternativas son ofrecidas, puede influir en los resultados); Errores provocados por los grupos que son objeto de estudio (encuestas telefónicas tienen un margen de error inherente puesto que no todos tienen teléfono fijo).
  6. Si tuvieras que sugerir el “sesgo de fábrica” de Adimark, ¿cuál sería y por qué? Diría que hay un problema importante en hacer encuestas por teléfono. En Chile no todos tienen líneas fijas, lo cual naturalmente implica que solo algunos pueden contestar. Aquí es importante identificar las características de quienes tienen teléfonos fijos (el universo de gente “encuestable”). En este caso son hogares sedentarios, típicamente de clase media o alta; no domicilios volátiles, típicamente de clase baja. Casualmente, Piñera tiene mayor aprobación en la clase alta y media-alta que en la clase media-baja y baja, lo cual significaría un sesgo a su favor. Las encuestas presenciales de CEP, CERC y UDP, en cambio, no tienen este sesgo.
  7. Suponiendo que la mayor parte del sesgo pro-Alianza es explicado por el “sesgo de fábrica”, entonces ¿por qué en el gobierno de Bachelet no se sobre-estimaron también los índices de aprobación presidencial? Si Adimark cambió su metodología en 2010, es simple explicar el sesgo (y es lo que se infiere del artículo). Si Adimark no cambió su metodología en 2010, es difícil explicar el sesgo. Ahora bien, debemos suponer que si efectivamente cambió su metodología tampoco lo sabríamos. Hasta el momento gran parte de lo que pasa en Adimark, queda en Adimark. Esto, finalmente, es lo que levanta sospechas. No poder acceder a cosas tan simple como sus ponderadores, y mucho menos a sus datos, es lo que causa que los escépticos sean aun más escépticos.

2 Respuestas a “Notas Metodológicas sobre “El Sesgo pro-Alianza de la Adimark”

  1. Pingback: El Sesgo pro-Alianza de Adimark | tresquintos

  2. Pingback: El Sesgo pro-Alianza de la Adimark | tresquintos

Deja un comentario