El Sesgo pro-Alianza de la Adimark

Publicado en El Mostrador

En Agosto de 2012 tres de las encuestadoras más importantes del país hicieron su trabajo de campo: Adimark, CEP y UDP. Cuando se publicaron sus respectivas encuestas, la diferencia en los resultados de las preguntas políticas fueron significativamente diferentes. En la pregunta sobre popularidad presidencial, Adimark reportó un 36% de aprobación, la CEP reportó un 27% de aprobación, y la UDP reportó un 29% de aprobación. A simple es evidente que Adimark es la que obtiene el resultado diferente. Al mirar esta diferencia en encuestas anteriores surge una tendencia: Adimark tiende a sobre-estimar resultados a favor de la Alianza. La pregunta que surge, entonces, es si el sesgo pro-Alianza de Adimark es intencional.

No es la primera vez que alguien advierte que Adimark tiene un sesgo pro-Alianza. Pero hasta el momento nadie ha presentado evidencia para establecer que así sea. Por eso, en está columna voy a intentar responder si el sesgo es intencional. Para hacerlo de forma rigurosa, parto de la base que “Adimark es inocente hasta ser encontrado culpable”. Si realmente tiene un sesgo pro-Alianza, hay que demostrar que tiene una probabilidad significativamente más alta de favorecer a la Alianza que la que tienen otras encuestadoras. Ergo, es un tema comparativo. Lo ideal sería comparar las encuestas de Adimark con la realidad. Pero como no existe un índice de aprobación real, solo podemos usar proxies. En este sentido el mejor proxy es la encuestadora CEP.

Hay dos buenas razones para usar a la CEP como proxy. La primera es que las encuestas de la CEP se diseñan e implementan sin fines de lucro por un grupo de académicos. Su estructura horizontal aumenta las instancias de fiscalización, lo cual presumiblemente evita un sesgo. Esto es diferente a lo que sucede en Adimark–y otras encuestadoras privadas–que se diseña e implementa con fines de lucro por un grupo de empresarios. Su estructura piramidal naturalmente reduce las instancias de fiscalización, y presumiblemente permiten sesgo. La segunda razón es que la CEP es reconocida como la encuestadora más seria del medio. En el ranking de encuestadoras de tresquintos es asignada un buen puntaje por (1) tener un buen diseño metodológico y (2) tener predicciones acertadas.

Si Adimark no tiene un sesgo pro-Alianza sus encuestas deberían mostrar resultados similares a los resultados de la CEP. Por el contrario, si Adimark sí tiene un sesgo pro-Alianza sus encuestas deberían mostrar resultados que favorecen significativamente más a la Alianza que los resultados de la CEP. Para probar esto, uso el índice de aprobación presidencial, probablemente el indicador más influyente de la encuesta (y por ende si hubiera una intención de sesgo, sería el índice que se buscaría intervenir). Y para aumentar lo robusto de la inferencia, comparo los resultados de esta pregunta entregada por Adimark con los resultados de la misma pregunta entregada por la CEP en dos periodos distintos, durante el gobierno de Bachelet, y luego durante el gobierno de Piñera.

Al mirar índices de aprobación presidencial desde 2006, los resultados de la encuestadora Adimark son similares a los resultados de la encuestadora CEP. Es decir, cuando sube la aprobación presidencial en una encuestadora, sube en la otra, y cuando baja la aprobación presidencial en una encuestadora, baja en la otra. Sin embargo, al mirar los índices de forma más detenida se aprecia que los resultados entre ambas encuestadoras se asimilaron más durante el gobierno de Bachelet que durante el gobierno de Piñera. Es decir, mientras que en el gobierno de Bachelet Adimark y CEP estimaron, en promedio, el mismo índice de aprobación presidencial. En cambio en el gobierno de Piñera Adimark estimó índices significativamente más altos que los de la CEP.

Si Adimark no tuviera un sesgo pro-Alianza, anticiparía que las encuestas del CEP (barras rojas) estarían normalmente distribuidas alrededor de las encuestas de Adimark (línea azul)–algunas arriba y otras abajo. Mientras que esto sucede en 2006-2010, no sucede en 2010-2012. En el segundo periodo, todas las barras rojas caen significativamente más abajo que la línea azul. Esto implica que el comportamiento de las encuestadoras es diferente en ambos gobiernos. Si durante 2006-2010 los resultados se habrían desviado, entonces no sería extraño que se desviarán durante en 2010-2012. Pero dado que la tendencia comienza en 2010, lo razonable es presumir que algo sucedió en 2010 que cambió el comportamiento de la encuestadora.

De lo anterior se infiere que Adimark tiene un sesgo pro-Alianza desde el cambio de gobierno en 2010. La pregunta que sigue, entonces, es de dónde proviene ese sesgo. La respuesta es limitada. Puede provenir de (1) una intervención intencional de quienes manejan la encuesta, o (2) de un evento fortuito–incluso para quienes manejan la encuesta–que se da en alguna etapa entre la recolección de datos y la publicación de la encuesta. Mientras que la intervención intencional se puede observar, el evento fortuito no. Por eso, solo se puede probar directamente lo primero. Si no hay evidencia de intervención intencional, lo residual es que la fuente del sesgo pro-Alianza debe ser por eventos fortuitos.

Presumiendo que la recolección de datos de Adimark es aleatoria, la primera parte que habría que observar es la lectura de datos. También conocido como el proceso de ponderación, es cuando los datos recopilados se traducen a una muestra representativa de la población. Si la encuestadora es metodológicamente responsable, pondera la muestra de sus encuestas de forma proporcional a la población. Por ejemplo, si el 100% de la población esta compuesta por 40% de personas de clase baja, el 100% de la muestra debe representar ese 40%. Si una muestra se desvía de la población, la muestra no es representativa de la población. Ergo, una forma de producir sesgos es intervenir el ponderador para representar una muestra no representativa de la población.

El cuadro de abajo muestra los resultados de aprobación presidencial del mes de Julio para Adimark y CEP. Dado solo la encuesta CEP reporta sus ponderadores, tuve que simular la combinación de ponderadores de Adimark. Para que la aprobación presidencial sea de 36%, Adimark debe sobre-estimar en 6% a la clase alta, sobre-estimar en 1% a la clase media y sub-estimar en 7% la clase baja. Esta distorsión va en la línea del argumento. Es decir, Adimark puede estar modificando su ponderador para distorsionar resultados. El problema es que la magnitud es baja. Si Adimark usará el ponderador de CEP, la aprobación presidencial bajaría solo 1 punto (de 36 a 35). Si CEP usará el ponderador de Adimark, la aprobación presidencial subiría solo 1 punto (de 27 a 28).

Aunque Adimark estuviera manipulando el ponderador, no sería lo que explica en su totalidad el sesgo pro-Alianza. No sería posible incluso si también manipulara el ponderador de edad, educación y otras variables que comúnmente se usan de control. Esta evidencia muestra que debe haber una explicación alternativa para la sobre-estimación de sus resultados. Esto cobra sentido cuando se observa la tendencia en el índice de desaprobación. Durante el gobierno de Piñera, Adimark también sobre-estimó todos los índices de desaprobación. Si se insistiera en probar que el sesgo es intencional hay que presumir que Adimark infla todo sus resultados con la intención de que solo el índice de aprobación tenga un impacto en la agenda. Plausible, pero improbable.

La fuente del sesgo pro-Alianza de Adimark es solo parcialmente atribuible a una ponderación irresponsable de los datos. (Sabemos que la clase socio-económica alta no es 11% de la población, y que la clase socio-económica baja no es 35% de la población). Lo más probable, entonces, es que el sesgo provenga de un evento fortuito en alguna etapa entre la recolección de datos y la publicación de la encuesta. Esto significa que la encuestadora contiene un sesgo de fábrica (lo que yo denomino el error-no-forzado). Por ejemplo, puede ser que la muestra este sesgada (e.g., se catalogue a encuestados D/E como ABC1), o que el método para hacer las entrevistas contengan algún patrón (e.g., hogares con teléfono fijo tienen preferencias significativamente distintas a hogares sin teléfono fijo).

La conclusión es que si bien Adimark sí tiene un sesgo pro-Alianza, no es completamente intencional. El sesgo pro-Alianza (por un margen de alrededor de 5-10% fuera del margen de error!) se debe a algo particular a la metodología de la encuestadora. Si bien tengo algunas ideas de lo que podría ser, es difícil saber sin conocer más detalles de la encuestadora. Lo más probable es que quienes manejan la encuesta lo saben y no han tomado medidas para reducir –mucho menos neutralizar–el error en sus estimaciones. Esto es grave, en el sentido que es probable que no solo los índices de aprobación presidencial contengan error, pero también otros índices que entrega la encuesta. La consecuencia es que las muchos piensen que el gobierno esta mejor evaluado de lo que en verdad está.

Para notas metodológicas sobre este artículo, pinchar aquí.

Una respuesta a “El Sesgo pro-Alianza de la Adimark

  1. Pingback: Notas Metodológicas sobre “El Sesgo pro-Alianza de Adimark” | tresquintos