Archivos de la categoría Encuestadoras y Encuestas

El castigo

Publicado en La Tercera

Los datos de la última encuesta CEP sugieren que existe un rechazo transversal a la clase política, afectando tanto a aquellos que actualmente ocupan cargos de poder, como los que podrían hacerlo en un futuro cercano. La molestia de la gente es especialmente visible en dos áreas de profunda importancia. Por un lado, los datos sugieren que existe un rechazo sostenido a las autoridades y agrupaciones políticas tradicionales, sobre todo a aquellos que forman parte del gobierno y del poder legislativo. Por otro lado, muestra que el rechazo va acompañado de un castigo personalizado, particularmente enfocado en quienes han sido sindicados como candidatos presidenciales.

El 24% de aprobación a Bachelet no solo es simbólico por ser el segundo más bajo en la historia de la encuesta CEP (solo superado por el 22% de aprobación, por la misma presidenta, hace 4 meses), sino que además constituye un marcador natural alegórico de un problema más profundo, que escapa la responsabilidad del individuo como tal. Es improbable que la caída de la presidenta sea enteramente atribuible a ella. Hay un elemento imputable al contexto político e histórico en el cual se encuentra. Además del caso Caval, que sí constituye responsabilidad propia, Bachelet gobierna en un ambiente altamente hostil, donde los políticos están bajo más escrutinio que nunca antes.

Solo 10% de los encuestados aprueba de la labor de Chile Vamos (ex Alianza), y solo 13% aprueba de la labor de la Nueva Mayoría. Similar al récord alcanzado recientemente por la presidenta Bachelet, estos son los índices más bajos que ha visto la clase política desde 1990. Aquí también, es improbable que las coaliciones efectivamente estén haciendo su trabajo peor que antes. Sino que también son víctimas de un contexto, que directamente ayudaron a crear, en que es prácticamente imposible presentarse como una solución al problema. Para muchos, apoyar a una coalición política, en particular una compuesta por partidos tradicionales, es absurdo e irracional.

No pretendo construir una apología a las autoridades elegidas democráticamente que no han estado a la altura del partido, ni a las coaliciones que ayudaron activamente a cavar el hoyo en el cual hoy se encuentran. Pero es inevitable entender que tanto las principales autoridades del gobierno como las principales coaliciones políticas están sofocadas por una manta de culpa que hoy escapa su control. Sin aceptar su responsabilidad, no serán perdonados por la gente. Es clave entender esta premisa, pues implica que sin castigo, no habrá redención. Y, al parecer, la única forma de ser castigado, de forma real y permanente, es en las urnas.

Uno de los factores que le da peso a esa conclusión es la dramática caída de todos los candidatos presidenciales de la centro-izquierda. Por una parte, caen significativamente los candidatos emblemáticos Isabel Allende (-4%), y Ricardo Lagos Escobar (-5%); y por otra parte, cae escandalosamente el candidato del recambio, Marco Enríquez-Ominami (-9%). Sus caídas están directamente asociadas al rechazo de la clase política, de una forma u otra. Mientras que en el caso de los dos primeros es indirecto (la gente rechaza sus aspiraciones de poder), el caso del tercero es directo (la gente rechaza su asociación al financiamiento irregular de su campañas).

Estos datos son preocupantes y lapidarios. Históricamente, el candidato que lidera las encuestas en abril del año anterior a la elección presidencial acaba siendo el abanderado de su sector. A solo cuatro meses de ese hito, no hay un favorito. Con el gobierno de capa caída, y con Allende, Lagos Escobar, y Enríquez-Ominami a la baja, es difícil anticipar un escenario positivo para la centro-izquierda. Si no existe una rearticulación coordinada, desde las altas esferas de poder de la coalición, tanto desde La Moneda como de los grupos de resistencia de las facciones más resistentes a la agenda progresista, no hay forma de eliminar la posibilidad de una debacle electoral en contra.

Entonces, la pregunta es, quién capitaliza sobre la caída de la centro-izquierda. La respuesta está en los mismos índices de la encuesta: Giorgio Jackson. El diputado de Revolución Democrática logró captar una parte importante de las preferencias de quienes anteriormente apoyaron a Allende, Lagos Escobar, o Enríquez-Ominami. No solo representa la renovación de la izquierda, sino que también el sector de políticos honestos, percibido a esta altura como una parte minoritaria. Estas son buenas noticias para el legislador de RD, salvo por el hecho de que no puede optar por avanzar en su carrera, en una candidatura presidencial, o senatorial, hasta cumplir los 35 años de edad.

Si bien Jackson puede utilizar el capital político a su favor, como para presionar al gobierno en el ámbito legislativo, o cimentar su plataforma política para proyectos electorales en el mediano plazo, queda tiempo. Por ahora, se abre un vacío de poder importante en la centro-izquierda, ante el cual, el gobierno debe trabajar con mayor intensidad sobre la agenda política para restaurar la confianza en la gente, mientras que las coaliciones y partidos de centro-izquierda debe encontrar una forma de limpiar la imagen de sus candidatos actuales, o bien comenzar a pensar en levantar a candidatos nuevos, ajenos a los problemas de los actuales.

El desliz del CEP

Publicado en La Tercera

Las encuestas pueden ser buenas o malas. En algunos casos se pueden evaluar en base a su error. El error es la diferencia entre un valor estimado y un valor verdadero. Su cálculo es relativamente sencillo cuando ambos valores están disponibles – tanto el estimado como el verdadero. Por ejemplo, uno puede evaluar a una encuesta al comparar su estimación del porcentaje de votos que recibirá un candidato en una elección y el porcentaje de votos que ese mismo candidato recibe en la elección. Las encuestas buenas son aquellas que tienen menos error – las que se aproximan más al resultado.

Sin embargo, la mayoría de las encuestas no tienen un valor verdadero como punto de comparación. Sobre todo en encuestas que contienen preguntas valóricas. Esas encuestas solo se pueden evaluar en base a su reputación. La reputación de una encuesta depende de su misión y de su metodología. Este cálculo es más complejo que anterior, pero es igual de posible. Por ejemplo, uno puede evaluar una encuesta observando su fuente de financiamiento y sus características metodológicas. Las encuestas buenas son aquellas que prescinden de presión política, y que además no introducen errores en la recolección y el procesamiento de datos.

La combinación de estos dos factores han llevado a la encuesta del Centro de Estudio Públicos (CEP) a ser considerada como una de las mejores en Chile. Tiene menos error y mejor reputación que otras encuestas del país. Por eso causó tanta conmoción académica y política ver que una de las mejores encuestas presentará deficiencias importantes en su metodología. Aunque el grueso de la encuesta no fue objeto de críticas, varios académicos y profesores apuntaron a que algunas preguntas relacionadas con la educación podrían estar significativamente sesgadas a producir resultados en contra de los intereses del gobierno.

Las críticos señalaron varias preguntas. Entre ellas, la siguiente: “¿Cree Ud. que es bueno que los padres puedan complementar el subsidio educacional que otorga el Estado a través de un copago (pagando matrícula y/o colegiatura) para mejorar la educación de sus hijos, o Ud. cree que esto debiera estar prohibido?”. Aquí, la crítica fue que la pregunta era confusa y larga; que concentraba buena parte de lo positivo en la parte inicial. Particularmente sostuvieron que la pregunta favorecía la primera parte (estar a favor del copago) por sobre la segunda parte (estar en contra del copago).

Otra pregunta que generó atención negativa fue “Ud. qué prefiere: ¿Que su hijo/a vaya a una escuela básica, liceo municipal o colegio donde los alumnos tengan un nivel socioeconómico parejo y parecido al suyo o que su hijo/a vaya a una escuela básica, liceo municipal o colegio donde los alumnos tengan niveles socioeconómicos bien distintos?”, que fue criticada por combinar dos preguntas en una. El término “parejo” se puede contraponer al término “parecido” y por ende generar sesgo. Esto se suma al hecho de que personas con menos educación tienden a estar de acuerdo con lo que le preguntan si no la entienden bien.

Este desliz metodológico del CEP sugiere una de dos cosas. Para algunos,sugieren que Beyer y el grupo económico que sostiene al CEP intencionalmente buscaron generar un sesgo para perjudicar al gobierno. Para otros, simplemente sugiere que el CEP inadvertidamente introdujo un error en el cuestionario. Si las preguntas fueron diseñadas de forma intencional o de forma negligente es irrelevante al fin al cabo. Si las preguntas fueron diseñadas de forma deliberada o accidental no es tan importante como constatar el efecto real – y negativo – de que una encuesta del calibre del CEP reproduzca resultados sesgados.

Las respuestas a las preguntas solo pueden servir como un precedente para sostener que la reforma educacional es mala – y no como una medición fidedigna de la opinión de los chilenos. Esto, por cierto, es todo lo contrario a lo deseable. Por eso, parece ser hora de dar un paso importante en cuanto a las atribuciones y libertades que se pueden tomar los encuestadores. Si bien es necesario evaluar la calidad de las encuestas en base a su error y reputación, el desliz del CEP sugiere que no son indicadores suficientes. Para evaluar la calidad de una encuesta de forma eficiente hay que tomar en cuenta su nivel de transparencia.

En países como Colombia y Venezuela es obligación que las encuestas se registren ante una institución fiscalizadora, publicar los datos y transparentar las fuentes de financiamiento. En Chile, lo primero no existe, y las otras dos tareas son opcionales. Si las encuestas tuvieran la obligación de registrarse, de transparentar sus datos y fuentes de financiamiento, subiría significativamente la calidad de sus mediciones.Probablemente bajaría su error y además subirían su reputación. Entre otras cosas, sería más difícil ocultar agendas políticas y más fácil prevenir la manipulación de datos.

Encuestadoras, riesgo e incertidumbre

Publicado en El Mostrador

En la elección municipal de 2012 la mayoría de las encuestadoras proyectaron resultados erróneos (ver aquí). La principal razón fue que usaron la misma metodología que habían usado para las elecciones con voto obligatorio. De hecho, justificaron su mal rendimiento argumentando que fue el cambio al sistema electoral–hacia voto voluntario–lo que perjudicó sus proyecciones. De esa respuesta surge una pregunta, ¿por qué no buscaron modificar su metodología anticipando que el comportamiento electoral bajo voto obligatorio es significativamente distinto al comportamiento electoral bajo voto voluntario?

Una buena manera de plantear una respuesta a esta pregunta es empezar por separar el concepto riesgo del concepto incertidumbre.

Por lo general, se utiliza el concepto riesgo cuando se conoce la probabilidad de error en un pronóstico. Se usa comúnmente en proyecciones económicas, cuando existen rangos verosímiles entre las cuales las actividades varían normalmente. En estos casos los economistas, por ejemplo, estiman el riesgo de que el valor de una determinada acción aumente o disminuya tras una compra. Estos riesgos se calculan aplicando métodos estadísticos tradicionales para resolver la probabilidad de error en las inferencias. Si hay mayor probabilidad de error en las inferencias, el riesgo de compra es más alto.

El concepto incertidumbre, en cambio, se utiliza cuando no se conoce la probabilidad de error en un pronóstico. Se usa cuando no existen antecedentes para determinar los rangos de variación normal de las actividades. Para seguir con el ejemplo de arriba, un caso de incertidumbre sería si la acción que se busca comprar es nueva, y por lo tanto no existe un precedente sobre su posible variación en el mercado tras la compra. En este caso los economistas no pueden calcular el riesgo asociado a la compra de forma tradicional, dado que es probable que las inferencias resulten en falsos positivos.

Los pronósticos para la elección municipal de 2012 son un buen ejemplo para ilustrar la diferencia entre riesgo e incertidumbre. Las encuestadoras estimaron riesgo cuando en realidad debieron haber estimado incertidumbre. Trataron de predecir resultados electorales bajo el nuevo sistema de voto voluntario usando las mismas herramientas que usaron para predecir resultados electorales bajo el viejo sistema de voto obligatorio. Gran equivocación. Si la elección habría contemplado voto obligatorio habrían acertado. Pero dado que hubo voto voluntario, la forma en que estimaron el error fue incoherente e inconsistente.

Solo algunas de las encuestadoras admitieron este problema. Las más grandes, aquellas asociadas a los medios escritos de mayor circulación (como El Mercurio y La Tercera), publicaron mea culpas de sus malas proyecciones. Y las que no lo hicieron, seguramente hicieron evaluaciones internas también. La respuesta a “¿por qué no cambiaron sus metodologías para la elección de 2012?” es la misma respuesta a la pregunta “¿por qué no cambiarán sus metodologías para la elección de 2013?”. Principalmente por un tema de costo: producir buenas encuestas requiere una alta inversión, lo que nadie está dispuesto a hacer.

Además, existe otra razón: soberbia. Las encuestadoras comúnmente suponen que sus metodologías son correctas, y solo bastan pequeños ajustes para reducir el error total. Por ejemplo, normalmente reportan que su única fuente de error está en función al número de personas que entrevistan. Es decir, se rigen bajo el principio de que mientras más individuos entrevistan, menos error obtienen. De hecho, una de las respuestas de la industria tras el fracaso en las elecciones de 2012 fue que el alto número de encuestados les aseguraba bajo error. Una excusa que, de no mediar cambios, se repetirá en las elecciones de 2013.

El peligro de esto es que si mantienen las metodologías podrán usar los pronósticos a su favor. Aquí entra el rol político que toda encuestadora de intención de voto conlleva. Por ejemplo, si una encuestadora esta sesgada para favorecer a un determinado sector político en 2013, podrá escoger entre la metodología antigua (la de voto obligatorio) y la metodología nueva (la de voto voluntario) en base a lo que convenga. En ese sentido, se confrontan a un dilema ético, entre escoger hacer una buena encuesta que es imparcial o hacer una mala encuesta que esta sesgada. No existen sanciones legales si escogen lo segundo.

Incluso, es difícil determinar qué camino escogieron hasta que no se conozcan los resultados de la elección. Tradicionalmente se presume que una encuestadora que publica encuestas coherentes (con índices de intención de voto similares) en una determinada serie de tiempo es buena. Pero la precisión puede ser enemiga de lo metodológicamente correcto. Una encuestadora que no obtiene resultados coherentes pero tiene una buena metodología es mejor que una encuestadora que obtiene resultados coherentes pero tiene una mala metodología. En el primer caso el error es aleatorio, en segundo caso el error es intencional.

En la luz de lo anterior, una de las cosas que las encuestadoras deberán hacer para minimizar su error es recalibrar sus respectivas metodologías. Bajo voto voluntario deberán dar con una fórmula para identificar la mejor muestra para cada una de las poblaciones que sondean (a nivel distrital para diputados, a nivel circunscripcional para senadores, y a nivel nacional para presidente). Si una vez más utilizan herramientas diseñadas para estimar el error asociado a elecciones con voto obligatorio, no solo reportarán pronósticos erróneos, pero además bordearán en lo éticamente incorrecto al interferir en el resultado de elecciones.

Encuestadoras, pronósticos y resultados de las municipales

Publicado en El Mostrador

Las encuestas son la principal forma de identificar preferencias en determinados grupos de gente. Por medio de encuestas, el gobierno identifica tendencias de aprobación y desaprobación a su trabajo. Por medio de encuestas empresas privadas descubren patrones de oferta y demanda en sus mercados. Son mucho más comunes que las elecciones, y son mucho más simples que los focus groups. Por eso se han consolidado como parte central de la vida pública y privada. Prácticamente todos los grupos de consultores serios conduce su propia encuestadora, con encuestas hechas por ellos mismo o bien sub-contratadas a otras empresas especialistas en el rubro.

La veracidad de una encuesta solo puede ser verificada cuando se compara su predicción con una referencia real. En encuestas electorales esto es relativamente sencillo. Se puede comparar la predicción hecha por la encuesta con el resultado de la elección. Naturalmente encuestadoras que realizan predicciones más acertadas son mejores que encuestadoras que realizan predicciones menos acertadas. Por eso hay que diferenciar entre las encuestadoras que tienen buenas predicciones de las que no tienen buenas predicciones. En teoría, las del primer grupo representan la realidad, mientras que las del segundo reproducen resultados que no necesariamente son reales.

La elección municipal de 2012 es un caso en punto para diferenciar entre estos dos tipos de encuestadoras. El alto número de encuestadoras compitiendo para predecir las elecciones en los meses previos a la elección municipal permite comparar las predicciones de cada una de sus encuestas con los resultados finales de la elección. Lamentablemente, el resultado de la comparación tiende a convergir a las encuestadoras en el segundo grupo. Solo un puñado de encuestadoras, muchas de ellas locales, acertaron en el resultado. La gran mayoría, en cambio, tuvo pronósticos erróneos. Fallaron tanto en dirección como en intensidad. Si no fallaron en ganador, fallaron en margen de victoria.

Algunos ejemplos. En Antofagasta pronosticaron una victoria para la independiente por la Concertación Hernando, y ganó Rojo. En Recoleta se inclinaron hacia Cornejo, aún con Letelier en la carrera, y ganó Jadue. En Ñuñoa las encuestas pronosticaron una victoria holgada para Sabat, y ganó Fernández. En Estación Central pronosticaron una victoria de Delgado sobre Ballesteros con un margen de al menos 20%, pero solo ganó por 2%. En Providencia todas las encuestas de El Mercurio pronosticaron una victoria para Labbé, y ganó Errázuriz. Finalmente, en Santiago, la “madre de todas las batallas”, todas las encuestas favorecieron a Zalaquett, pero ganó Tohá por 7%.

¿Por qué fallaron?

Una teoría es que las encuestadoras respondieron a una agenda. Al sobre-reportar victorias de sus candidatos preferidos trataron de desincentivar que la gente votara por otro candidato. En esencia, esto significa que las encuestadoras tienen intereses invertidos en política. Un ejemplo perfecto sería Santiago. Una comuna emblemática, que a través de los medios tiene un efecto profundo sobre los votantes. De acuerdo a está teoría deberíamos presumir que todas las encuestadoras que allí sondearon–particularmente El Mercurio, La Tercera y La Segunda-UDD–intentaron distorsionar la elección a favor de Zalaquett.

Pero esa teoría resulta exagerada, y no existe evidencia empírica para comprobarla. Además, hay otro componente que también podría inducir a errores en los pronósticos de las encuestas, el carácter del voto. Anteriormente, con voto obligatorio, las encuestadoras preguntaban si la persona estaba registrada para votar, y de esa muestra estimaban resultados a partir de la tasa de participación electoral en años anteriores. En 2012, con voto voluntario, las encuestadoras preguntaban si la persona estaba habilitada para votar en la comuna, sin embargo de esa muestra no pudieron estimar resultados de participación. No tuvieron un punto de referencia.

Si bien todas las encuestas tienen error–según el número de encuestados, la distancia de la elección y la metodología–, el error de las encuestas para las municipales fue excepcionalmente alto. Las encuestadoras fallaron en identificar como lidiar con las preferencias de likely voters. No supieron como identificar preferencias en determinados grupos de gente. Pronósticos en comunas como Viña del Mar y Las Condes fueron fáciles, porque los resultados eran evidentes, y además la mayoría solo se iba fijar en el ganador y no en el margen de victoria. Pero pronósticos en comunas como Santiago y Providencia fueron difíciles, dado que su nivel de incertidumbre era significativamente mayor.

Las encuestadoras generaron pronósticos con resultados erróneos.  Se equivocaron drásticamente en comunas claves. Tomaron una perspectiva equivocada para aproximarse a los resultados. Trataron de estimar lo que sabían por sobre lo que no sabían. Las encuestadoras pensaron que sus pronósticos acertaban más sobre los resultados de lo que en realidad hacían. Si fue negligencia o intención nunca lo sabremos. Pero el efecto es el mismo, y es serio. Tal vez si la gente de Estación Central habría visto una batalla más reñida, Ballesteros habría derrocado a Delgado. Quizás si los partidarios de la UDI habrían visto que Zalaquett tenía menos ventaja, habrían votado más.

Es un tema que no desaparecerá fácilmente. Con las elecciones presidenciales a la vuelta de la esquina, los medios competirán ferozmente para destacar los resultados de sus propias encuestadoras. El problema es que si son los mismos medios y encuestadoras que hicieron los pronósticos para las municipales, lo probable es que la información que entreguen no sea acertada. Los medios estarán masificando información errónea. Una solución a este problema es crear una superintendencia de encuestadoras para fiscalizar que sus encuestas (1) utilicen metodologías diseñadas de acuerdo a un criterio base, y (2) tengan pronósticos significativamente acertadas.