Construcción y Ajuste del Indicador Único

En Chile hay pocas encuestas que consiguen acaparar la atención de los expertos. Por lo general las encuestadoras CERC, CEP e ICSO-UDP logran entrar en este selecto grupo. Mientras la primera es llamativa por su trayectoria, las dos segundas lo son por su transparencia y rigurosidad metodológica. El resto de las encuestas que se hacen en el país (alrededor de 10), no se han logrado consolidar en este nivel.

Ahora bien, para propósitos inferenciales, ¿qué es mejor? ¿usar sólo las encuestas buenas? o ¿usar todas las encuestas?

Por un lado, hay importantes razones para usar sólo una encuesta. Principalmente para ser consistente en la metodología de análisis. Surgen varios problemas al momento de promediar una montonera de encuestas que son en esencia diferentes. Entre los problemas:

  1. Los tamaños de las muestras son diferentes; atribuirle a todas las encuestas el mismo peso es un error.
  2. Los tiempos de muestreo son diferentes; por ejemplo, entre encuesta y encuesta pasan diferentes cosas en la coyuntura que pueden cambiar por completo la mirada inicial del encuestado.
  3. La población objetiva de las muestras es diferente; por ejemplo, una encuesta a una población que vive en una zona urbana difiere significativamente de una encuesta a una población que vive en una zona rural.
  4. Las encuestas utilizan diferentes técnicas para recopilar los datos; por ejemplo, una encuesta telefónica difiere significativamente de una encuesta presencial.
  5. Las encuestas usan diferentes ponderaciones para compensar por personas que no fueron sondeadas; dependiendo de los algoritmos teóricos las encuestas atribuyen diferentes pesos a la misma población.
  6. Las encuestas utilizan diferentes estilos para hacer las misma preguntas; hacer una pregunta de cierta forma puede intencionalmente conducir a una persona a emitir un cierto juicio.

Por otro lado, hay importantes razones para usar todas las encuestas disponibles.

  1. Si miramos sólo las encuestas “buenas”, tenemos muy poco datos; la encuesta ICSO-UDP se emite una vez al año, la CEP se emite dos veces al año, y la CERC cuatro.
  2. Elegir una encuesta por sobre otra es arbitrario; los candidatos y los partidos políticos hacen esto para favorecer la encuesta que es más auspiciosa para ellos–el análisis debe ser más riguroso.

Si bien hay más razones para usar una sola encuesta, hay mejores razones para utilizar varias. En la medida que se puede compensar por los errores que se pueden producir, usar más encuestas entrega una visión más global sobre la realidad. Por ejemplo, sería un error sumar todas las encuestas y dividir por el mismo número para generar un indicador único. Al contrario, es necesario identificar las fortalezas y debilidades de cada encuesta para asignarle un peso diferente a cada una. Mientras podamos controlar por los  pros y contras  de cada encuesta podemos generar una mayor capacidad predictiva, en base a su error total.

Para lograr el objetivo de este blog (pinchar aquí), inevitablemente necesitamos usar datos de encuestas. Debido a que tener más datos es mejor que tener menos, proponemos una forma de usar todo lo disponible, pero evitando caer en los sesgos y errores endógenos nombrados más arriba. Seguimos el ejemplo de proyectos similares que se han llevado a cabo en otros países, pero guardando precaución para operar dentro del marco de la realidad política chilena. En concreto, aplicamos una fórmula para asignar puntaje a las encuestadoras en base a tres factores: (1) el error reportado de su muestreo,  (2) el error temporal, y (3) el error introducido:

Error Total = Error de muestreo + Error temporal + Error introducido

Error de muestreo es la cifra que las encuestadoras reportan como su margen de error.

Error temporal es el error temporal controla por la distancia entre el momento de la encuesta y el día de la elección. La premisa básica es que la capacidad predictiva de una encuestadora aumenta en la medida que se acerca la elección. Por ejemplo, es más fácil predecir los resultados de una elección a cinco días de ella, que a cinco meses. En concreto, el error temporal se incorpora al modelo en términos de la incertidumbre que provoca el tiempo. [Notar que para efectos del ránking de encuestadoras, se ignora el error temporal dado que todas las encuestas tienen la misma probabilidad de fallar (es decir, suponemos que es igual a cero)].

Error introducido es el error que resulta de una mala metodología. Como cuestión de práctica, todas las encuestadoras tienen errores no forzados; es decir el error real es siempre mayor al error de muestreo que reporta encuestador. Para efectos de este estudio, el error introducido se infiere tomando el error total de la encuesta, y se le resta el error de muestreo reportado.

Por ejemplo, en la elección presidencial de 2009 la encuesta CEP (octubre) reportó que Piñera obtendría un 11,70% de ventaja por sobre Frei. Sin embargo, en la elección de diciembre Piñera se impuso a Frei por un 15,04%. Eso es una diferencia de 3,34%. Ahora bien, parte de este error no es culpa de la encuesta CEP, más bien del tamaño finito de su muestra. Específicamente, la CEP encuesto a 1,505 personas lo que significa que tendrá un error muestral de aproximadamente 3,0%, por sí sola. Por eso, el error introducido corresponde a 3,34% menos 3,0%, o bien 0,34%. Si la CEP habría entrevistado a más gente, el error muestral reportado sería menor, pero el error introducido sería mayor.

Notar que el error natural de una encuesta es técnicamente fácil de determinar, por medio de una distribución binominal:

80 * n^(-.5), donde n es igual a el tamaño de la muestra

Así, cada encuesta es asignada un error introducido. Luego, el error introducido se compara, por medio de un método de iteración, frente al error introducido promedio del resto de las encuestadoras que reporto resultados para la misma elección. Esta comparación es el promedio iterado de error (PIE).

El índice importante en esta tabla es el marcado como:  “+ / -“. Puede ser interpretado como la medida en que la encuestadora predijo con mayor o menor exactitud el resultado de la elección, en comparación con el índice promedio del resto de las encuestadoras.

Ahora bien, para traducir estos números en cifras que podemos usar para ponderar el peso de cada una de las encuestas necesitamos completar dos pasos.

PASO 1: El primer paso es regresar el “+ / -” a la media. Esto es simplemente un cálculo directo del error estándar de la media.

PASO 2: El segundo paso es sumar a cada indice el error introducido promedio de todas las encuestas.

Una respuesta a “Construcción y Ajuste del Indicador Único

  1. Pingback: Alcaldes 2012: Simulación de Resultados | tresquintos

Deja un comentario