El desliz del CEP

Publicado en La Tercera

Las encuestas pueden ser buenas o malas. En algunos casos se pueden evaluar en base a su error. El error es la diferencia entre un valor estimado y un valor verdadero. Su cálculo es relativamente sencillo cuando ambos valores están disponibles – tanto el estimado como el verdadero. Por ejemplo, uno puede evaluar a una encuesta al comparar su estimación del porcentaje de votos que recibirá un candidato en una elección y el porcentaje de votos que ese mismo candidato recibe en la elección. Las encuestas buenas son aquellas que tienen menos error – las que se aproximan más al resultado.

Sin embargo, la mayoría de las encuestas no tienen un valor verdadero como punto de comparación. Sobre todo en encuestas que contienen preguntas valóricas. Esas encuestas solo se pueden evaluar en base a su reputación. La reputación de una encuesta depende de su misión y de su metodología. Este cálculo es más complejo que anterior, pero es igual de posible. Por ejemplo, uno puede evaluar una encuesta observando su fuente de financiamiento y sus características metodológicas. Las encuestas buenas son aquellas que prescinden de presión política, y que además no introducen errores en la recolección y el procesamiento de datos.

La combinación de estos dos factores han llevado a la encuesta del Centro de Estudio Públicos (CEP) a ser considerada como una de las mejores en Chile. Tiene menos error y mejor reputación que otras encuestas del país. Por eso causó tanta conmoción académica y política ver que una de las mejores encuestas presentará deficiencias importantes en su metodología. Aunque el grueso de la encuesta no fue objeto de críticas, varios académicos y profesores apuntaron a que algunas preguntas relacionadas con la educación podrían estar significativamente sesgadas a producir resultados en contra de los intereses del gobierno.

Las críticos señalaron varias preguntas. Entre ellas, la siguiente: “¿Cree Ud. que es bueno que los padres puedan complementar el subsidio educacional que otorga el Estado a través de un copago (pagando matrícula y/o colegiatura) para mejorar la educación de sus hijos, o Ud. cree que esto debiera estar prohibido?”. Aquí, la crítica fue que la pregunta era confusa y larga; que concentraba buena parte de lo positivo en la parte inicial. Particularmente sostuvieron que la pregunta favorecía la primera parte (estar a favor del copago) por sobre la segunda parte (estar en contra del copago).

Otra pregunta que generó atención negativa fue “Ud. qué prefiere: ¿Que su hijo/a vaya a una escuela básica, liceo municipal o colegio donde los alumnos tengan un nivel socioeconómico parejo y parecido al suyo o que su hijo/a vaya a una escuela básica, liceo municipal o colegio donde los alumnos tengan niveles socioeconómicos bien distintos?”, que fue criticada por combinar dos preguntas en una. El término “parejo” se puede contraponer al término “parecido” y por ende generar sesgo. Esto se suma al hecho de que personas con menos educación tienden a estar de acuerdo con lo que le preguntan si no la entienden bien.

Este desliz metodológico del CEP sugiere una de dos cosas. Para algunos,sugieren que Beyer y el grupo económico que sostiene al CEP intencionalmente buscaron generar un sesgo para perjudicar al gobierno. Para otros, simplemente sugiere que el CEP inadvertidamente introdujo un error en el cuestionario. Si las preguntas fueron diseñadas de forma intencional o de forma negligente es irrelevante al fin al cabo. Si las preguntas fueron diseñadas de forma deliberada o accidental no es tan importante como constatar el efecto real – y negativo – de que una encuesta del calibre del CEP reproduzca resultados sesgados.

Las respuestas a las preguntas solo pueden servir como un precedente para sostener que la reforma educacional es mala – y no como una medición fidedigna de la opinión de los chilenos. Esto, por cierto, es todo lo contrario a lo deseable. Por eso, parece ser hora de dar un paso importante en cuanto a las atribuciones y libertades que se pueden tomar los encuestadores. Si bien es necesario evaluar la calidad de las encuestas en base a su error y reputación, el desliz del CEP sugiere que no son indicadores suficientes. Para evaluar la calidad de una encuesta de forma eficiente hay que tomar en cuenta su nivel de transparencia.

En países como Colombia y Venezuela es obligación que las encuestas se registren ante una institución fiscalizadora, publicar los datos y transparentar las fuentes de financiamiento. En Chile, lo primero no existe, y las otras dos tareas son opcionales. Si las encuestas tuvieran la obligación de registrarse, de transparentar sus datos y fuentes de financiamiento, subiría significativamente la calidad de sus mediciones.Probablemente bajaría su error y además subirían su reputación. Entre otras cosas, sería más difícil ocultar agendas políticas y más fácil prevenir la manipulación de datos.

Comentarios cerrados.