Chile: cómo se validó la pregunta que bajó la cifra de pobreza

La subsecretaria del Ministerio de Desarrollo Social (MDS), Soledad Arellano, recibió a CIPER antes del mediodía del pasado viernes 14 de septiembre. A esa hora los funcionarios de la cartera se aprestaban a iniciar su celebración dieciochera y varios de ellos circulaban alegres por el ministerio vestidos con hermosos atuendos típicos. Para ella, el festejo se postergaría. Los siguientes minutos los ocuparía en una tarea compleja: informar sobre los mecanismos que utilizó el MDS para validar la inclusión de la controversial pregunta “y11” en la encuesta CASEN 2011, y que bajó el índice de pobreza de 15% a 14,4%.

Era una tarea compleja, porque por primera vez el MDS accedía a entregar antecedentes sobre los “pre-test” que habrían respaldado la inclusión de la pregunta “y11” en el cálculo final de la pobreza en Chile. Hasta ahora el MDS no ha aportado evidencia sobre la existencia de esos pre-tests o sobre su validez metodológica, lo que ha generado un cúmulo de dudas en el mundo de los académicos y especialistas en medición de la pobreza. La exigencia de los documentos de pre-test quedó explícitamente instalada en un seminario en el Centro de Estudios Públicos (CEP), el martes 11. Tres días después, en esa entrevista con CIPER, Arellano intentó aplacar esas críticas.

Como la subsecretaria -quien ha sido la cara oficial de esa cartera en esta polémica y no el ministro Joaquín Lavín- no es la única protagonista de este proceso que puede despejar la discusión, CIPER entrevistó también a los otros dos actores técnicos que operaron como contraparte del MDS: David Bravo, director del Centro de Microdatos de la Universidad de Chile, organismo encargado de aplicar en terreno el testeo del cuestionario piloto y la encuesta definitiva; y Juan Carlos Feres, el responsable del análisis final de la encuesta CASEN 2011 en la CEPAL, trabajo que ha realizado desde 1987. Ambos manifestaron divergencias con la información proporcionada por la subsecretaria.

TRES TIPOS DE PRE-TEST

Soledad Arellano fue categórica al confirmar que sí se realizaron los pre-test que avalarían la incorporación de la “y11” en el cálculo oficial. Esta nueva pregunta, que se incorporó en el cuestionario de la última encuesta CASEN, indagó sobre otros ingresos regulares de personas desocupadas o inactivas de las familias encuestadas. Su inclusión en el cálculo final fue inicialmente desestimada por la CEPAL, pues los técnicos de ese organismo internacional consideraron que rompía la cadena de “comparabilidad” con las encuestas anteriores. Un aspecto tan importante como la confiabilidad de los datos recogidos. Pero el MDS insistió en su incorporación, argumentando que había sido pre testeada y que esos sondeos técnicos previos indicaban que no afectaba la “comparabilidad” ya que anteriormente esos ingresos estaban registrados en la pregunta “otros ingresos”.

Según detalló la subsecretaria a CIPER, existen cinco técnicas para hacer pre-test. Y sostuvo que, para este caso, se ocuparon tres. La primera, una consulta amplia a un panel de expertos, en una fase previa a la elaboración del cuestionario, realizada “en más de 90 reuniones entre abril y junio de 2011”. La segunda, el trabajo de campo donde se aplica el cuestionario piloto a una muestra más pequeña: aproximadamente 1.200 encuestados, la que ejecutó Microdatos entre el 23 de agosto y el 2 de septiembre de 2011. La tercera, dos tipos de focus group con diversos actores que participan en el proceso, para afinar el cuestionario definitivo, y que se llevaron a cabo el 5 y 6 de septiembre de 2011.

En relación a la primera técnica, Arellano señaló que fueron invitadas 39 instituciones, gubernamentales y ONG, de las cuales participaron 34: “De esas 34, recibimos respuesta oficial, con oficio, de aproximadamente 22. Uno va a avanzando hasta que finalmente se llega a una primera versión del cuestionario. Nosotros hicimos además, una etapa pequeñita de entrevistas en la cual se testeó internamente una versión, pero muy chiquitita, del cuestionario. Y al final, con todo eso, uno llega a la primera versión”.

De este primer testeo previo con expertos de instituciones externas, el MDS no ha entregado aún ningún documento que respalde su validez metodológica.

MICRODATOS: “NO PRE TESTEAMOS LA PREGUNTA”

La subsecretaria afirmó que de este panel de especialistas surgió la inquietud de precisar la pregunta referida a “otros ingresos” de las familias encuestadas. No obstante, en el primer cuestionario que se pre testeó –posterior a estas reuniones con expertos- y que fue enviado a Microdatos por el MDS el 18 de agosto de 2011, no fue incorporada ninguna pregunta nueva referida a ingresos.

La polémica “y11”, coinciden todos, apareció recién en el cuestionario definitivo, el que fue enviado a Microdatos el 16 de septiembre de 2011. Al respecto, el director de Microdatos, David Bravo, señala: “Ahí la etapa de los pre-test tiene que estar terminada. Los pre-test tienen que ser realizados antes de la fecha en que nos comunican el cuestionario final. Y si no hiciste pre-test, tienes que dejarlo consignado en alguna parte: no tuvimos el tiempo, no lo hicimos”.

Según afirma David Bravo, la variable “y11” nunca fue pre testeada en terreno:

-¿Le pidió el MDS un pre-test para la pregunta “y11”? 
La “y11” es una pregunta que no estaba en el pre-test. Por lo tanto, no hay nada referente a eso en nuestro primer informe (sobre pre-test) que se entregó el 9 de septiembre (de 2011).

-¿Y en su informe al MDS no hay ningún aspecto relacionado con la pregunta “otros ingresos” del cuestionario anterior y que pudiese determinar la inclusión de la “y11”? 
Nada. No tenemos ninguna pregunta sobre el tema y tampoco dimos ninguna opinión sobre la materia, porque para haber dado alguna opinión institucional tendríamos que haber tenido esa pregunta. Si me lo pregunta, este es un tema que salió después: no estuvo en el pre-test.

Bravo dijo también a CIPER que en el MDS le confirmaron que “en realidad no hicieron ningún pre-test”:

-Una persona confiable del ministerio, a la que me gustaría que usted llamara, en el fondo a mí me dijo: “Bueno, no hay pre-test. Lo pusieron ustedes, más los elementos que ustedes nos mandaron”. No es que ellos encargaron un pre-test especial.

Respecto de las afirmaciones que David Bravo dice haber recibido de una funcionaria del MDS, referidas a que los “los elementos” que Microdatos envió al ministerio sirvieron para validar la nueva pregunta, el director del organismo de la U. de Chile es enfático: “Nosotros no informamos sobre esa materia (las preguntas sobre “otros ingresos”). Lo que el ministerio puede haber inferido de nuestra información, eso tendrán que justificar ellos cómo lo hicieron y en base a qué elementos. Nuestro informe está ahí y ellos lo podrían hacer público”.

CIPER se comunicó con la persona señalada por Bravo, pero el MDS resolvió que la entrevista la diera la subsecretaria.

Soledad Arellano admitió que la pregunta “y11”, como tal, no fue testeada en terreno. La que sí fue testeada, dijo, es la consulta sobre “otros ingresos”, que ya había sido aplicada en encuestas anteriores: “Si esa pregunta no se hubiera incluido en el trabajo de campo, nosotros no habríamos podido tener la evidencia que sacamos de los focus group”. Según la subsecretaria, fue en estos focusposteriores donde, al analizar la pregunta “otros ingresos”, se estimó necesario elaborar una nueva pregunta más específica, que resultó ser la “y11”.

La subsecretaria aseguró que el MDS tiene registro de “todas las minutas de cada uno de los focus group con el trabajo que se hizo”. Pero, hasta el cierre de este reportaje, tampoco esos documentos han sido dados a conocer por el ministerio.

LA IMPORTANCIA DE LOS FOCUS

Los focus group se han convertido en una pieza clave para despejar el debate sobre la validez del índice de pobreza que arrojó la CASEN 2011. Así se desprende de la minuta que envió el MDS a la CEPAL, donde se le pidió que incluyera la “y11” en el cálculo final (ese cambio hizo que la cifra bajara de 15% a 14,4%).

Esa minuta del MDS (ver minuta “Inclusión de la variable y11 en cálculos de Pobreza”) argumentó que la pregunta “y11” estaba validada por el pre-test y basada en “la experiencia del contratista CASEN 2011 (Centro de Microdatos de la Universidad de Chile)”. Pero su director, David Bravo, señala:

-No, eso no es correcto, porque si así fuera nosotros lo hubiéramos dejado establecido en nuestro informe (…). Nosotros vamos a tener que desmentir eso.

Si David Bravo ha dicho que en su informe no hubo mención alguna a la necesidad de efectuar cambios en la pregunta sobre “otros ingresos”, entonces, la única posibilidad de que “la experiencia” de Microdatos haya servido para incluir la “y11” -como lo señala la minuta-, es que los técnicos de la Universidad de Chile lo hayan hecho ver en los focus group.

De la participación de los técnicos de Microdatos en los focus no hay registro en el informe oficial de ese organismo de la Universidad de Chile al MDS (el que no ha sido liberado por el MDS pero que CIPER revisó completo) y hasta ahora el MDS no ha entregado documentos que respalden la validez metodológica de esas reuniones.

-No sé si es que ellos (Microdatos) hicieron un informe del focus group, del análisis cualitativo… Lo que sí sé es que nosotros tenemos las minutas de cada uno de los focus group con el trabajo que se hizo –dijo la subsecretaria.

Soledad Arellano dio los nombres de tres personas que integran el staff de Microdatos, las que habrían participado en esos focus group: Ernesto Castillo, Isabel Jélvez e Isabel Seguel. Y acota: “Supongo que si usted le pregunta a las personas que participaron van a reconocer que estos temas se levantaron en esos análisis cualitativos”.

Sobre el mismo punto, David Bravo señala: “Yo le he preguntado a mi equipo: no sabemos nada del tema. ¿Quiere decir esto que no haya pre-test? Yo sólo puedo dar cuenta de lo que conozco”.

El director de Microdatos relató a CIPER que, después del trabajo de campo para testear el cuestionario piloto, se realizaron otros dos componentes de información: “le aplicamos a las personas que hicieron la encuesta pre-test un pequeño cuestionario. Básicamente para detectar de manera más cualitativa, y con preguntas bien precisas, si hay algún aspecto que consideran que no funcionó en preguntas específicas. Los encuestadores tienen la posibilidad de decir: ‘Esta pregunta no se entiende’. Esa información también está en nuestro informe”.

El segundo trabajo que indicó Bravo se refiere a una reunión “donde se pone en una mesa a los jefes de grupo -los jefes de los encuestadores pero que también hacen encuestas- con los sectorialistas del ministerio que diseñaron el cuestionario, más gente nuestra. Es como unfocus. Entonces, se tantea con ellos”. Bravo agrega que en esos diálogos, “puede haber salido alguna pregunta sobre la materia, pero nosotros no tenemos registro de esa reunión puntualmente tal como salió”.

LA FE DE LA CEPAL

La controversia por los resultados de la CASEN 2011 llegó a su punto más álgido el pasado 11 de septiembre, cuando en un seminario en el Centro de Estudios Públicos (CEP), el renunciado experto de CEPAL, Juan Carlos Feres -quien ha trabajado en la CASEN desde 1987- y el economista Sergio Urzúa emplazaron al MDS a entregar los pre-test que la autoridad argumentó haber hecho y que avalarían la inclusión de la pregunta “y11”. La subsecretaria Soledad Arellano estaba presente, acompañada de algunos de los técnicos del ministerio que trabajaron en la encuesta CASEN, entre ellos, Carolina Casas-Cordero.

La petición de Feres es clave dado el hecho de que él, como responsable del trabajo en la CEPAL, aceptó incorporar la nueva pregunta, haciendo fe de que los pre-test mencionados en la minuta del MDS eran válidos. No pidió verlos, porque la CEPAL no cuestiona los datos oficiales que le entregan los gobiernos. Hoy, Feres responde qué características debiera haber tenido ese pre-test para avalar el cambio:

-Que efectivamente se sometió a pre-test la variable “otros ingresos” y que la conclusión que se obtiene de ahí es que una componente de ese conjunto de ingresos comprendidos en el rubro “otros”, muy importante, dice relación con ingresos laborales de desocupados e inactivos percibidos en el mes anterior o en los tres meses anteriores. Eso es lo que se afirma en la minuta. Si el pre-test en su informe señala explícitamente aquello, que es lo que yo inferí de lo que me estaban comunicando, constituye prueba de lo que se afirma.

Respecto al  argumento que esgrimió a CIPER la subsecretaria Arellano, sobre los pre-test realizados que validaron la pregunta “y11” -un panel de expertos y dos focus group-, Feres comenta:

- Si es un focus group, que además no está documentado desde el punto de vista de las características técnicas y metodológicas en que fue llevado a cabo, y sobre el rigor de la información obtenida y las inferencias que es posible hacer de esa información, si eso no está suficientemente documentado, no constituye una evidencia robusta para inferir lo que ahora el MDS está argumentando.

Feres asegura que con los antecedentes que posee hoy, hubiese actuado distinto: “No le quepa ninguna duda de que habría insistido en que ésa era la cifra oficial de la CEPAL (15%) y que no había información adicional que motivara a cambiar. Y se lo digo con la más absoluta convicción”. Agrega que, en el caso de que hubiera decidido solicitar al MDS la evidencia de los pre-test, “eso habría significado en los hechos que el ministerio se habría visto enfrentado a la obligación de divulgar el dato inicial de la CEPAL” (fue CIPER el que reveló la existencia de dos informes de la CEPAL, con cifras diferentes).

Los dichos de Feres contrastan con la versión de la subsecretaria Arellano. Ella dice que el 31 de mayo de este año, antes de que la CEPAL entregara la primera cifra oficial de la pobreza (12 de julio), se reunió con Feres: “él me dijo a mí que iba a incluir la ‘y11′”. Y acota: “yo hasta ese momento, tampoco le había dado tanta importancia” a esa variable.

-Juan Carlos Feres me pone las variables, yo le planteo otras, pero esta variable “y11” me la plantea él. Y me dice: “Mira, hicimos todo este análisis, al principio pensamos que no, pero después llegamos a la conclusión de que la vamos a incluir” –relata la subsecretaria.

El renunciado experto de la CEPAL refuta en forma categórica haberle informado esa decisión: “En una reunión, también en mi oficina, con Soledad Arellano, ella me planteó el tema. Le respondí que estábamos analizando (…) y que la situación tenía elementos que inclinaban a la apreciación de incluir y otros a excluir esa variable. Que yo le haya dicho que ya tenía la convicción personal de que debía incluirse, ¡lo niego categóricamente! Que se discutió el punto, sin duda: ¡si había una fijación de parte del ministerio respecto de esa variable! Ellos sabían que podía hacer una diferencia importante. Porque tenían los datos”.

Para graficar el interés del ministerio en la incorporación de la pregunta “y11”, Feres relata que el 12 de julio concurrió con otros dos colegas de la CEPAL, sus superiores jerárquicos, a entregar al ministro Joaquín Lavín el primer informe de la CEPAL, con la cifra de 15%. En ese momento, la subsecretaria Arellano estaba de vacaciones en las Islas Galápagos. Y relata: “el ministro tenía su cuaderno desplegado y me dice, leyendo sus notas: ‘Soledad me pidió que te preguntara por la pregunta ‘y11’, si se incluyó o no se incluyó’. Le dije que no y le entregué los argumentos”.

Juan Carlos Feres agrega que esa misma noche, Soledad Arellano lo llamó desde Galápagos, para preguntarle por qué no había incluido la “y11” en la medición final. “¿Qué te haría cambiar de opinión?”, cuenta que le inquirió ella al finalizar el diálogo. A lo que él habría contestado que si el MDS acreditaba que hubo un error, estaban abiertos a enmendarlo. Dos días más tarde, el sábado 14, cuando faltaban “cinco minutos para las 12 de la noche, me entra el mail con la minuta”. Al día siguiente -domingo 15- Soledad Arellano lo volvió a llamar por teléfono pidiéndole una reunión urgente, cita que se concretó en la tarde del martes 17, porque ese lunes era feriado.

Finalmente, en esa reunión del 17 de julio, la CEPAL accedió a cambiar su criterio, incorporando entonces la variable “y11”. Como era un trámite de fácil aplicación pues ya estaban todos los ajustes hechos, con esa sola inclusión la pobreza bajó de 15% a 14,4%. De esa reunión, Feres dice que la subsecretaria “se fue muy satisfecha. Esa es la historia”.

El 18 de julio la CEPAL le entregó al Ministerio de Desarrollo Social la nueva cifra definitiva.

BRAVO: “¡POR QUÉ NO LIBERAN LOS DATOS!”

Tanto Juan Carlos Feres como David Bravo indican que es imprescindible que el Ministerio de Desarrollo Social difunda a la brevedad los registros documentales y metodológicos de los antecedentes que consideró como pre-test (las sugerencias del panel de expertos consultados al inicio del proceso, el informe de Microdatos sobre el trabajo de campo y los focus group).

La subsecretaria Arellano replica que necesita tiempo para “liberar” los datos: “Lo ideal, pero no me puedo comprometer, es entregar de aquí a dos semanas el Manual del Cuestionario, terminar de entregar el Manual del Investigador -porque se entregó solamente para los módulos de residentes, ingreso y trabajo-, y después hay que entregar las bases de datos homologadas, de modo que sea llegar y hacer el análisis. Todo eso está dentro de la primera prioridad en el equipo. Están trabajando a full en eso”.

Soledad Arellano dijo a CIPER que tenían presupuestado entregar nueva información a fines de esta semana, pero que tomará algunos días más debido a que la persona que ha hecho cabeza del equipo técnico que ha trabajado en la encuesta CASEN en ese ministerio, Carolina Casas-Cordero, se encuentra con licencia médica.

Desde que se divulgó la CASEN en el Palacio de La Moneda, el 20 de julio, han transcurrido dos meses. Y David Bravo se pregunta: “Yo no entiendo para qué necesitan tiempo para liberar los datos con el detalle de los ingresos. ¡Esos datos ya están! (…). ¡Por qué no los liberan! Ya los tienen. No necesitan tiempo para eso”.

Su urgencia se entiende. No sólo está comprometido el prestigio y la credibilidad de Microdatos y la Universidad de Chile. En estos precisos momentos, ese centro prepara el piloto para salir en terreno en octubre con la nueva encuesta CASEN 2012, la que ahora será anual. Sin la confirmación de que para este proceso la CEPAL hará como siempre el análisis y cálculo final, y con el “ruido” en el que se ve envuelta la encuesta, lo que está en peligro es el trabajo en terreno. El material más preciado para poder definir cuántos son los chilenos pobres y los extremadamente pobres y los ingresos reales que perciben.

Aunque resulte un debate de por sí mezquino frente a la magnitud de una realidad que abofetea, la correcta medición de la pobreza es clave para quienes diseñan y deciden las políticas públicas destinadas a disminuir ese flagelo. De allí derivan urgencias y planes de focalización para paliar sus efectos.

-Si el Ministerio de Desarrollo Social quiere proteger la encuesta, debe zanjar esta discusión entregando toda la información que anda dando vuelta y reventando la burbuja que haya. Que se entreguen los informes. Si eso no ocurre, efectivamente, el problema seguirá creciendo y definitivamente puede alterar los datos que se recogen, la materia prima clave. Ahí esto no tiene solución. Lo que dijo Feres en el CEP, es que lo que se hizo se puede corregir. Es feo, ya se informó, pero si efectivamente se detectara que hay un error, esto se puede rehacer y corregir. Porque los datos de campo son los mismos, están intactos –concluye David Bravo.