Fuera de Casa

La vida moral de los rankings escolares

Por Gabriel Chouhy

La medición de resultados y de contextos socio-económicos, la calidad de las escuelas y la cultura de las familias. Ninguna opción es inocente. Jugando a imaginar una ecuación para medir calidad educativa de las escuelas y a partir de su investigación sobre el proceso de aplicación de rankings educativos en Chile, el autor analiza el proceso político que determinó el concepto de “calidad educativa”. Pone sobre la mesa las diferencias entre técnicos y la necesidad de una mirada compleja sobre la información educativa, las tesis reproductivistas y un debate democrático.

Imagínense, queridos lectores de Educarnos, que ustedes no son expertos en pedagogía y didáctica, sino tecnócratas de la educación. Imagínense también que, gracias a sus vastos conocimientos de estadística, psicometría, y econometría, son reconocidos por políticos y autoridades de la educación como los únicos capaces de evaluar y medir el trabajo de los expertos en pedagogía y didáctica. Imagínense, finalmente, que, dado ese reconocimiento, el ministro de educación de un país inventado les ha encargado la tarea de ordenar a todas las escuelas del país en cuatro categorías de calidad educativa.

Como primero es lo primero, el ministro les solicita una definición de calidad concreta y medible. Así que ustedes se reúnen y deliberan, consultan con otros especialistas, juntan datos disponibles de diferentes fuentes, consolidan bases de datos, corren simulaciones, sopesan las alternativas, y, finalmente, acuerdan que la calidad educativa es el residuo estadístico de una regresión lineal de mínimos cuadrados ordinarios que predice los puntajes en pruebas de aprendizaje, corregido por las características de los alumnos, como por ejemplo el nivel de vulnerabilidad o la educación de la madre, y luego promediado para toda la escuela. Este residuo ajustado se deriva, por supuesto, de una simple ecuación econométrica: c + ∑CAβCA x CANI’.

En esta ecuación: “el resultado individual del estudiante se compone de dos partes. La primera equivale a una estimación del resultado del alumno que la metodología atribuye a sus características o las de su entorno. La otra parte, dada por Nº 15, εNI’, corresponde a la fracción del resultado del alumno que está por sobre o por debajo del estudiante promedio de su mismo nivel de Características de los Alumnos a Nivel Individual. Se considerará que esta parte del resultado del estudiante no es atribuible a su contexto, y se considerará responsabilidad del establecimiento.”

Lejos de toda ficción, este enunciado sobre lo que significa la calidad educativa de una escuela fue oficializado por un decreto-ley elaborado por el Ministerio de Educación de Chile, y firmado por el Presidente Sebastián Piñera en 20141. Este decreto terminó de institucionalizar la así llamada “Metodología de Ordenación de Escuelas”, un dispositivo evaluativo de altas consecuencias que clasifica a todas las escuelas de Chile en cuatro categorías de desempeño. Tal como lo establece la Ley de Aseguramiento de la Calidad de la Educación de 2011, la Metodología de Ordenación debe ser sensible al contexto sociocultural del estudiante, por lo que deberá considerar… “las características de los alumnos del establecimiento educacional, incluida, entre otras, su vulnerabilidad, y, cuando proceda, indicadores de progreso o de valor agregado. Con todo, gradualmente, la ordenación de los establecimientos propenderá a ser realizada de manera independiente de las características socioeconómicas de los alumnos y alumnas, en la medida que el sistema corrija las diferencias atribuibles a dichas características en su desempeño.”

Mi genealogía sobre el rol de los expertos en la implementación del sistema de rendición de cuentas en Chile partió de estos dos documentos legales. Mi objetivo era reconstruir y dar sentido a la historia de una ecuación econométrica: cuál fue el proceso por el cual esta forma muy peculiar de determinar lo que es la calidad educativa y hacerla sensible al contexto vino a quedar inscripta en regulaciones legales de altas consecuencias, y qué factores políticos influyeron en dicho proceso.

Escudriñando las actas de sesiones de la Agencia de Calidad de la Educación –el organismo regulador creado por la Ley de Aseguramiento de la Calidad que discutió y aprobó la metodología de ordenación luego consagrada por el decreto-ley– descubrí que. ..los “tecnócratas en jefe” discutieron fuertemente sobre el modelo estadístico más apropiado para ajustar los resultados de las pruebas estandarizadas por el nivel socioeconómico.

Tan profundo fue el desacuerdo entre los tecnócratas que la controversia sólo pudo zanjarse mediante una votación dividida.”

La mayoría del Consejo de la Agencia, cercana al gobierno de Piñera, hizo suya la propuesta elevada por una comisión de expertos conformada por economistas y psicometristas afiliados a think tanks y universidades reconocidamente conservadoras. Pero una minoría de tecnócratas progresistas, más cercanos a la Concertación de centro-izquierda, bregó por un método alternativo.

Más allá de tecnicismos, lo más interesante son las justificaciones morales ofrecidas por los expertos para sostener que su modelo estadístico de preferencia era el más “justo”. Los expertos progresistas pujaron por el modelo que corrigiera en mayor medida los resultados de las pruebas estandarizadas por nivel socioeconómico. Asociando “calidad” con “efectividad escolar”, su prioridad fue hacer justicia con los proveedores de educación (las escuelas). Según esta forma de operacionalizar el concepto de “responsabilización justa” (un principio expresamente definido en el preámbulo de la ley), las escuelas en contextos más desfavorables deberían ser compensadas por educar a los niños con mayores dificultades de aprendizaje.

Los expertos conservadores, naturalmente menos reticentes a los rankings de escuelas, y celosos de que los padres cuenten con la información adecuada sobre los desempeños académicos para tomar decisiones en el mercado escolar, pujaron por correcciones por contexto más moderadas. Apelando a la “responsabilización justa” en referencia a los consumidores (los estudiantes y sus familias), este segundo grupo de expertos asoció “calidad” con el cumplimiento universal de estándares de aprendizaje, con independencia de la contribución relativa de las escuelas: “El corregir hace justicia pues al clasificarlos considera las dificultades que enfrentan ciertos colegios, pero por otro, no necesariamente emite una señal adecuada para que el sistema mejore y se haga cargo de las dificultades de los alumnos”3.

Los aspectos técnicos del debate los abordo y discuto en profundidad en otro lugar.

Sobre expertos, ideología, y calidad educativa

En 2016, dos expertos en educación, Douglas Downey & Dennis Condron, publicaron en Sociology of Education—una de las revistas especializadas más importantes en la materia a nivel mundial— un perspicaz artículo para un número especial dedicado a evaluar el impacto del “Informe Coleman” a cincuenta años de su publicación. El famoso y políticamente influyente Informe Coleman demostrócon métodos bastante avanzados para la época-que el grueso de la desigualdad de aprendizajes se explica por las características socioeconómicas y culturales de las familias, y que, dada esta situación, las escuelas pueden hacer muy poco para revertir la desigualdad. Naturalmente, durante décadas dichas conclusiones han dado sustento a las perspectivas críticas que conciben a la educación como una institución que reproduce e incluso exacerba la desigualdad. Desafiando esta visión, Downey & Condron proponen una perspectiva más equilibrada: un “enfoque refractario” según el cual la escuela tiende a reproducir o a exacerbar solamente algunas desigualdades, al tiempo que tiende compensar algunas otras, en particular las referidas a las habilidades cognitivas de los niños.

En las conclusiones del artículo referido4, los autores sugieren una hipótesis poderosa: que la circulación de ciertas visiones críticas sobre las escuelas en tanto usinas de desigualdad social paradójicamente favorece la introducción de políticas de mercado en la educación.

Downey & Condron nos alertan sobre el predominio de las tesis reproductivistas, recordando que “las brechas socioeconómicas de aprendizaje se originan antes de la escolarización formal y que, en ese contexto, la escuela contribuye a reducir esas brechas más que a aumentarlas.

Si los ciudadanos y los hacedores de política supieran esto, se preocuparían mucho más de atacar las condiciones sociales de origen que generan tales brechas”. Sin embargo, continúan los autores, los expertos en educación “han sido cómplices” a la hora de promover reformas educativas pro-mercado como solución a estas brechas: “Basados en estudios que en su gran mayoría no logran separar adecuadamente el efecto escuela de los demás factores, [los expertos] han promovido la noción de que las escuelas de los niños más favorecidos producen más aprendizajes que las escuelas de los niños más desfavorecidos”. Sin embargo, es necesario reconocer que “cuando se las compara de manera justa, las escuelas de los pobres proveen de entornos de aprendizaje casi a par de las escuelas de los ricos”.

... es evidente que el desacuerdo entre estos dos grupos de tecnócratas se funda en concepciones contrapuestas de justicia en lo que refiere al uso de los rankings de calidad escolar.

Afirmar que solo algunas escuelas promueven aprendizajes es solo el primer paso para “educacionalizar” los problemas sociales. El segundo paso consiste en centrarse únicamente en la educación como única solución posible a estos problemas. El resultado es la difusión visiones muy restringidas de política educativa: “El supuesto de que las políticas que afectan a las familias y a los barrios están fuera de alcance y que la política educativa es el único nivelador social disponible ha sido un obstáculo significativo para entender cómo las escuelas importan realmente. Este enfoque promueve la idea de que las condiciones sociales fuera de la escuela son de alguna manera naturales e independientes de las decisiones de política pública (…)

Una interpretación cínica -y enteramente plausible—del excesivo énfasis en reformar la educación en relación a la reforma de otras instituciones sociales es que sirve un propósito: confundir a la gente en relación a las fuentes reales de la desigualdad, sirviendo así los intereses de aquellos que se benefician de la situación social vigente.

La acusación que realizan Downey & Condron es seria y, políticamente, muy relevante: el enfoque que adoptan los expertos en relación al rol de las escuelas y el contexto social en la producción de las brechas de aprendizaje no sería independiente de sus preferencias en materia de política educativa. Por un lado, los expertos con visiones más progresistas restarán importancia al rol de la educación en la reducción de la desigualdad, subrayando que las diferencias de calidad educativa (reflejada en resultados de aprendizaje) entre distintas escuelas se deben fundamentalmente a diferencias en el contexto socioeconómico. Por otro lado, los expertos de orientación conservadora, más reticentes a la intervención estatal y a las políticas redistributivas, tendrán un interés particular en enfatizar y mostrar diferencias de calidad educativa entre escuelas.

Para la visión conservadora, la percepción pública de diferencias en la calidad de las escuelas es fundamental para la promoción de la educación de mercado. Una mayor variación en la calidad de las escuelas vehiculiza tanto la demanda del ciudadano-consumidor por mejores escuelas como la demanda del ciudadano-elector por políticas públicas que garanticen el derecho de las familias de elegir entre distintos programas educativos, independientemente de si el proveedor es público o privado.

El contexto de los ajustes por contexto

La controversia sobre la responsabilización justa de las escuelas en Chile sigue una lógica similar a la esbozada por Downey & Condron: ciertas ideas sobre el rol de los mecanismos de mercado en educación condicionan las decisiones técnicas relativas a la construcción y uso público de los rankings de calidad escolar. Estas ideas tienen un contexto y una historia.

El caso chileno es inusual dado que la institucionalización de mecanismos de aseguramiento de la calidad en educación se produjo luego de décadas de políticas de mercado implementadas a gran escala.

Así, la rendición de cuentas de altas consecuencias (a saber, que el estado clausure escuelas que presentan rendimientos insuficientes en sucesivas mediciones) fue montada sobre un mercado escolar ya desregulado y altamente privatizado. De ahí que el aseguramiento de la calidad fuera explícitamente concebido para solucionar fallas de mercado.

En 2006, cientos de miles de estudiantes secundarios ocuparon sus liceos, exigiendo mayor presupuesto para la educación pública, así como el fin de vouchers utilizados para financiar instituciones privadas. El modelo de mercado, sostenían los estudiantes, solo refuerza “la profunda segmentación de la oferta educativa de acuerdo con el origen de clase de los niños y jóvenes”. En su manifiesto, también denunciaban el uso y abuso de las pruebas estandarizadas, ya que éstas no toman en cuenta “las particularidades al interior de los establecimientos, como tampoco las diferencias culturales, étnicas y socioeconómica.” Además de ser un instrumento para “la imposición de una lógica privatizadora”, para los estudiantes estas mediciones estandarizadas no reflejan realmente la calidad de las escuelas, dado que “la variabilidad en los resultados escolares obtenidos por los alumnos depende en un porcentaje minoritario de lo que ocurre al interior de las escuelas (no más de un 30%), y en un porcentaje mayoritario de variables extra escolares como el origen socioeconómico, cultural y familiar de los niños (en un 70% y más).”

Atento a las demandas estudiantiles, el gobierno de Bachelet dispuso la creación del “Consejo Asesor Presidencial para la Calidad de la Educación”, conformado por expertos y diversos grupos de interés, incluido los estudiantes.

Este giro hacia las políticas de accountability en tanto estrategia de regulación del mercado escolar constituye una oportunidad única para examinar la cuestión de la justicia en la mediación de la calidad educativa en el marco de conflictos políticos más amplios sobre educación de mercado.

Si bien el Informe del Consejo Asesor6 hacía suya la necesidad de una amplia reforma educacional, también reconocía la falta de consenso sobre la importancia de los mecanismos de mercado en tanto instrumentos al servicio de la mejora escolar. De hecho, los especialistas provenientes de distintas tiendas políticas ofrecieron interpretaciones causales contrapuestas sobre la baja calidad de las escuelas. Los integrantes del Consejo con una postura crítica del modelo de mercado, atribuyeron el mal desempeño de las escuelas a un diseño institucional que delega por completo a los consumidores las presiones para mejorar la calidad. Para este grupo “la competencia no ha mejorado la calidad de la educación, el sistema escolar no es más eficaz y el mercado se ha mostrado inoperante para regular la entrada, permanencia y salida de los malos proveedores.” En contraste, los expertos asociados a los partidos de derecha y al sector privado, atribuyeron los déficits de calidad educativa no a los mecanismos de mercado per se, sino al diseño inadecuado de los incentivos necesarios para solucionar fallas de mercado tales como asimetrías de información en la elección escolar: “como la calidad educacional no es observable, un sistema de subsidio a la demanda requiere desarrollar un sistema de medición de esta calidad cuyos resultados sean informados a las familias”.

A la luz de este desacuerdo, el Informe hizo énfasis en un consenso fundamental: la educación de calidad debe ser reconocida como un derecho, que en tanto tal el estado debe garantizar mediante mecanismos orientados a la definición, evaluación, y cumplimiento de estándares de calidad. Y aún así, a pesar de que las recomendaciones del Consejo Asesor transformaban al aseguramiento de la calidad en el leitmotiv de la regulación del mercado escolar, las tensiones y contradicciones sobre qué es la calidad, cómo debe medirse, y cuáles deberían ser las consecuencias asociadas al incumplimiento de estándares, persistirían por largo tiempo.

Las diferencias ideológicas acerca de la llamada “responsabilización justa” de las escuelas solo se profundizaría con la victoria de la derecha en las elecciones presidenciales de 2009.

En junio de 2010, el Ministerio de Educación, a cargo de Joaquín Lavín, un economista formado en de Universidad Chicago, hacía públicos los resultados de últimas pruebas de aprendizaje.

Pero además, las familias recibirían un mapa en el que todas las escuelas de la comuna aparecían coloreadas en rojo, amarillo o verde en función de sus puntajes promedio, sin ajustar por contexto.

Laintenciónmanifiestadelos“semáforosdeLavín”consistía en informar a los padres sobre la supuesta “calidad” de las distintas escuelas, en línea con los postulados neoliberales dequelainformación, enuncontextoenelquelosrecursos siguen al estudiante, inducirá procesos de mejora escolar basados en la competencia.

Para las fuerzas progresistas, sin embargo, la divulgación de los semáforos no hacía más que reafirmar el fracaso de la educación de mercado como solución a la desigualdad educativa, ya que los mapas evidenciaban la superposición extrema de las brechas de aprendizaje educativas con los patrones de segregación territorial entre clases sociales7.

Este uso politizado de los rankings de escuelas sin ajustar por contexto sin duda impactaría en el debate legislativo aún sin terminar. De todas formas, el congreso aprobaría la Ley de Aseguramiento de la Calidad a principios de 2011, justo antes del estallido de una nueva ola de protestas estudiantiles. En medio de esta escalada del conflicto sobre la educación de mercado, el Ministerio y la recientemente creada Agencia de la Calidad emprendieron la dura tarea de desarrollar una metodología “justa” y “socialmente sensible” para medir la calidad de las escuelas.

Epílogo de una historia interminable

Aún así, la controversia moral entre expertos sobre qué significa la “responsabilización justa” y qué modelo estadístico es el más adecuado para efectivizarla no terminaría con la promulgación del decreto-ley y la implementación de la Metodología de Ordenación de Escuelas. El flamante régimen de rendición de cuentas sería una vez más objetado por el movimiento social. Ya en 2012, alegando la necesidad de una implementación rigurosa y justa de la nueva metodología de ordenación, el gobierno de Piñera decretaba la intensificación y expansión de las pruebas de aprendizaje a más grados y áreas curriculares, incrementando el número de mediciones de nueve a diecisiete en 2014.

En desacuerdo con el informe final, los estudiantes finalmente se retiraron del Consejo. Pero su crítica del modelo de mercado dictaría los términos del debate político en los años venideros.

En marzo de 2014, el gobierno del Chile pasaría nuevamente a manos de la coalición de centro-izquierda, que ahora sí asumiría el compromiso expreso de terminar con la educación de mercado. Un nuevo grupo de especialistas, convocados por el nuevo ministro en funciones, producía un nuevo informe crítico a las políticas de aseguramiento de la calidad8. Sin embargo, el informe final no hacía suya la propuesta, respaldada públicamente por un grupo de diecisiete legisladores oficialistas, de suspender las pruebas nacionales durante tres años y detener la implementación de la metodología de ordenación. El informe sí reconocía el exceso de pruebas estandarizadas, recomendando reducir a la mitad el número de mediciones obligatorias. También condenaba “la publicación de rankings basados en puntajes que no consideran las características socioeconómicas de las y los estudiantes.”

En ese marco, una mayoría de legisladores aprobaría una enmienda prohibiendo la publicación de clasificaciones descontextualizadas. Y, sin embargo, la metodología de ordenación de escuelas, sensible al contexto, pero no tanto, mantendría plena vigencia hasta el presente. El uso público de rankings ciegos al contexto de las escuelas llegaba a su fin.

Pero a costa de institucionalizar un método “conservador” de la calidad escolar que recae excesivamente en pruebas estandarizadas y contempla ajustes moderados por nivel socioeconómico, culpando a las escuelas públicas, una y otra vez, por resultados de los que no necesariamente son responsables.

¿Y los filósofos?

Imagínense, queridos tecnócratas, que conociendo la historia que acabo de narrar, reciben otra invitación de un ministro de otro país inventado para medir la calidad de las escuelas de manera justa. Imagínense que esta vez, en vez de aceptar la invitación y reducir el dilema moral a una controversia metodológica, deciden responder que no, que cualquiera sean las medidas adoptadas por una sociedad democrática para evaluar y responsabilizar a sus escuelas, la construcción de estas medidas jamás debería limitarse a una cuestión técnica; y que un debate no experto, plural y democrático es siempre necesario para abrir la caja negra de estas mediciones y garantizar su validez social y política. Imagínense entonces que el ministro les hace caso, y propone al parlamento de la república la organización de un debate público, en el que participen todos los actores de la educación, esta vez liderado por un grupo de filósofos que aportarán documentos sobre los fundamentos morales de la responsabilización justa, para que los representantes puedan tomar una decisión informada. Imagínense, queridos tecnócratas, la democracia.

Referencia

1 Ver https://www.leychile.cl/Navegar?idNorma=1060182&idParte=&idVersion=

2 Ver https://www.leychile.cl/Navegar?idNorma=1028635

3 Ver acta: https://s3.amazonaws.com/archivos.agenciaeducacion. cl/actas-2013/ACTA+N+32.pdf

4 Ver artículo en https://journals.sagepub.com/doi/ full/10.1177/0038040716651676

5 Ver Resoluciones I Congreso Nacional de Estudiantes Secundarios en  http://www.opech.cl/bibliografico/doc_movest/resoluciones_ congreso_nacional_de_estrudiantes_secundarios.pdf

6 Ver Informe Final de Consejo Asesor Presidencial para la Calidad de la Educación en http://unicef.cl/web/informe-final-del-consejo-asesor-presidencial-para-la-calidad-de-la-educacion

7 Ver http://ciperchile.cl/2011/03/03/las-desigualdades-sociales-que-desnudo-el-controvertido-semaforo-del-mapa-simce

8 Ver https://www.mineduc.cl/wp-content/uploads/sites/19/2015/11/Informe-Equipo-de-Tarea-Revisi%C3%B3n-Simce.pdf

MiniBio

Gabriel Chouhy es Magister y Doctorado en Sociología por la Universidad de Pittsburgh. Recibió también el título de Licenciado en Sociología por la Universidad de la República. Actualmente está radicado en Nueva Orleans con motivo de su estancia postdoctoral en la Universidad de Tulane. Su investigación utiliza herramientas de la sociología política y económica para comprender las controversias morales y técnicas sobre la implementación de dispositivos de macheo y medición para la regulación de mercados educativos. Antes de radicarse en Estados Unidos, Gabriel trabajó varios años como docente del Departamento de Sociología de la UdelaR. También formó parte del Departamento de Evaluación de Aprendizajes de la Administración Nacional de Educación Pública.