Las opiniones sobre las pruebas PISA de la OCDE oscilan entre dos extremos: por una parte, críticas que cuestionan su capacidad para medir el nivel de aprendizaje de jóvenes de países que tienen condiciones económicas, sociales y culturales muy diversas y las descalifican achacándoles ser neoliberales; por otra, valoraciones extremadamente positivas, que consideran que deberían ser el referente clave y la base para la formulación de políticas en cualquier sistema educativo.
Desde las primeras rondas de PISA algunas personas intentaban descalificar los resultados aduciendo que, por tener sólo preguntas de opción múltiple, las pruebas estandarizadas medirían únicamente memoria o aplicación mecánica de algoritmos, de lo que inferían que PISA era parte de una estrategia para que los jóvenes pobres tuvieran únicamente competencias elementales y formaran una masa dócil que aceptara sin chistar la opresión de las élites. Una visión superficial de las preguntas a las que se puede acceder basta para evidenciar que no es así y que las pruebas PISA miden competencias complejas, que es deseable tengan los ciudadanos de todos los países para acceder a una vida plena en una sociedad del conocimiento.
Otras críticas apuntan a supuestas fallas de las pruebas, que no tendrían en cuenta la condición social y cultural de cada país, lo que haría poco fiables los resultados. El proyecto PISA tiene claro que hay profundas diferencias entre las decenas de países participantes, lo que se capta con los cuestionarios que se aplican junto con las pruebas y con el rico sistema de indicadores que mantiene la OCDE —pero eso no resta fiabilidad al resultado de las pruebas— que se asegura con un cuidadoso diseño y piloteo de las preguntas, antes de su aplicación, en todos los países participantes, para evitar sesgos de cualquier tipo. Por ello las pruebas miden bien el grado en que los evaluados dominan la competencia lectora, matemática y científica; el que las chicas y los chicos de países de menor desarrollo tengan, en promedio, niveles inferiores a sus coetáneos de países más ricos es algo que debe corregirse, pero no ayuda a ello poner en duda que sea una realidad.
Otra crítica sostiene que las pruebas PISA evalúan solamente competencia lectora, matemática y científica porque la sociedad que tienen como referente es una que privilegia la competencia y el lucro —y no valores de solidaridad y humanismo—, por lo que las pruebas dejan fuera áreas como historia y ciencias sociales. Una noción elemental de psicometría basta para entender que los contenidos de las áreas de lectura, matemáticas y ciencias naturales se prestan para desarrollar instrumentos de medición comparables internacionalmente, mientras que esto es mucho más difícil para historia y otras disciplinas, lo que explica que no sólo las pruebas de la OCDE, sino también las de TIMSS y PIRLS, y muchas evaluaciones nacionales, se limiten a las mismas áreas que PISA.
En el extremo opuesto, otras personas piensan que las autoridades de los sistemas educativos de cualquier país deberían considerar los resultados de PISA como un punto de referencia fundamental y diseñar políticas a partir de la comparación con los países de mejores resultados en los ordenamientos basados en dichas pruebas, detectando prácticas exitosas y aprendiendo de sus éxitos.
La idea parece buena, pero un análisis muestra serios problemas, como apunta el texto “Pánico moral, remedios milagrosos y políticas educativas: qué podemos aprender realmente de comparaciones internacionales”,de Robin Alexander.1 Según este autor, es razonable creer que se debe aprender de países asiáticos, ahora que Shanghai, Corea del Sur, Hong Kong y Singapur parecen intocables en la cumbre de los rankings de PISA. El problema es la forma en que estudian otros sistemas educativos y la forma en que traducen a políticas lo que descubren:
Las reacciones de política suelen presentar uno o más de estos tres rasgos: (i) extrema selectividad en la evidencia citada; (ii) una fe que parece fuera de lugar en la capacidad de las intervenciones de alcance nacional para transformar las prácticas de aula y, por ende, para elevar los estándares; (iii) una preferencia por intervenciones draconianas, de alto impacto […] con base en la idea de que una vez que se identifica públicamente un problema […] solamente las medidas más firmes del gobierno conseguirán impresionar al electorado.2
Dicho autor señala que, a pesar de que sabemos que en educación y economía hay que tener mucho cuidado para hacer atribuciones causales, los gobiernos parecen “creer ingenuamente que subir los puntajes en pruebas hará mejorar la economía y que copiar las políticas educativas de las naciones exitosas conseguirá a la vez subir los puntajes y sacarnos de la recesión”y, retomando a Alison Wolf, apunta:
El término preferido es “apalancamiento”, metáfora reveladora: apriete un extremo de la palanca (educación en lengua y matemáticas rica en calorías, liderazgo escolar de alto octanaje, pruebas de alto impacto) y el otro extremo subirá con mejores puntajes educativos y buen desempeño económico. Ojalá las cosas fueran tan simples.3
Los resultados de PISA se usan incluso para formular recomendaciones de política, como hizo un informe por el que el Reino Unido pagó una millonaria cantidad, el estudio McKinsey: “How the World’s Best-Performing School Systems Come Out on Top”, elaborado por Michael Barber and Mona Mourshed en 2007, que Alexander cuestiona por pretender identificar lo que los mejores sistemas educativos podrían enseñar a los menos exitosos con base en el “único y discutible criterio” de los resultados obtenidos en las pruebas PISA. Alexander muestra lo trivial de las recomendaciones del informe:
Las tres cosas más importantes son: 1) conseguir que las mejores personas se hagan maestros, 2) hacer que lleguen a ser instructores efectivos y, 3) asegurar que el sistema ofrezca la mejor instrucción posible a cada niño. A lo largo de la costosa búsqueda de este petardo mojado, McKinsey ofrece otras revelaciones sorprendentes como estas: “La calidad de un sistema educativo no puede ser mejor que la de sus maestros”, “la única manera de mejorar los resultados es mejorar la instrucción” y “un alto desempeño requiere que cada niño tenga éxito”. A tan elaboradas tautologías McKinsey añade gemas lingüísticas como: “Los mejores sistemas apalancan [leverage] un conocimiento sustancial y creciente de lo que es un liderazgo escolar efectivo para hacer que sus directores se vuelvan conductores de la instrucción”.4
En relación con la última parte de la cita anterior, Alexander observa que la impronta del estudio McKinsey es visible en la política que pretende que los directores de escuela, que en la visión tradicional son sólo maestros con más experiencia que sus colegas [head teachers, primus inter pares], se vuelvan líderes, “figuras heroicas que transforman escuelas con problemas y marcan con el sello de su fuerte presencia a los simples mortales que se encargan de la enseñanza”.5
Según el autor, esta manera de entender el liderazgo escolar:
[…] se ha vuelto otro remedio milagroso post-PISA que McKinsey recomienda para consumo universal, a pesar de que en muchos países, incluyendo a Finlandia […] los directores de escuela tienen un papel mucho más modesto que en Inglaterra y no pueden imponer su voluntad a los demás maestros.6
Este autor subraya que, además de límites no menores derivados de la calidad de la información usada y la selectividad con que se maneja, las fallas más serias del Informe McKinsey radican en que ignora la complejidad de las prácticas docentes y la especificidad del contexto cultural de cada sistema educativo. Las recomendaciones de ese tipo de estudios se refieren siempre a elementos que se manejan de manera uniforme a nivel de todo un sistema (como el currículo), sin tener en cuenta lo que ocurre realmente en las aulas.
Alexander reitera la importancia de tener en cuenta la especificidad del contexto cultural y la dificultad de simplemente transferir políticas. Advirtiendo la frecuente referencia a Confucio para entender la educación de países asiáticos, recuerda una vieja afirmación de Michael Sadler: “Toda buena educación es la expresión de la vida y el carácter de una nación”, y señala que debería tener como consecuencia que “importe la cultura, no las políticas”. Y recordando la distinción de David Hargreaves:
Entre réplica, adaptación, injerto y rediseño de políticas, Alexander sugiere que solamente el rediseño tiene posibilidades reales de éxito, aunque es también mucho más difícil de hacer que las otras tres.7
Los puntajes obtenidos por las y los jóvenes evaluados en el proyecto PISA no pueden dar bases suficientes para que los países participantes puedan diseñar políticas consistentes para la mejora educativa. La aplicación de las pruebas de la OCDE es acompañada por cuestionarios que se aplican a los estudiantes mismos, y también a los directores de las escuelas y en algunos casos a los docentes, con lo que se obtiene información sobre el contexto en que ocurre el aprendizaje, además de otros datos que proporcionan las autoridades educativas de los países participantes. Por ello en cada ronda de PISA, la OCDE no se limita a publicar ordenamientos con los puntajes promedio, sino que prepara análisis más ricos, que llenan volúmenes enteros, y cuya difusión lleva un par de años. Es claro que las autoridades de los países participantes no deberían limitarse a superficiales lecturas de ordenamientos sino que deberían revisar en detalle la abundante información derivada del proyecto PISA, lo que no suele ocurrir, pero ni siquiera esto sería suficiente para sustentar el diseño de políticas educativas consistentes.
Para esto no basta tener datos sobre el nivel de aprendizaje de los jóvenes de 15 a 16 años en algunas áreas, sino que hace falta mucha más información:
- Sobre el nivel de aprendizaje en las áreas que cubre PISA, pero también en las demás del currículo, y a todo lo largo del trayecto escolar.
- Sobre las condiciones de la escuela, desde sus instalaciones hasta todos los recursos con que cuenta.
- Sobre el funcionamiento de la escuela y el ambiente que prevalece en ella, teniendo en cuenta el trabajo del director y del equipo docente.
- Sobre el funcionamiento de las aulas, incluyendo el uso del tiempo, el clima que prevalece, así como las prácticas docentes y discentes.
- Sobre las condiciones que pueden favorecer u obstaculizar el aprendizaje en el hogar y el entorno de los alumnos, incluyendo el apoyo de los padres.
- Sobre características del sistema educativo que podrán favorecer o dificultar la implementación de ciertas políticas, como el grado de autonomía de los subsistemas regionales y de las escuelas, la disponibilidad de recursos, el papel de los sindicatos y su posible postura, etc.
PISA informa sobre lo que jóvenes del grupo de edad evaluado saben y son capaces de hacer en las áreas cubiertas, en forma que permite comparar dichos aprendizajes con los que alcanzan los estudiantes de otros sistemas educativos, y con los del mismo país a lo largo del tiempo. Esto no es trivial, pero no basta para sustentar el diseño de políticas, que necesariamente debe tener en cuenta muchas otras cosas, como las mencionadas en la enumeración anterior. Por eso los sistemas educativos no pueden depender de la información que puede dar PISA cada tres años, sino que necesitan contar con instrumentos propios que les den más información.
Deseablemente, esos instrumentos deberían incluir un buen sistema de pruebas nacionales, que ofrezcan información de buena calidad sobre niveles de aprendizaje de los estudiantes del sistema en áreas y grados clave, como la que ofrecían las pruebas Excale y luego PLANEA, del extinto Instituto Nacional para la Evaluación de la Educación (INEE), que se aplicaban en un ciclo de cuatro años a muestras de alumnos (de 3.° de preescolar, 3.° y 6.°, de primaria, 3.° de secundaria y 3.° de media superior) que permitían tener resultados no sólo a nivel nacional, sino por entidad federativa y de los grandes subsistemas educativos. Es necesario, además, tener información de muchos insumos, procesos y productos del sistema educativo, mediante un buen sistema de indicadores, como el que presentaba el Panorama Educativo de México.
Pero lo anterior no basta. Es indispensable también contar con información sobre muchos aspectos más finos, que no pueden dar ni las pruebas, incluso con buenos cuestionarios de contexto, ni el sistema de indicadores. Para contar con este tipo de información “cualitativa” es necesario acudir a otras dos fuentes: por una parte, la investigación educativa, que deberá fomentarse en dependencias del Ejecutivo, además de centros especializados, universidades y escuelas normales; por otra, el importantísimo conocimiento del sistema y sus entresijos que tienen los actores, en especial docentes y directores, además de las autoridades educativas.
La escasez de información como la que se describe, con la superficialidad de las miradas de los medios de comunicación y no pocas autoridades, explican que las lecturas más frecuentes de los resultados de PISA sean superficiales e inexactas.
Como lo mostré en un texto anterior (en este mismo espacio), son superficiales las reacciones de alarma que provocan los resultados de PISA, vistos como evidencia del supuesto rotundo fracaso de un sistema educativo como el mexicano, por ocupar un lugar que se cree malísimo en los ordenamientos. En realidad, el lugar de cada país en ellos es similar al que ocupa en otros basados en el PIB per cápita o en el Índice de Desarrollo Humano, lo que muestra que el nivel educativo es uno de muchos aspectos fuertemente correlacionados y refleja lo bien sabido: que los niveles de aprendizaje que alcanzan las y los jóvenes tienen mucho que ver no sólo con la calidad de la enseñanza que reciben, sino también con los niveles de riqueza o pobreza de las familias y los entornos sociales correspondientes.
Otra reacción alarmista va en el sentido de que los niveles de aprendizaje de un país permanecen básicamente iguales de una ronda a otra. El análisis del conjunto de países que participan en las pruebas de la OCDE muestra que la tendencia plana, lejos de excepcional, es común a la gran mayoría de los participantes, como ocurre en otras evaluaciones que tienen datos suficientes para definir tendencias, porque no es fácil elevar el nivel de aprendizaje de miles de jóvenes.
La calidad de la educación mexicana no es pésima, como dicen lecturas simplistas. Esta postura no es conformista. La calidad de nuestra educación dista mucho de lo deseable, y mejorarla implicará un esfuerzo intenso y prolongado. Para conseguir esa mejora es necesario que confluyan avances de los factores extraescolares y de los de la escuela, de las políticas educativas y otras orientadas a mejorar las condiciones de vida de los sectores vulnerables de la población, con un enfoque intersectorial. Es necesario también un gran consenso social en pro de la calidad educativa, que debe basarse en una postura que valore lo positivo y lo negativo en forma equilibrada, evitando lecturas extremas no sustentadas, siguiendo la recomendación de Sergio Bitar, experimentado exsecretario de educación de Chile:
Una recomendación para quienes estén verdaderamente interesados en acometer cambios significativos y perdurables en educación: deben evaluar con rigor los resultados, procesos y organización existentes, sin menospreciar o desechar a priori. Hay mucha gente comprometida de corazón, que efectúa loables esfuerzos y se desempeña con excelencia. La tentación de hacer juicios descalificatorios a la bandada acarrea desánimo a los mejores. Y, en educación, su buena disposición y entusiasmo son fundamentales. Se debe actuar de manera firme con los negligentes y estimulante con los diligentes. La escasa comprensión de la complejidad de los factores involucrados en el mejoramiento de la educación conduce a formular apreciaciones tajantes como que “la educación es un desastre”, que no sólo menosprecian los logros obtenidos y suelen venir acompañadas de recetas fáciles e inconducentes, sino que alejan cualquier posibilidad de solución y desmoralizan a profesores, directivos, expertos, funcionarios, padres y estudiantes.
Felipe Martínez Rizo
Investigador honorario (jubilado) del Depto. de Educación de la Benemérita Universidad Autónoma de Aguascalientes
1 Alexander, Robin,”Moral Panic, Miracle Cures and Educational Policy: what can we really learn from international comparison?”, Scottish Educational Review 44 (1), 4-21
2 Ibíd, pp. 4
3 Alexander, ob. cit., p. 5
4 Barber y Mourshed 2007, p. 4 y 30, según Alexander, ob. cit., pp. 8-9
5 Alexander , ob. cit., p. 10
6 Ídem
7 Hargreaves, David, A self-improving school system in international context, National College for School Leadership, 2012, p. 15