Ahí viene PISA. Segunda parte

Cuatro diferentes fuentes de información permiten anticipar que el próximo diciembre México obtendrá resultados en PISA inferiores a los de los 18 años anteriores. Tanto los estragos de la pandemia como las medidas en política educativa y curricular de la Nueva Escuela Mexicana han agrietado la plataforma de despegue de la educación de calidad.

En primer lugar, un excelente artículo académico publicado en 2022 en el International Journal of Educational Development por F. J. Hevia y coautores. Destaca que no sólo se esperan pérdidas significativas en aprendizaje sino aumentos en “pobreza de aprendizaje”, sobre todo para los estudiantes con más desventaja socioeconómica.

En segundo lugar, la Secretaría de Educación del gobierno del estado de Guanajuato también ha realizado un estupendo trabajo de evaluación educativa con asesoría del Banco Mundial en su programa RIMA. Bajo este programa, la autoridad de evaluación educativa de Guanajuato midió el desempeño de los estudiantes de 5.º y 6.º de primaria y de 2.º y 3.º de secundaria en español y matemáticas con las mismas pruebas tanto 2020 (en marzo antes del cierre de las escuelas) como en 2021 (en noviembre con la reapertura de las escuelas); observó que los estudiantes obtuvieron en promedio un retroceso de 5 %. En 2020 los estudiantes de 6.º grado de primaria obtuvieron 49 % de respuestas correctas en español y 45 % de respuestas correctas en matemáticas; para 2021 los nuevos estudiantes de los mismos grados obtuvieron 44 % y 38 % de respuestas correctas. Es decir, una disminución de 5 % y 7 % de respuestas correctas entre 2020 y 2021. En secundaria, los estudiantes de 3.º obtuvieron en 2020 (antes de la pandemia) 45 % de respuestas correctas en español contra 40 % de respuestas correctas en 2021; y en matemáticas, 38 % contra 35 %, respectivamente. Según las estimaciones de RIMA, la caída en promedio para la primaria (5.º y 6.º grados) y la secundaria (2.º y 3.º grados) fue de 5 puntos porcentuales, lo que equivale a una pérdida de un año escolar. ¿Cómo saben que el 5 % equivale a un año escolar? Esto lo pueden estimar con otra evaluación muy ingeniosa que realizaron para medir qué tanto aprenden los estudiantes en un año. Sólo hicieron esta nueva evaluación para 5.º y 6.º de primaria. En este caso, la Secretaría de Educación de Guanajuato hizo lo siguiente: aplicaron la misma prueba de matemáticas y español a los estudiantes de 5.º y 6.º de primaria en 2020 y 2021. Los resultados se pueden observar en la tabla 1. En 2020, antes de la pandemia, los alumnos de 5.º grado obtuvieron el 40 % de respuestas correctas; los de 6.º grado (recordemos que con la misma prueba que los de quinto grado) obtuvieron un 45 % de respuestas correctas. Esto quiere decir que un año más de estudios representa 5 % de mejora. En español, el mismo ejercicio arrojó resultados equivalentes de 45 % para 5.º grado y 50 % para 6.º grado antes de la pandemia. Hicieron el mismo ejercicio en 2021, con el regreso a clases, y obtuvieron resultados muy valiosos para la evaluación educativa. Los estudiantes de 5.º grado obtuvieron 35 % de respuestas correctas en matemáticas (nótese que son 5 puntos porcentuales por debajo de 2020) y los de 6.º grado obtuvieron 38 % de respuestas correctas (nótese que son 7 porcentuales por debajo de 2020).

Con este ejercicio relativamente sencillo, pero muy ingenioso, el estado de Guanajuato y el Banco Mundial obtuvieron dos respuestas: primero, las ganancias que se logran tanto en matemáticas como en español por un año de estudio, en condiciones normales de prepandemia (5 puntos porcentuales para ambas materias) y en condiciones de pospandemia (3 puntos porcentuales para matemáticas y 5 puntos porcentuales para español). Es decir, en ambos casos ganaron 5 o 3 puntos porcentuales por un año más de estudio. Adicionalmente, también pudieron medir los efectos de la pandemia. Es decir, para los mismos grados escolares y las mismas materias los niveles de respuestas correctas (aprendizaje) fueron menores después de la pandemia: 5 puntos porcentuales (de 40 a 35 en matemáticas para 5.º grado) y 7 puntos porcentuales (de 45 a 38 en matemáticas para 6.º grado). En español, el porcentaje de respuestas correctas también fue menor: de 45 a 39 en 5.º grado y de 50 a 44 en 6.º grado. Una interpretación es que, después de la pandemia, las y los estudiantes tenían menos niveles de conocimiento o aprendizaje para los mismos grados y materias que las y los estudiantes antes de la pandemia, en una proporción que oscila entre un año y un año y medio perdido de aprendizaje. También se puede concluir que, antes de la pandemia, las estudiantes de 5.º de primaria tenían mejores resultados en matemáticas (40 %) que las estudiantes de 6.º grado (38 %) después de la pandemia, a pesar de un año más de estudio (pero un año con educación a distancia). En español, los estudiantes de 5.º grado mostraron ligeramente mejores resultados (45 %) que los de 6.º grado (44 %), pero con un año más de educación a distancia. El efecto negativo de la educación a distancia fue mayor en matemáticas que en español.

Tabla 1. Porcentaje de respuestas correctas en pruebas idénticas aplicadas a estudiantes de 5.º y 6.º grados de primaria en matemáticas y español en 2020 y 2021

Fuente: elaboración propia

En tercer lugar, el portal de la Secretaría de Educación de Campeche publica los resultados de PLANEA en educación media superior, entre 2017 y 2022, para el último grado de estudio. Aquí también se observan fuertes pérdidas en niveles de logros de los estudiantes. En 2022 hay más estudiantes en el nivel más bajo de logro y menos en el nivel más alto que en 2017. La tabla 2 muestra claramente una pérdida en los niveles de logro entre 2017 y 2022. Ahora hay más jóvenes con menos aprendizajes y menos jóvenes con más aprendizaje que en 2017. En Planea 2022, para matemáticas, un poco más del 75 % “tiene un conocimiento insuficiente de los aprendizajes clave incluidos en los referentes curriculares. Esto refleja mayores dificultades para continuar con su trayectoria académica”.

Tabla 2. Porcentaje de estudiantes que se ubican en los niveles de desempeño I y V en las materias y años que se indican

Fuente: elaboración propia

En cuarto y último lugar, la Comisión Nacional para la Mejora Continua de la Educación publicó los resultados de la Evaluación Diagnóstica del Aprendizaje de las y los Alumnos de Educación Básica 2022-2023. Ésta es en realidad la segunda aplicación de esta prueba, seguida de la aplicada en 2021-2022 cuyos resultados no se publicaron por su irregularidad y baja participación. Con la publicación de esta evaluación diagnóstica del 2022-2023 inicia una nueva etapa de evaluaciones (pruebas) que tendrá que someterse al cambio de gobierno a partir de finales de 2024 para saber si se trata de una serie metodológicamente comparable en el tiempo o si le ocurrirá lo mismo que a otras pruebas como le sucedió a PLANEA en el sexenio anterior. Por ser una prueba nueva, metodológicamente diferente a PLANEA, no podemos conocer el estado de los aprendizajes antes y después de la pandemia, o construir una historia coherente de los aprendizajes. Sólo podremos hacer conjeturas informadas sobre lo que sucedió como lo hice en los casos anteriores de Campeche y Guanajuato. La Evaluación Diagnóstica de 2022-2023 se aplicó en tres dominios: lectura, matemáticas y formación cívica y ética, y está referenciada a los currículos escolares de 2011 y 2017 que desaparecen a partir del ciclo escolar 2023-2024. El cambio de currículos hará imposible la comparación directa entre 2022-2023 y los ciclos escolares consecuentes. Por ello, la nueva historia de la evaluación educativa en México nace truncada y, peor aún, será sometida a un cambio político sexenal que seguramente la modificará. Independientemente de lo anterior, la nueva Evaluación Diagnóstica se aplicó a todos los grados de primaria y secundaria a partir del segundo grado de primaria. La tabla 3 resume los resultados por nivel de logro —que ahora se denominan niveles de prioridad alta, media y baja— para los grados de 6.º de primaria y 3.º de secundaria. El nivel más bajo de desempeño se refiere a la prioridad alta y el nivel más alto a la prioridad baja. Entonces, el resultado de las evaluaciones no se mide por nivel de logro sino por número de aciertos. El nivel de prioridad alta significa estudiantes que obtuvieron menos de un 40 % de aciertos. El nivel de prioridad media significa estudiantes que obtuvieron entre 40 % y 60 % de aciertos. El nivel de prioridad baja significa estudiantes que obtuvieron más de 60 % de aciertos.

Tabla 3. Niveles de prioridad de la prueba diagnóstica 2022-2023: porcentaje de aciertos

Fuente: elaboración propia

Independientemente de si existió o no estricta formalidad estadística en el levantamiento de la muestra de escuelas y estudiantes, así como de las características y las condiciones no estandarizadas y no controladas de aplicación de la prueba, dado que cada escuela seleccionó la alternativa de aplicación entre cuatro opciones (cuadernillos y hojas de respuesta impresas, cuadernillo proyectado en una pantalla y hojas de respuesta impresas, prueba asistida por computadora con aplicación local-digital, y prueba asistida por computadora con aplicación en línea), los números desplegados en la tabla 3 muestran resultados muy bajos en primaria y secundaria tanto en lectura como en matemáticas. Los resultados más bajos se presentan en matemáticas y crecen al transitar de la primaria a la secundaria. El 70 % de los estudiantes de 3.º de secundaria se ubica en el nivel “prioridad alta”, que significa el más bajo nivel de logro en matemáticas.

¿Qué debemos esperar en diciembre con la publicación de PISA 2022?

Derivado de la información anterior, PISA 2022 será un año especialmente bajo para México y América Latina. Entre otras razones, porque fue una de las regiones del mundo que permaneció con las escuelas cerradas por más tiempo durante la pandemia.

Es muy difícil dar una cifra precisa para México o cualquier otro país. Pero puedo hacer algunas conjeturas informadas. A partir de una muestra de 23 países o economías dentro de los cuales se ubican los principales socios y competidores comerciales de México y varios países de América Latina, he calculado un promedio simple de los resultados de las últimas cuatro evaluaciones de PISA desde 2009 hasta 2018; a la cifra restante le he aplicado un factor de disminución que depende del número de semanas que estuvieron cerradas las escuelas, con base en el criterio que considera que un año escolar equivale más o menos entre 30 y 40 puntos PISA para cada dominio de aplicación: lectura, matemáticas y ciencia. En este sentido, para países que estuvieron cerrados menos de 50 semanas y que son países con alto nivel de desarrollo, no se le redujo ningún punto al promedio simple estimado de sus resultados entre 2009 y 2018. Son 15 países o economías que cumplen con este requisito. El resto de los países está conformado por cinco países de América Latina, los cuales mantuvieron sus escuelas cerradas por más de 70 semanas. A todos ellos les reduje 20 puntos, considerando un punto medio de pérdida por un año escolar (considerando el año escolar en 40 puntos PISA). Los tres países restantes son Corea, Canadá y Estados Unidos. A Corea sólo le resté cinco puntos por ser una nación con una fuerte orientación educativa aunque mantuvo cerradas sus escuelas por 76 semanas. A Canadá, que mantuvo sus escuelas cerradas por 51 semanas, únicamente le resté cinco puntos por su alto nivel de desarrollo y altos resultados en todas las pruebas PISA anteriores. Finalmente, a Estados Unidos, con 71 semanas cerradas, solamente le reduje diez puntos por su alto nivel de desarrollo y gasto educativo. Con esas consideraciones tomadas en cuenta, la siguiente tabla muestra una estimación de resultados esperados para PISA 2022.

Tabla 4. Estimaciones del autor para los resultados de PISA 2022

Fuente: elaboración propia

La tabla 4 es consistente con lo que hemos visto en las dos décadas de aplicación de PISA. Los países más golpeados por la pandemia son los latinoamericanos que ya mostraban resultados muy bajos. En este grupo se encuentra México, especialmente afectado tanto por la pandemia como por una política educativa que le ha restado fuerza a la evaluación educativa y presupuesto a la formación de docentes. Estos resultados, al menos para México, parecen ser consistentes con lo que vimos tanto en RIMA como en PLANEA.

Hay muchos otros factores que pueden afectar los resultados concretos en PISA que no he tomado en consideración; no lo hago porque, con tantos países y factores involucrados, los resultados serían imposibles de predecir con exactitud. Pero, quitando algunas excepciones, yo esperaría una distribución de resultados más o menos en los términos de la tabla; no exactamente en el ranking ahí marcado, pero algo similar. Los países de los 6 o 7 primeros lugares más o menos quedarán arriba; los países intermedios seguirán oscilando en posiciones intermedias, y los países de la parte más baja de la lista seguirán en la parte más baja de la lista, aunque la brecha entre los mejores y los peores seguramente aumentará. Por ejemplo, para el caso de México, la brecha con Singapur en matemáticas fue de 160 puntos. Para 2022, de acuerdo con mi estimación, la brecha crecería a 175 puntos. Si alrededor de 40 puntos equivalen a un año escolar de estudios, 160/40 equivaldrían a cuatro años escolares de ventaja para Singapur en 2018, en tanto 175/4 para el año 2022 equivaldrían a casi 4.4 años escolares de ventaja para Singapur. Este análisis hipotético quiere decir que los jóvenes de 15 años en México que regularmente cursan primero de preparatoria estarían compitiendo en conocimiento con estudiantes de primero de secundaria o sexto de primaria de países con sistemas educativos robustos como Singapur, Japón o Finlandia.

Conclusión

Para México queda un enorme desafío que habrá de enfrentar el nuevo gobierno. Éste se deriva de cuatro factores que seguramente impactarán, aún más, la débil la calidad educativa de nuestros niños y jóvenes: 1) menor importancia a la evaluación educativa; 2) menos presupuesto asignado a la educación; 3) menos presupuesto asignado a la formación y profesionalización del magisterio; 4) un currículo escolar de la educación básica, junto con una nueva familia de libros de texto, cuestionados fuertemente por el sector académico.

El futuro en la educación para México es desconsolador. No lo ha sido durante los últimos seis sexenios, desde la famosa ANMEB de Salinas y Zedillo hasta la Nueva escuela mexicana. Hemos perdido 35 años para nutrir una educación de calidad. Todavía estamos discutiendo cuestiones de baja política educativa como lo que se refiere a los contenidos de los libros de texto gratuitos, cuando deberíamos haber resuelto temas de alta política educativa como: ¿quién decide los contenidos curriculares? ¿Cómo se elaboran los libros de texto gratuitos? ¿Qué tan centralizada está la política educativa de un sector cuya problemática es esencialmente local? ¿Por qué se ha reducido de manera significativa el gasto educativo a pesar de que históricamente hemos mantenido un nivel de gasto por estudiante extremadamente bajo? Por ejemplo, para 2020, México gastó por estudiante 3239 dólares internacionales contra un promedio de la OCDE de 12 647 dólares internacionales. No sólo México es el país de los 38 miembros de la OCDE (incluidos Chile, Colombia y Costa Rica) que menos gasta en educación, sino que también está muy lejos de países que gastan mucho más en educación, con necesidades educativas menos imperiosas que nuestro país. Es decir, un gasto anual por estudiante de poco más de 3000 dólares internacionales es extraordinariamente bajo para un país como México con una deuda educativa de un tamaño monumental.

La educación en sentido amplio, que incluye la crianza en el hogar y la enseñanza en la escuela, es la llave para un desarrollo personal y social de largo plazo. Como hemos visto a lo largo de este ensayo con dos entregas, los gobiernos del México más moderno, abierto y global —de los últimos 35 años— no le han dado la importancia que merece la educación más allá de la retórica y reformas legales que no se cristalizan o que simplemente entronizan frases discursivas. No hemos visto un gobierno realmente interesado en educación y hemos perdido una batalla contra la ignorancia que se refleja en una sociedad envuelta en corrupción persistente, inseguridad y deterioro ambiental crecientes, demagogia fácilmente confundida por democracia y populismo que tergiversan los hechos y argumentos para favorecer a un grupo en el poder. La educación ha sido menospreciada. La mejor obra de “infraestructura” para un país que se preocupa por sus habitantes es sin duda la que proporciona servicios de educación, salud, ecología y seguridad de muy alta calidad.

Eduardo Andere
Investigador visitante del Boston College en Estados Unidos, afiliado a CREDOMEX en México.