Ahí viene PISA. Primera parte

¿Qué es PISA?

La prueba mundial PISA (Programme for International Student Assessment) o Programa para la Evaluación Internacional de Alumnos auspiciada por la OCDE (Organización para la Cooperación y Desarrollo Económicos) que mide el nivel de los aprendizajes en lectura, matemáticas y ciencia nació en 2000 y se aplicó en rondas trianuales hasta 2018. La ronda prevista para 2021 se llevó a cabo en 2022 debido a la pandemia. A partir de 2022 la prueba regresa a sus rondas cada tres años. Los resultados de PISA 2022, que se darán a conocer en los primeros días de diciembre de 2023, son esperados con ansiedad precisamente por el hiato que ocasionó la pandemia y porque para muchos países esta prueba representa una historia de veinte años imposible de replicar.

La prueba PISA, a diferencia de muchas otras, está ligada a la edad de los estudiantes y no a su grado escolar. Se aplica a estudiantes entre 15 años y tres meses y 16 años y dos meses inscritos al menos en el grado siete (primero de secundaria en el caso mexicano) de la educación básica. La prueba es considerada dentro del grupo de evaluaciones basadas en normas o con referencia a normas. Las pruebas basadas en normas son aquellas que miden lo que los estudiantes saben en el momento de responder la prueba de acuerdo con lo que los expertos consideran que deben saber por el nivel de edad. Por lo tanto, las pruebas no están atadas al currículo escolar. Existe otro grupo de pruebas a las que se les denomina basadas en criterio, que miden lo que los estudiantes aprendieron en razón de un currículo específico y —por tanto— en lugar de estar basadas en la edad de los estudiantes están diseñadas para un grado escolar, por ejemplo, pruebas para cuarto o sexto de primaria o segundo se secundaria, etcétera. Las pruebas PIRLS y TIMSS, a las que me referiré más adelante, están diseñadas en lo que los estudiantes saben o no saben de acuerdo con el currículo de un año escolar.

Cierto, la prueba PISA ha sido criticada por muchos académicos y organizaciones relacionadas con la educación, inclusive por mí, en mi libro originalmente publicado en 2008 por el Centro de Investigación sobre Educación Comparada de la Universidad de Hong Kong con el título The lending power of PISA —en 2010 dicha obra se publicó en español con el título El poder de PISA—. Sin embargo, a pesar de sus críticas la prueba PISA tiene sus méritos. En primer lugar, es una prueba diferente, mide no lo que los estudiantes debieran saber de acuerdo con un currículo escolar sino lo que realmente saben de acuerdo con lo que los expertos consideran que deben saber, por tanto, en sentido estricto es de las pruebas más estandarizadas posibles; tanto en sus contenidos como en su aplicación. En este caso la estandarización de la prueba y su aplicación es muy importante porque mide lo que unos estudiantes saben con relación a otros, sin importar su grado escolar o el tipo de currículo al que fueron expuestos en sistemas educativos diferentes. Tanto la estandarización como la comparación de la prueba PISA ha provocado un sinnúmero de críticas normalmente enarboladas por quienes ven a la educación como un proceso de aprendizaje y no como un resultado de aprendizaje. Pero son cosas diferentes. PISA no irrumpe el proceso y bien utilizados los resultados puede orientar de manera adecuada las políticas públicas y escolares.

¿Para qué sirve PISA?

La prueba PISA es un buen instrumento para, por un lado, informar sobre el estado de los aprendizajes al final de la educación básica o principio de la educación media superior y, por el otro, permitir que los responsables de las políticas públicas tengan datos duros sobre cómo se están formando sus estudiantes en comparación con otros y otras estudiantes de la misma edad alrededor del mundo. Además, a la par de la prueba PISA se aplican cuestionarios de contexto para obtener información sobre las condiciones sociales y económicas de los estudiantes y sus escuelas. Dos de esos cuestionarios son obligatorios: el de los estudiantes y el de los directores de escuelas participantes; otros tres son opcionales para estudiantes, maestros y padres de familia. A partir de la comparación de los resultados de las pruebas con las respuestas de los cuestionarios de contexto, los redactores de los informes de PISA construyen explicaciones y modelan los sistemas, prácticas y políticas que según ellos mejorarían el desempeño de los estudiantes. Es aquí, en este nivel de análisis, donde PISA y otras pruebas similares reciben las mayores críticas.

Aunque es el epítome de la globalidad en la educación, PISA no es buen insumo para explicar el porqué del estado de los aprendizajes y menos para ofrecer soluciones ubicuas. Al respecto, las personas expertas en educación comparada le denominan: “La limitada capacidad de transferir políticas, prácticas e ideas de un sistema o país a otro”. En suma, PISA sirve bien como un instrumento para ubicar, comparar y referenciar, pero no para explicar, predecir o aleccionar, y menos aún para exportar (transferir) lo que funciona en un sistema a otros.

Popularidad de PISA y otras pruebas

La prueba PISA ha sido muy popular entre los gobiernos de todo el mundo. En el año 2000 participaron 41 países; para 2022, 82 países, México incluido, y para 2025 se prevé que 90 países formen parte del ejercicio.

Existen otras pruebas mundiales y regionales. Entre las mundiales están las pruebas PIRLS (lectura) y TIMSS (matemáticas y ciencias) organizadas por la Asociación Internacional para la Evaluación del Rendimiento Educativo (International Association for the Evaluation of Educational Achievement, IEA), tan famosas como PISA en los círculos académicos, pero no tan populares en los ministerios de educación. A excepción de 1995, México no ha participado en las pruebas de la IEA. Los resultados de 1995 de la IEA para México no se publicaron por decisión del gobierno de México, muy probablemente porque los resultados eran muy bajos; pero no existe, a mi entender, un documento publicado que explique por qué las autoridades decidieron no publicar los resultados. Esto provocó que la IEA eliminara los datos de México y cambiara sus reglas de participación para que una vez inscritos a la prueba los países no tuvieran la capacidad de decidir sobre la publicación de los resultados.

Las cosas cambiaron en el año 2000 con el inicio de la prueba PISA de la OCDE. México ingresó a la OCDE en 1994, y eso, junto con la concurrencia de gobiernos mexicanos amigables a las organizaciones internacionales y a la evaluación educativa, provocó que las autoridades educativas vieran con buenos ojos la participación de México en PISA. Para México esta prueba es muy importante porque es la única evaluación con que se cuenta de manera sistemática durante dos décadas continuas. De otra forma viviríamos en el oscurantismo educativo.

México también participa en la prueba regional para Latinoamérica y el Caribe auspiciada por la Unesco conocida por las siglas LLECE. En ambos casos, tanto en PISA como en LLECE, el panorama ha sido desolador y pinta aún menos favorable para 2023 y más allá.

¿Cuáles son los resultados hasta 2018?

En PISA han participado tanto países miembros de la OCDE (28 miembros en 2000; 37 en 2022) como asociados (13 en 2000; 45 en 2022) para un total de 82 países. La prueba PISA, como ya dije, se aplica en tres dominios: lectura, matemáticas y ciencia. Dentro del grupo de los países miembros México siempre ha ocupado el último lugar en las tres áreas de aplicación. Sin embargo, desde que otros países latinoamericanos ingresaron a la OCDE, Chile en 2010 y Colombia en 2017, los tres países se han disputado la última posición. Costa Rica ingresó a la OCDE en 2021 y seguramente en 2022 mostrará resultados similares a sus colegas latinoamericanos como Chile, Colombia y México. Es justo reconocer que a partir de 2003 Chile se empezó a separar de México. Ya para 2018 Chile se desplazaba significativamente hacia arriba en relación con los otros países participantes de la prueba PISA, como Argentina, Brasil, Colombia, Costa Rica, Perú y República Dominicana, entre otros. Aun así, Chile todavía se encontraba, en 2018, lejos de la media de la OCDE. Por tanto, la historia de veinte años en el mapa de la educación mundial no es para nada positiva, ni para México, ni para América Latina.

La prospectiva tampoco pinta bien. Aunque PISA ha cambiado algunas cuestiones metodológicas, si el análisis lo hace uno por cada prueba PISA en lugar de una trayectoria en el tiempo, no importa el cambio metodológico, sino cómo se comparan los resultados de unos estudiantes con otros dada una misma prueba. Los investigadores siempre pueden hacer ajustes y generar índices que incorporen el cambio metodológico para hacer las pruebas comparables a través del tiempo, pero en un análisis que permita simplemente ver el comportamiento relativo entre unos países y otros, no importa en realidad el cambio de metodología porque todos los países están expuestos a los mismos cambios metodológicos.

¿Qué sabemos hasta ahora sobre las pérdidas de aprendizaje?

La pandemia tuvo un efecto devastador en los ritmos de aprendizaje en casi todo el mundo, sobre todo en los países con más desventaja socioeconómica o más rezago educativo. Por doquier han surgido encuestas, estudios y análisis que se suman a la evidencia de una pérdida global en educación. El despacho de Consultoría McKinsey publicó, desde marzo de 2021, los resultados de una encuesta a 2549 maestros en ocho países sobre la efectividad en el aprendizaje de educación a distancia. El resultado promedio en una escala de 0 a 10 fue de 4.8 (es decir, por debajo del valor medio). La encuesta se aplicó, en su mayoría, a países altamente desarrollados (Australia, Alemania, Canadá, Reino Unido, Francia, Estados Unidos y Japón) y a China. En el mismo análisis los autores especularon que las pérdidas en el aprendizaje serían aún mayores para otros países, como sin duda, diría yo, para los de la región de América Latina.

Otros estudios más recientes realizados en Chile, o por el Banco Mundial o por los investigadores que publican los resultados de las pruebas IEA (como PIRLS y TIMSS), llegan a conclusiones similares donde las pérdidas en aprendizaje oscilan entre medio año y un ciclo académico completo.

En México, dado los cambios recientes (2019) en la política de evaluación educativa, hemos perdido información muy valiosa para saber qué ha sucedido en estos años tan cruciales para el mundo de la educación. Por un prurito excesivo (el pleonasmo es intencional) de erradicar el mal uso de los resultados de las pruebas estandarizadas hemos perdido la oportunidad de conocer y evaluar la política pública de la educación a nivel nacional. Para hacerlo, las investigadoras y los investigadores académicos y las reporteras y los reporteros de profundidad tienen que hacer malabarismos para tejer un relato sobre los aprendizajes de niños y jóvenes. Afortunadamente, existen piezas de información que van surgiendo, tanto desde la trinchera académica como desde la gubernamental, de modo directo o indirecto, que nos permiten acercarnos al mapa de la educación nacional y de las perspectivas futuras. Con base en ello, la información disponible parece indicar que llegamos mal a la tercera década y vamos peor. A eso me referiré en la segunda parte de este artículo.

Eduardo Andere
Investigador visitante del Boston College en los Estados Unidos y afiliado a CREDOMEX en México.