El Programa para la Evaluación Internacional de Estudiantes (PISA, por sus siglas en inglés) es un estudio comparativo del aprendizaje que adquieren los estudiantes al cumplir 15 años. De acuerdo con la Organización para la Cooperación y el Desarrollo Económicos (OCDE), quien coordina esta evaluación trianual, los conocimientos y habilidades que evalúa la prueba PISA (lectura, matemáticas y ciencias) son esenciales para que los jóvenes puedan participar plenamente en una sociedad. Es importante señalar que el interés por comparar las habilidades de los estudiantes se remonta a fines del siglo XVIII. Posiblemente, el primer estudio comparativo en Estados Unidos fue el realizado por Joseph Rice, quien administró en 1895 una prueba de deletreo (spelling) a cerca de 33 mil escolares de octavo grado para conocer los resultados de acuerdo con su edad, nacionalidad, contexto social y tipo de escuela.

En 1958 un grupo de académicos se reunió en el Instituto de Educación de la UNESCO para discutir los problemas relacionados con la evaluación de la eficacia de las escuelas y el aprendizaje de los estudiantes, ya que veían al mundo como un laboratorio educativo natural. Con esta idea —en 1960— coordinó en 12 países el primer estudio educativo internacional con estudiantes de 13 años, con el objetivo de evaluar sus competencias en matemáticas, comprensión lectora, geografía, ciencias y habilidades no verbales. En 1967, este grupo se conformó en la Asociación Internacional para la Evaluación del Aprendizaje (IEA, por sus siglas en inglés) que desde su creación ha realizado evaluaciones internacionales, tales como TIMSS y PIRLS.

Ilustración: Víctor Solís

Es hasta el año 2000 que la OCDE realiza por primera ocasión PISA en 32 países, de los cuales 28 eran miembros de esta organización. El impacto de PISA causó una gran conmoción en algunos países desarrollados que consideraban que tenían el mejor sistema escolar del mundo. Por ejemplo, Alemania sufrió un duro golpe a su estima cuando se le ubicó en el lugar 20 en ciencias y en matemáticas y en el lugar 21 en comprensión lectora.

Otras instituciones internacionales también han realizado estudios comparativos de aprendizaje, como la UNESCO con su proyecto LLECE. Igualmente, algunos países han creado instituciones nacionales para evaluar el logro académico de sus estudiantes. Por su importancia, destacan el programa Evaluación Nacional para el Progreso Educativo (NAEP, por sus siglas en inglés) de los Estados Unidos y el Instituto Nacional Para la Evaluación de la Educación (INEE) de México (creado en 2002 y desaparecido en 2018).

Es importante advertir que cada evaluación del aprendizaje tiene su propio marco de referencia. Así, mientras que las evaluaciones del INEE estaban alineadas al currículo nacional, PISA evalúa competencias seleccionadas por un grupo de expertos internacionales, que definen los conocimientos y habilidades que los estudiantes de 15 años deben dominar en cualquier parte del mundo.

Los resultados de PISA han mostrado —desde inicios del siglo XXI— que los países desarrollados obtienen mejores puntuaciones que los países subdesarrollados y que los estudiantes que tienen mejores condiciones económicas logran aprendizajes más altos. Si bien esto último es cierto al interior de los países, no lo es cuando se comparan los estudiantes de distintas naciones. Por ejemplo, los estudiantes mexicanos con mejores condiciones económicas obtienen resultados inferiores a los estudiantes con niveles socioeconómicos más bajos de países como Corea. Por otro lado, también hay excepciones con relación a los países pobres que obtienen resultados altos y viceversa. Vietnam es un ejemplo del primer caso y Catar es un ejemplo del segundo.

Una pregunta por hacer es si los resultados de PISA sirven para evaluar la calidad de un sistema educativo de los países subdesarrollados. La respuesta es que sirve parcialmente, ya que no es una evaluación hecha a la medida de los países pobres, sino de los países más desarrollados; por lo que PISA no dice qué partes del currículo se aprenden y cuáles no se aprenden. Tampoco dice por qué los estudiantes no adquieren las competencias que evalúa esta prueba. Sin embargo, con estas limitaciones, PISA sí informa cómo estamos en comparación con otros países (y al interior del nuestro), con relación a las competencias que evalúa. Esta comparación, para que sea justa, debe realizarse entre países equivalentes (social, cultural y económicamente). Por ello, México debe compararse con países latinoamericanos, como se muestra a continuación:

Resultados en PISA 2018 de cuatro países latinoamericanos

Comprensión lectora

Matemáticas

Ciencias

Chile = 452

Chile = 444

Uruguay = 418

Uruguay = 427

Uruguay = 426

Chile = 417

Costa Rica = 426

México = 419

México = 409

México = 420

Costa Rica = 416

Costa Rica = 402

Fuente: OECD (2019), PISA 2018 Results (Volume I): What Students Know and Can Do, PISA. Paris: autor.

Como se puede observar, México se encuentra entre el tercero y cuarto lugar de la tabla. Más importante que el ordenamiento es la distancia que separa a un país de otro. Como regla de dedo, se estima que 30 puntos en la escala de PISA equivalen a un grado escolar. Con esta regla, Chile le lleva a México un grado en comprensión lectora, dos terceras partes de grado en ciencias y menos de un grado escolar en matemáticas (pero, si nos comparamos con Canadá —cuyas puntuaciones rondan en los 520 puntos— México se encuentra tres grados escolares por debajo, en los tres dominios).

Aun en estas comparaciones siempre habrá un grado de inequidad, ya sea porque un país es más rico que otro o porque tiene una mayor proporción de población vulnerable: indígena, migrante, dispersa geográficamente o en pobreza extrema. Otro factor que impacta los resultados de PISA es la proporción de jóvenes de 15 años que estudia. No es lo mismo comparar un país con 60% de sus jóvenes dentro de la escuela, que uno con 90 o 30%. Es más meritorio que una nación tenga una mayor proporción de estudiantes escolarizados, con menores aprendizajes, que uno que tenga un bajo porcentaje de jóvenes estudiando, con un aprovechamiento más alto. Por lo anterior, es muy difícil hacer comparaciones justas entre países con características diferentes.

Sin embargo, hay una comparación básica: la del propio país a través del tiempo. Aun en este caso, se debe tomar en consideración el porcentaje de jóvenes dentro de la escuela en los momentos en que se realizan las comparaciones. En el caso de México, parece que nos hemos estancado en el tiempo pues sólo observamos pequeñas fluctuaciones de una evaluación a otra, como se muestra en la siguiente tabla, que compara los resultados en las últimas cuatro evaluaciones de PISA.

Resultados de México en PISA: 2009-2018

Año

Comprensión lectora

Matemáticas

Ciencias

2009

425

419

416

2012

424

413

415

2015

423

408

418

2018

420

409

419

Fuente: OCDE (2019). PISA 2018, Resultados. Nota para País: México. París: autor

Por otro lado, es importante mencionar que, en lo que va del siglo XXI, México ha incrementado el porcentaje de jóvenes de 15 años que atiende el sistema educativo: mientras que en 2003 fue de 50%, en 2018 llegó a 66%. Este incremento en la matrícula (25%) también impacta los resultados de las evaluaciones de aprendizaje, ya que quienes ingresan al sistema educativo son jóvenes de mayor vulnerabilidad y —por lo tanto— de menor rendimiento académico. Así, el hecho de que el país se haya mantenido en los mismos niveles de aprendizaje puede interpretarse como una ganancia relativa, pues un escenario peor podría ser que el incremento en la matrícula redujera las puntuaciones en PISA, lo que no ha sucedido.

No quiero dar la idea de que debemos estar contentos con los resultados de México en PISA 2018 y que no debemos mejorar el sistema educativo del país. Pero tampoco debemos hacernos harakiri por los resultados obtenidos ya que son semejantes a los del país en la mayoría de los indicadores sociales (p. ej. mortalidad infantil, esperanza de vida, productividad, etc.). Siempre será importante conocer qué tan grandes son las brechas que nos separan de otros países, con mejores sistemas educativos, y qué tan grandes son las diferencias al interior del país.

El uso de los resultados de las evaluaciones internacionales (PISA, TIMSS, LLECE, etc.), como de los nacionales que anteriormente generaba el INEE (Excale y Planea), deberían servirnos para tener evidencias de nuestras fortalezas y debilidades y con base en ellas diseñar políticas de mejoramiento de la educación. Sin este tipo de información —aún habrá que ver si la Comisión Nacional para la Mejora Continua de la Educación (Mejoredu) continúa con las evaluaciones estandarizadas de aprendizaje— el gobierno federal tomará decisiones con base en ocurrencias y no en evidencias. Por ahora, pareciera que esta lógica no la comparte el presidente de la República, el secretario de educación, ni los diputados y senadores de Morena.

Finalmente, hay que precisar que no debemos atribuirle los resultados de PISA a una administración en particular: el nivel educativo de los estudiantes de 15 años es un indicador del capital cultural de un país, producto de su desarrollo social y económico y del cúmulo de reformas educativas. Entender lo anterior es importante para poder hacer un análisis comprensivo de los resultados de PISA

 

Eduardo Backhoff Escudero
Presidente del Consejo Directivo de Métrica Educativa, A. C.