El Programa para la Evaluación Internacional de Alumnos (PISA en inglés) es un estudio sobre logro educativo organizado por la Organización para la Cooperación y el Desarrollo Económicos (OCDE). En 2015 más de medio millón de estudiantes, representando 28 millones de jóvenes de 15 años de edad en 72 países y economías, fue evaluado en ciencias, matemáticas y lectura. Los resultados de esta última ronda de PISA se liberaron el 6 de diciembre pasado y a partir de entonces hemos estamos viendo múltiples discusiones sobre ellos en la prensa. La mayoría de las historias son ya sea sobre los rankings internacionales, o bien, sobre “qué es lo que funciona” en educación. Pero no son esas las historias en las que deberíamos concentrarnos.

1

Se nos dirá que el desempeño de México está por debajo del promedio de los países de la OCDE en las tres áreas evaluadas (ciencias, matemáticas y lectura). También se nos dirá que el desempeño de México no ha variado significativamente en los últimos años para ciencias y lectura, pero que ha mejorado ligeramente para matemáticas. Se nos dirá que pese a ello, seguimos siendo el último lugar de la OCDE y que nuestro rendimiento es comparable al de países como Colombia, Tailandia y Catar (en ciencias); al de Costa Rica, Moldavia y Turquía (en lectura); o al de Albania y Georgia (en matemáticas). Todos esos rankings son –sin embargo– sólo comparaciones de puntajes crudos. Es decir, estas comparaciones no toman en cuenta el contexto social en que operan los sistemas educativos. Para dar un ejemplo, sabemos que el desempeño de México en ciencias está 115 puntos por debajo de el de Finlandia y 40 puntos por arriba del de Argelia; pero también sabemos que el ingreso per cápita de Finlandia es casi cinco veces más alto que el de México y que el de Argelia es 2 veces más bajo que el de México y 10 veces más bajo que el de Finlandia. Una vez que consideramos esto, no parece que la comparación sea justa. De hecho, en un análisis que utiliza datos de lectura de un ciclo anterior de PISA, cuando el ranking se ajusta de acuerdo al nivel socioeconómico promedio de los estudiantes, México ocupa el 5to lugar entre los 53 países evaluados.

En cuanto a “qué es lo que funciona” en educación, las historias no son muy diferentes. Las comparaciones crudas entre sistemas educativos no proporcionan información muy útil, ya que si se hace de este modo, PISA puede proveer evidencia para respaldar casi cualquier política e incluso posturas contradictorias. Los entusiastas de la autonomía escolar (por ejemplo, de  que los directores y maestros tengan mayor autonomía para manejar los recursos escolares) resaltarán el caso de Estonia (tercer lugar en ciencias) como prueba de que es una buena práctica, mientras que los detractores de esta idea señalarán el caso de Singapur (primer lugar en ciencias, matemáticas y lectura) para decir que no lo es (ver Figura II.4.3 de los Resultados de PISA). Los resultados más recientes de PISA también ofrecen evidencia para decir que los alumnos que asisten a escuelas con grupos pequeños tienden a tener mejores resultados académicos (Finlandia tiene grupos de menos de 20 estudiantes en promedio y se coloca en el 5to lugar en ciencias), pero también ofrecen evidencia para decir lo contrario (en Japón los grupos tienen más de 35 estudiantes en promedio y este país obtuvo el segundo lugar en la misma asignatura) (ver Figura II.6.16 de los Resultados de PISA).

Así, el mismo resultado de PISA, cuando se presenta sin una contextualización adecuada, puede utilizarse como argumento para hacer afirmaciones contrapuestas. Un ejemplo más son las declaraciones recientes que con motivo de los resultados de PISA 2015 hicieron, en el mismo evento, el secretario de Educación Pública, Aurelio Nuño, y el consejero de la junta de gobierno del INEE, Eduardo Backhoff. Mientras el primero afirmó que “nadie en México puede estar satisfecho” con el hecho de que México no haya mejorado de manera significativa en los últimos 10 años y que “precisamente por eso fue que se hizo una reforma”; el consejero del INEE consideró los mismos resultados “como algo positivo”, sobre todo si se considera que durante el mismo período “se incorporaron a la educación media superior y secundaria más de 600 mil estudiantes, quienes se encuentran en las condiciones socioeconómicas más bajas”. Si estamos de acuerdo con Backhoff, habría entonces que evaluar con detenimiento la manera en que la reforma afectará los resultados positivos que menciona, porque como el mismo secretario reconoce, “los resultados de PISA son el reflejo de sexenios anteriores”.

Con lo anterior quiero decir que las historias en las que deberíamos enfocarnos deben ir más allá de las comparaciones simplistas entre sistemas educativos. ¿En qué lugar quedamos? o ¿qué es lo que funciona? No son las preguntas que nos deberíamos estar haciendo porque –como explico en los párrafos anteriores– en educación, todas las políticas funcionan en algún lado y ninguna funciona en todos lados. Esta no es una limitación de los datos de PISA, sino de los análisis y las interpretaciones que se hacen de ellos. Además de datos sobre el logro académico de los estudiantes, PISA recoge una amplia gama de información sobre los estudiantes –por ejemplo– sus hábitos de estudio o su motivación hacia las matemáticas o la ciencia, sobre sus maestros –por ejemplo– sus  prácticas de enseñanza o su desarrollo profesional, sus escuelas –por ejemplo– los recursos disponibles en el aula o el clima escolar y sus países –por ejemplo– indicadores de riqueza o de desigualdad en los ingresos. Nuestros análisis no tienen que ser sobre qué políticas o prácticas podrían funcionar, sino sobre las condiciones en las que estas políticas o prácticas podrías funcionar. Esto es porque en la investigación educativa todo tiene que ver con el contexto, por lo que los sistemas educativos no pueden ser entendidos sin tomar en cuenta las condiciones en las que operan.

Andrés Sandoval-Hernández es Profesor-Investigador en el Departamento de Educación de la Universidad de Bath en Inglaterra.