Como cada tres años, pero con más fuerza que en ocasiones anteriores, la difusión de resultados de las pruebas PISA de la OCDE ha suscitado un alud de manifestaciones de preocupación en medios de comunicación. Las declaraciones matizadas de las autoridades del Instituto Nacional para la Evaluación de la Educación (INEE) son recibidas por descalificaciones del tipo “no hay peor ciego que el que no quiere ver”. Las afirmaciones de que se necesitará una década para ver mejoras, provocan reacciones entre indignadas y burlescas. Con base en el informe México en Pisa 2015 (INEE, 2016), ofrezco una lectura de PISA que busca contribuir a sustentar lecturas más objetivas. Advierto que, además de primer Director General del INEE en su etapa de organismo no autónomo (y en esa calidad al parecer cómplice de la supuesta catástrofe que padece nuestro sistema educativo) soy uno de los autores del informe en el que se basa, en parte, este artículo.
¿Son realmente los resultados de México los peores del mundo?
De ninguna manera. Los resultados de México en PISA son inferiores a los de los países de desarrollo superior al nuestro, como los de la OCDE y otros europeos, del Asia oriental y anglosajones, pero similares a los de países comparables, como los de América Latina y otros de nivel de desarrollo medio, y muy superiores a los de las naciones más pobres. Los países no participantes en PISA (de África, mundo árabe, sur de Asia y América Latina) son unos 140, en general de bajo nivel de desarrollo y con sistemas educativos más precarios, que tendrían seguramente resultados inferiores. Si participaran en PISA todos los países que reconoce la ONU México ocuparía seguramente alrededor del lugar 70 de 196.
De los 72 participantes en PISA 2015, la OCDE (2016) y el INEE (2016) reportan resultados de 69; en los casos de Argentina, Kasajistán y Malasia las muestras de alumnos no lograron cumplir los requisitos de la OCDE para considerarlos confiables. En el área de ciencias México y Colombia ocupan el lugar 56 (INEE, 2016: Gráfica 2.1, p. 48), detrás de los demás miembros de la OCDE (35 países) y de otros 21 países que no pertenecen a la OCDE, y por arriba solamente de 12 países, todos no miembros de la organización.
La posición de México no sorprende si se toma en cuenta que la mayor parte de los países de la OCDE tienen niveles de desarrollo más altos, y sólo se compara con Turquía y Chile; y de los 21 países no miembros de la OCDE con resultados superiores, tienen condiciones culturales, de riqueza o de tamaño que hacen entendibles resultados mejores no sólo a los de México, sino a los de muchos otros países: las provincias de China, Hong Kong, Macao, Singapur, Tailandia, Taipei y Vietnam en Asia; Albania, Bulgaria, Chipre, Croacia, Lituania, Malta, Moldavia, Rumania y Rusia en Europa; Emiratos Árabes y Qatar en el Medio Oriente. En cuanto a América Latina y el Caribe, Costa Rica, Trinidad-Tobago y Uruguay, con resultados ligeramente mejores a los de México, tienen una población muy pequeña.
De los 12 países con resultados inferiores a los del nuestro se ubican en Europa del Este y los Balcanes Georgia, Kosovo, Macedonia y Montenegro; en América Latina Brasil, Perú y República Dominicana; en África Argelia y Túnez; en el Medio Oriente Jordania y Líbano; y en Asia Indonesia. Todos son países de desarrollo similar o menor a México. En PISA el lugar de México es similar al que ocupa en otros ordenamientos de países según su Producto Interno Bruto per capita, controlado por Paridad del Poder Adquisitivo, (67 de 176); según el Índice de Desarrollo Humano (74 de 188); UNDP, 2015: 208-211); o según el Índice de Progreso Social (51 de 133).
¿Es excepcional el “estancamiento” de México entre 2000 y 2015?
Las críticas aducen como evidencia del tajante juicio del inciso anterior el que, según los informes de PISA 2015, no se advierten cambios significativos entre esta última aplicación y los obtenidos en el año 2000. Los datos muestran, sin embargo, que lejos de que la situación de nuestro país sea excepcional, es la normal, no sólo en el conjunto de la OCDE, sino en la mayor parte de los países participantes.
Considerando el área de ciencias, de 72 países o economías evaluados por PISA en 2015, de tres ni siquiera se reportan resultados; de seis no hay datos de tendencia porque la aplicación de ese año fue la primera en que participaron; en 13 hay retroceso significativo, incluyendo a Finlandia, con el mayor retroceso de todos los participantes, lo que llama la atención dados los resultados anteriores del país, cuyo nivel sigue siendo muy alto, lo que quiere decir que su retroceso no fue demasiado grande. En dos países más parece haber retroceso, pero hay motivos para dudar de la tendencia; en 36 no hubo cambio significativo; en 8 parece haber cierto avance, también con motivos para dudar que sea así, y sólo en 4 aparece un avance significativo. La Tabla 1 precisa esta información.
Tabla 1. Países participantes en PISA según avance 2000-2015 en ciencias
| N° | Situación | Países o economías |
| 3 | Resultados no fiables | Argentina, Kasajistán, Malasia |
| 6 | Participaron por vez primera en 2015 | Argelia, China (4 provincias), Kosovo, Líbano, Macedonia, Rep. Dominicana |
| 13 | Retroceso significativo | Australia, Croacia, Grecia, Finlandia, Holanda, Hong Kong-China, Hungría, Islandia, Jordania, Nueva Zelanda, República Checa, República Eslovaca y Suecia |
| 2 | Retroceso dudoso | Austria, Emiratos Árabes Unidos |
| 36 | Sin cambio significativo | Alemania, Bélgica, Brasil, Bulgaria, Canadá, Chile, Chipre, Corea del Sur, Costa Rica, Dinamarca, Eslovenia, España, Estados Unidos, Estonia, Federación Rusa, Francia, Indonesia, Irlanda, Italia, Japón, Letonia, Lituania, Luxemburgo, Malta, México, Montenegro, Noruega, Polonia, Reino Unido, Suiza, Tailandia, Taipei, Túnez, Turquía, Uruguay, Vietnam |
| 8 | Avance dudoso | Albania, Colombia, Georgia, Moldavia, Perú, Qatar, Singapur, Trinidad-Tobago |
| 4 | Avance claro | Israel, Macao-China, Portugal y Rumania |
Fuente: INEE, 2016.(nota 1, pág. 47, Tablas 5.1 y 5.2).
La situación en las áreas de lectura y matemáticas es similar (ver Tablas 5.3 y 5.4 del informe del INEE). Conviene advertir que México, con Brasil, Colombia, Perú, Polonia y Portugal, es uno de los pocos países que muestra avance significativo en matemáticas. Se espera que las estimaciones de tendencias de 2015 en adelante sean más robustas, pero se advierte que pueden hacer aumentar ligeramente la incertidumbre de las equiparaciones de PISA 2015 con los ciclos anteriores, porque en esos ciclos se utilizó un diseño de la prueba diferente y distintos procedimientos de escalamiento.
¿Son responsables de tal situación las políticas educativas?
Que tantos países tengan avance nulo o reducido y que sistemas consolidados muestren incluso retroceso, debe hace pensar que avanzar no es cosa sencilla. Desde hace tiempo la investigación ha señalado que el aprendizaje depende de muchos factores, incluyendo características de cada alumno, de su entorno familiar y social, y de la escuela. Es sabido que los factores extraescolares tienen gran peso, mayor que el de los escolares, y que entre estos últimos los más importantes tienen que ver con los maestros, y sobre todo con sus prácticas, y no tanto con aspectos como su antigüedad y escolaridad.
Un tema importante que debe considerarse es que existe una cantidad importante de jóvenes ya están fuera de la escuela a los 15 años y no son evaluados. Esto refuerza la preocupación por la situación educativa, pero debe llevar a analizar el peso de un factor fundamental: el demográfico. La población de países más desarrollados es muy estable desde hace décadas, y su escaso aumento se debe casi todo a la migración, mientras que países como México han tenido crecimiento explosivo que comienza a menguar a principios del siglo XXI. Por ello en tres lustros cubiertos por PISA, en los países más desarrollados el número de estudiantes de 15 años casi no ha cambiado. La situación de México se refleja en las dos tablas siguientes.
La Tabla 2 muestra que el total de personas de 15 años aumentó de 2000 a 2012 y disminuyó ligeramente en 2015; además, el número de alumnos de esa edad inscritos en media superior se duplicó, pasando de menos de 700 millares a cerca de 1 millón 400 mil. Paralelamente, el número de jóvenes de 15 años que estaban en secundaria disminuyó en más de 90 mil, y el de los más rezagados, que todavía estaban en primaria, se redujo casi totalmente. Estas cifras reflejan un fuerte aumento de la permanencia de los jóvenes en la escuela y disminución del rezago escolar, al aumentar la proporción (que muestran las cifras porcentuales incluidas entre paréntesis) de los que están en el grado que les corresponde, primero de media superior o tercero de secundaria. El mayor salto se da entre 2012 y 2015, resultado de los esfuerzos derivados de la obligatoriedad de la media superior, que deben reconocerse, sin dejar de señalar las carencias que en muchos casos presentan los servicios con que se busca atender a los jóvenes que antes no seguían estudiando y ahora lo hacen, que son los que más apoyo de la escuela necesitan para compensar la pobreza de sus hogares.
Tabla 2. Situación escolar de la población mexicana de 15 años, 2000-2015
| Año | Total | Fuera de escuela | En escuela | En primaria | En secundaria | En media superior |
| 2000 | 2 113 261 | 904 340 (42.8) | 1 208 921 (52.7) | 59 824 (2.8) | 457 999 (21.7) | 691 098 (32.7) |
| 2003 | 2 128 652 | 795 283 (37.4) | 1 333 369 (62.6) | 49 085 (2.3) | 446 639 (20.9) | 837 645 (39.4) |
| 2006 | 2 196 807 | 766 344 (34.9) | 1 430 463 (65.1) | 36 733 (1.7) | 438 140 (19.9) | 955 590 (43.5) |
| 2009 | 2 249 511 | 756 619 (33.6) | 1 492 892 (66.4) | 23 480 (1.0) | 411 101 (18.3) | 1 058 311 (47.1) |
| 2012 | 2 260 741 | 740 045 (32.7) | 1 520 696 (67.3) | 15 366 (0.7) | 354 487 (15.7) | 1 150 843 (50.9) |
| 2015 | 2 241 038 | 490 356 (21.9) | 1 750 682 (78.1) | 10 138 (0.4) | 366 566 (16.4) | 1 373 978 (61.3) |
Fuente: INEE, 2016, Tabla 1.8, p. 35, a partir de Estadísticas del formato 911 y Proyecciones de población 2010-2050, CONAPO, 2015.
Las políticas educativas tienen parte de la responsabilidad en cuanto al aprendizaje de los alumnos, pero los factores del contexto tienen un peso aún mayor. Mejorar la educación implica, pues, políticas intersectoriales, pero además el concurso de toda la sociedad. Por ello, ya el primer informe de PISA advertía que debería verse como una evaluación de la efectividad educativa de una sociedad en conjunto, y no sólo de su sistema escolar.
¿Podrán dar resultados rápidos medidas urgentes?
La pregunta anterior debe llevar a responder negativamente ésta, lo que no implica conformismo. La situación de la educación mexicana puede y debe mejorar mucho, pero la dificultad de la tarea implicará inevitablemente esfuerzos importantes y prolongados. Esto no quiere decir que haya que esperar mucho para promover los cambios necesarios, pero sí que aunque se emprendan de inmediato, llevará tiempo ver resultados.
Elevar el aprendizaje implica que mejore el nivel de desarrollo del país, que disminuya la pobreza y se reduzcan las desigualdades, lo que no podrá ocurrir rápidamente. También requiere, desde luego, mejoras educativas. Suponiendo que haya recursos suficientes, lo que no siempre es posible, algunas no llevan mucho tiempo, como fortalecer la infraestructura de las escuelas o modificar planes de estudio. Pero aunque haya recursos suficientes los cambios más importantes llevan tiempo, en particular los referidos a la formación inicial y la actualización de maestros en servicio, sin lo que la práctica docente no se transformará como hace falta. En este sentido se debe señalar que, desde 1984, la formación inicial requiere licenciatura, pero una reforma seria de las escuelas normales sigue como tarea pendiente, como sigue siendo, pese a muchos esfuerzos, la actualización en servicio.
Pero aunque se pusieran en marcha de inmediato las reformas deseables, los efectos no se podrían ver rápidamente, dada la inercia del sistema educativo, que ilustra la Tabla 4.
Tabla 4. Trayectoria escolar de los jóvenes evaluados por PISA, 200-2027
| Difusión de resultados | Momento de aplicación | Los jóvenes evaluados en cada ronda: | ||
| Están ahora en | Comenzaron la secundaria en | Comenzaron la primaria en | ||
| Dic. 2001 | Abril 2000 | — | Agosto de 1996 | Agosto de 1990 |
| Dic. 2004 | Abril 2003 | — | Agosto de 1999 | Agosto de 1993 |
| Dic. 2007 | Abril 2006 | — | Agosto de 2002 | Agosto de 1996 |
| Dic. 2010 | Abril 2009 | — | Agosto de 2005 | Agosto de 1999 |
| Dic. 2013 | Abril 2012 | — | Agosto de 2008 | Agosto de 2002 |
| Dic. 2016 | Abril 2015 | — | Agosto de 2011 | Agosto de 2005 |
| Dic. 2019 | Abril 2018 | 3° de secundaria | Agosto de 2014 | Agosto de 2008 |
| Dic. 2022 | Abril 2021 | 6° de primaria | Agosto de 2017 | Agosto de 2011 |
| Dic. 2025 | Abril 2024 | 3° de primaria | Agosto de 2020 | Agosto de 2014 |
| Dic. 2028 | Abril 2027 | 3° de preescolar | Agosto de 2023 | Agosto de 2017 |
Fuente: Elaboración propia.
De mantenerse el ritmo usual, los resultados de la siguiente ronda de PISA se difundirán en diciembre de 2019, y la aplicación se habrá hecho en abril de 2018. Los jóvenes que serán evaluados estarán en su mayor parte en primero de media superior, y están ya en 3° de secundaria, por lo que los cambios que pudieran hacerse ya no podrán modificar las competencias que evalúa PISA, que no se pueden desarrollar en poco tiempo.
Los que serán evaluados en abril de 2021 están terminando la primaria; los evaluados de 2024 en 3° de primaria, y los de 2027 en 3° de preescolar. Si aceptamos que el resultado de los jóvenes de bachillerato se comienza a construir desde que comienzan el trayecto escolar siendo niños, entenderemos que no es demasiado pronto para trabajar para tener mejores resultados en 2028, pues los estudiantes que serán evaluados en abril de 2027 ya llevan dos años en el sistema educativo y están terminando preescolar.
Finalmente, para valorar la situación educativa de México se pueden usar con provecho los resultados de PISA, pero se debe aprovechar también la abundante información existente, derivada de otras evaluaciones e indicadores y de la investigación educativa. El punto de partida de cualquier esfuerzo serio de mejora no puede ser la ingenua o interesada postura de quien sólo presume aciertos, ni la crítica destructiva, y también interesada, del que sólo destaca lo que está mal.
Felipe Martínez Rizo es Profesor de la Universidad Autónoma de Aguascalientes.

El único consenso año tras año entre colegas profesores universitarios es que cada generación nueva esta peor. Ya no sorprende que sean incapaces de entender un texto cualquiera o de escribir con la mínima corrección. El bagaje cultural promedio es de risa loca, dan pena.
Y como la idea es que nadie repruebe, los alumnos se titulan a destajo sin la formación mínima. Hay que remendar y enderezar tanto en lo escencial, que para cuando el estudiante termina su licenciatura ya se acabó el tiempo para su profesionalizacion! …y entonces ya no hay mas remedio que escribirles la tesis.
Y asi acaba nuestra aventura historica educativa!
Ese comentario lo he escuchado entre profesores, pero ninguno con los que he platicado se ha tomado el tiempo para hacer análisis que nos permitan confirmar o desmentir tales dichos. A mí me parece que los nuevos estudiantes de nivel superior han leído más que los de generaciones anteriores, y escriben mejor; aunque eso no sea para echar campanas al vuelo. Por otro lado hay esfuerzos aislados por intentar mejorar, de eso si hay varias publicaciones. Quizás sería bueno llevar a cabo investigaciones de gran alcance para decir con pruebas lo que realmente ocurre.
Efectivamente la idea de que todo está mal hoy, y peor que en el pasado, no tiene base sólida. Mi texto pretende contribuir a analizar con mayor rigor la evidencia. No sostengo que lo que hay esté bien, pero sí que tampoco todo es negro, y que hay razones que deberían permitir entender mejor lo que está bien y lo que está mal.
Totalmente de acuerdo con su comentario, soy una persona mayor de 40 años , regresé a la universidad después de 23 años sin estudiar, y la verdad da tristeza el nivel de los estudiantes de hoy en día, no conocen nada de historia del país, no son capaces de exponer un tema de manera coherente, creí que con todos los elementos que tienen ahora para acceso a la información iban a ser más ambiciosos y perfeccionistas en sus estudios, la verdad no, el conformismo y la apatía están a la orden del día, y ahora los maestros, aún a nivel universitario les dan oportunidades de repetir los exámenes reprobados y así pasan de semestre, sin extraordinarios y sin saber.
Recuerdo mi generación, hace más de 30 años, de verdad nos esforzamos la mayoría por lograr aprendizaje.
Esto parece haber quedado en el olvido. Creí que a mis años iba a tener verdadera competencia, y tristemente no es así.
Me gusta su análisis y explicación sobre los resultados de la prueba PISA. Quiero preguntarle sobre dos puntos en particular:
Eduardo Andere ha analizado algunos de los sistemas educativos a los que se aplica la prueba PISA y coincide con usted sobre la dificultad de mejorar un sistema, debido a los multiples factores que intervienen. Sólo que él afirma que la formación tan dispar de los profesores parece no indicar que el profesor sea un factor tan determinante del éxito de un sistema educativo, lo que quiero saber es ¿por qué afirma usted que si tiene gran peso la variable de la formación de los profesores? ¿no le parece que minimiza las cuestión de carencia estructural en cuanto a la pobreza y la poca inversión en educación?
Y la segunda problemática es: ¿vale la pena centrarse en la evaluación estandarizada cuando no ha mejorado significativamente ningún sistema educativo? Puede que sea un buen indicador, pero -como indica Juan Cassaus- las políticas basadas en la evaluación parten de la premisa que la sola evaluación mejora la educación, cuando en realidad eso no ha mejorado nada desde los años ochenta en que se inició la despenalización de la educación, aunado a la evaluación estandarizada, so pretexto de la modernización educativa. En ese sentido coicido con usted que puede ser más mediático centrar todo el esfuerzo de un sistema educativo únicamente en las pruebas PISA.
Sobre el primer punto: los factores extraescolares, del hogar y el entorno socioeconómico, son muy imporantes; esto se sabe desde hace mucho y mi texto no lo cuestiona. Pero los factores de la escuela también cuentan y, entre ellos, hay base para sostener que lo más importante es lo que hacen los maestros. Por otra parte, en nuestro país las carencias de muchas escuelas se suman a las de los hogares, pues los niños de hogares más vulnerables suelen ser atendidos en las escuelas que tienen mayores carencias.
Sobre lo segundo, desde luego la mejora educativa no se podrá lograr con más evaluaciones, y menos si estas son defectuosas. Las buenas evaluaciones (que entre otras cosas deben ser parsimoniosas, a mi juicio) solo pueden ayudar a detectar problemas, pero por sí mismas no los corrigen.
Magnífico artículo Felipe. Desmitificador, hay que voltear la mirada a la pedagogía y la filosofía de la educación, de ahí se pueden derivar «políticas educativas» más útiles.
Gracias, Manolo
El profesor Martínez Rizo pasa por alto que las reformas educativas «deseables» comenzaron a aplicarse en nuestro país desde principios de los años 90 (de hecho inician el 19 de mayo de 1992 con la firma del ANMEB y con la aplicación de los planes de estudio en septiembre de 1993 en todo el país). Es decir, llevamos más o menos 25 años haciendo reformas que no han dado resultados. ¿Son las reformas las que están mal orientadas? El debate en España, que conozco, dice que sí. Por cierto en México ese debate ni siquiera existe. Aquí hay un consenso en las bondades del progresismo, pedagogismo o romanticismo educativo que orienta la política educativa, a pesar de los estragos que ha causado en EE.UU. y Europa. Pero al final, todo esto para el profesor Marftínez, resulta irrelevante dado al análisis de corte estructuralista que hace, desde los sesenta vienen machacando con lo mismo: el contexto socioeconómico tiene un peso mayor en el aprendizaje. Ello a pesar de que el informe Mckinsey, por ejemplo, diga lo contrario.
El tema de mi texto no era el análisis de las reformas educativas. Creo que las que se han aplicado en México distan mucho de ser las mejores. Los informes McKiinsey, por otro lado, no me parecen los mejores al respecto. Si le interesa el tema puede ver la conclusión del informe que difundió el INEE en diciembre sobre los resultados de México en PISA 2015
Le guste o no al autor, nuestros estudiantes no van a competir solamente contra los de sudamérica o Kosovo, sino también contra los de China, Corea del Sur, Singapur, Japón, etc. Nos guste o no, ésa es nuestra realidad.
Soy profesor universitario y muchos de mis estudiantes no pueden resolver problemas del tipo que yo hacía en la secundaria. Pasamos de ser un país en el que en tiempos de mi abuelo en las primarias de gobierno enseñaban inglés y francés (y sí, me consta porque he visto sus «cuadernos» – en realidad hojas cosidas a mano porque no tenía para comprar cuadernos) a uno donde tenemos tesistas de licenciatura que no saben redactar (a diferencia de mi abuelo, quien dejó la escuela a los doce). Si esto no es una catástrofe educativa, ¿qué lo sería?
Desde luego, pero eso no quiere decir que las lecturas tremendistas de los resultados de PISA sean correctas. Y la visión del pasado que tiene me parece infundada.
Tengo dos hijos estudiando la secundaria y de verdad que la educación actual no tiene nada que ver con lo que me tocó vivir de estudiante. Los procesos de evaluación son una vacilada, un día, uno de ellos sacó un 2 en su examen de matemáticas, pero mediante tareas, no teniendo inasistencias y con participaciones en clase, terminaron poniendole 7.5 ¿Cómo pueden ponerle esa calificación cuando evidentemente no sabe nada de la materia? En general con todas las materias es similar y realmente el que reprueba es porque de plano ni tareas hace.
De acuerdo con Ud. en la Universidad es lo mismo. Los alumnos pasan de semestre prácticamente sin saber.