¿Podemos evaluar la reforma?

Consideraciones en respuesta a Carlos Mancera

La reciente reforma educativa descansa en el supuesto de que al cambiar los incentivos laborales y profesionales de los docentes en México éstos redirigirán sus esfuerzos hacia la enseñanza y –por lo tanto– mejorará la calidad de la educación y los aprendizajes de los niños. Carlos Mancera, en el último número de Nexos, presenta un interesante y provocador artículo donde analiza los resultados de la primera evaluación a los maestros y de la prueba PLANEA (que mide aprendizajes de los alumnos) para argumentar que la reforma va por buen camino.

Según el autor, el hecho de que los estados con mejores resultados en la evaluación de desempeño docente tiendan a presentar mejores resultados en PLANEA sugiere que los atributos que la evaluación mide inciden de manera significativa en los aprendizajes. Esto constituiría un espaldarazo a la reforma, en tanto ésta tiene en la evaluación su mecanismo principal de regulación del acceso y otorgamiento de incentivos a la función docente en general.

En nuestra opinión es necesario un llamado a la cautela. Justificaremos nuestra posición con base en argumentos metodológicos y conceptuales, de los cuales se desprenden cuatro posibles (y necesarias) líneas de investigación que, creemos, podrán fortalecer nuestro conocimiento sobre los efectos de esta reforma. 

En primer lugar, no se ha probado que la evaluación docente califique aquello que es crucial para el aprendizaje: la práctica del maestro frente a grupo. Lo que se evalúa hoy son, por una parte, conocimientos “duros” o “formales” que pueden ser memorizados en corto tiempo; por otra, evidencias del trabajo pedagógico que podrían constituir un indicador aproximado de ciertos aspectos del desempeño en aula. Hasta ahora, la relación entre conocimientos, evidencias pedagógicas y prácticas efectivas no ha sido validada de manera independiente. Una validación sustantiva de la evaluación requeriría, por ejemplo, que se tomara una muestra de docentes evaluados, se observara y se calificara su práctica pedagógica por parte de expertos. Esto incluso debería reforzarse por un estudio del impacto de estas prácticas sobre los aprendizajes.   

Aún si la evaluación valorara lo que afirma en el papel, puede presentarse un segundo argumento metodológico de peso para moderar el optimismo. No es suficiente presentar un análisis de correlación a nivel de entidades para sugerir que los maestros mejor evaluados generan mejores aprendizajes. Esto obedece al menos a tres razones, que deberían inclinarnos hacia la realización de análisis estadísticos más complejos:

1. Al considerar datos tan agregados se pierde la heterogeneidad de cada entidad. En consecuencia, se puede transmitir la impresión de que la relación observada es mucho más fuerte de lo que es en realidad. Si esta relación se analiza con datos desagregados (a nivel individual, o como mínimo a nivel escolar), los resultados serán mucho más débiles.
2. Al omitir variables relevantes del análisis se corre el riesgo de sobreestimar la fuerza de la relación, o incluso de inferir una relación en donde no la hay. Para el caso, la relación entre condiciones socioeconómicas y aprendizajes de los alumnos ha sido establecida con demasiada claridad por la investigación en el campo como para pasarla por alto (desde las tempranas publicaciones de Muñoz Izquierdo o Silvia Schmelkes hasta los recientes y exhaustivos análisis de las pruebas nacionales realizados por el INEE). Si las condiciones socioeconómicas del estado incidieran también sobre el desempeño docente (posibilidad razonable que el propio Mancera reconoce), la correlación observada podría no ser válida. Para decirlo más claramente: la tendencia a la semejanza en los resultados de alumnos y maestros podría deberse a que ambos se producen en las mismas condiciones, no necesariamente a una relación directa entre ellos.
3. La relación causal sugerida podría tener, en realidad, el sentido inverso. Curiosamente, los resultados educativos de los alumnos podrían ser los “causantes” del desempeño docente observado en la prueba. Estrictamente no se trataría de una relación causal sino de un mecanismo de selección: los maestros con más experiencia tienen mayores posibilidades de escoger escuelas con alumnos más “educables”. No sería entonces la calidad de los maestros la que “produce” mejores aprendizajes, sino que las escuelas con mejores aprendizajes “atraen” a los maestros con mejor desempeño.

Nuestro tercer argumento cuestiona que esta reforma fortalezca el desarrollo profesional de los maestros. La profesionalización no es un proceso en el que pueda avanzarse a través de pruebas estandarizadas o de incentivos económicos; lo que requiere un profesional es autonomía, discernimiento y creatividad. De ahí que la base de la relación que forma y desarrolla a un profesional sea la confianza, no el escrutinio. Sin embargo, esta reforma ha apostado principalmente a este último método para estructurar la profesión docente, haciendo palidecer cualquier otra iniciativa, como por ejemplo la fundamental reforma de la formación docente inicial. Asimismo, a pesar de lo que está escrito sobre capacitación docente, es muy poco lo que se ha avanzado hasta ahora y no parece probable que se avance de manera sustantiva en el futuro. En consecuencia, no creemos válido afirmar que la reforma, tal como está siendo implementada realmente, fomente estas capacidades. La línea de investigación que sería interesante abrir en este caso apunta a las representaciones y opiniones de los propios maestros acerca del impacto que la reforma está teniendo en sus capacidades y/o mejora de sus prácticas. Si no se tuvo en cuenta a los maestros en su diseño, por lo menos deberían sistematizarse sus opiniones a la hora de la implementación. 

Finalmente, el cuarto argumento pone en duda que esta reforma disponga una estructura de incentivos para recompensar a los mejores maestros. Esto último no lo afirma Mancera directamente, pero consideramos que está implícito en sus consideraciones, además de coincidir con el espíritu general de las transformaciones en curso. En abstracto, y si se cumplieran algunas de las condiciones señaladas anteriormente (sobre todo la adecuación metodológica de la evaluación), la idea no es mala. Sin embargo, en el momento actual son demasiadas las voces que denuncian violaciones a las prelaciones derivadas de las pruebas; habría muchos casos de maestros que alcanzan los puntajes más elevados, pero son relegados a la hora de la asignación de escuelas. Esto sugiere que en ciertos niveles el Sindicato seguiría teniendo injerencia sobre la distribución de plazas, con la aquiescencia de algunas autoridades. ¿No era esto, acaso, lo que se iba a terminar con la reforma? Tal parece que aquello que se quiso evitar sigue latente; esto indicaría que el problema no era la falta de evaluaciones, sino las formas de hacer política. Si el problema era la corrupción del sistema, no es posible solucionarlo evaluando a los maestros. Aunque desconocemos la real magnitud de este fenómeno, creemos que merece una investigación a fondo (en este caso no sólo no académica, sino también política), que hasta el momento no ha tenido lugar. El silencio no hace sino alimentar el rumor de que la reforma no ha eliminado las viejas prácticas de la política en la educación; sólo las ha hecho más discretas. 

Emilio Blanco es investigador de El Colegio de México y Raúl Zepeda Gil es maestro en Ciencia Política por El Colegio de México.