El gobierno mexicano implementó en 2013 la reforma educativa (RE) con el fin de mejorar la calidad de la educación en México. Un componente importante de la RE fue la evaluación para el ingreso docente —a través del Servicio Profesional Docente— donde, mediante procesos de evaluación, se buscó identificar docentes idóneos para ingresar al sistema educativo. Un docente idóneo es definido como aquel que: 1) conoce a sus estudiantes y cómo aprenden; 2) organiza y evalúa el trabajo educativo y realiza intervenciones pertinentes; 3) se reconoce como profesional y busca la mejora continua para apoyar el aprendizaje de sus estudiantes; 4) asume las responsabilidades éticas y legales de la enseñanza; y 5) participa en su comunidad escolar. Adicionalmente, se abrieron las puertas a egresados de otras instituciones de educación superior (IES), de profesiones afines como pedagogía o ciencias de la educación, o de disciplinas específicas como química o física para competir por una plaza junto con egresados de escuelas normales y pedagógicas. Después, a los dos años de ingreso, los docentes idóneos que ingresaron a partir de 2014 fueron evaluados nuevamente para comprobar que su desempeño docente permanecía adecuado. La RE fue cancelada en 2018 pero los nuevos procesos de evaluación, a través de la llamada carrera de las maestras y los maestros, están en proceso de diseño e incluyen el componente de evaluación para el ingreso. Por tal motivo, el análisis de experiencias pasadas y sus consecuencias es de suma importancia. En 2017, inicié un trabajo de investigación en la Universidad de California (Predictive Validity of Entrance Teacher Exams in Mexico and Implications for Teacher Evaluation Reform) analizando la relación entre la evaluación de ingreso y desempeño para las dos primeras generaciones de la RE de 2013: las cohortes de 2014/2016 y 2015/2017. En este ensayo presento las principales lecciones del estudio, así como una serie de recomendaciones a considerar para el diseño de los nuevos procesos de evaluación de ingreso.

Ilustración: Gonzalo Tassier

Es importante mencionar que los instrumentos (o exámenes) de los procesos de evaluación de ingreso y desempeño eran independientes, aunque los dos exámenes de conocimientos y habilidades pedagógicas formaron parte de ambas evaluaciones. Todos los instrumentos se calificaron en una escala del 60-170. Para el ingreso, de acuerdo con este puntaje, se asignó un nivel de desempeño (I, II o III) y, finalmente, de acuerdo con el nivel de desempeño, los candidatos fueron asignados a grupos (A, B, y C o no idóneo); existía un cuarto grupo (el D) pero menos del 5% de los candidatos correspondieron a este grupo y no fueron incluidos en este análisis.  Las plazas se asignaron de manera descendente, es decir, iniciando con los docentes en el grupo A. Para las dos primeras pruebas de ingreso, menos del 10% de los candidatos docentes se encontró en el grupo A (3% en 2014, y 9% en 2015), al mismo tiempo que más del 50% fue considerado no idóneo (60% en 2014 y 50% en 2015). El resto, se encontró en los grupos B y C. Cabe mencionar que, de los candidatos idóneos, un 75% egresó de escuelas normales en 2014 y 68% en 2015. De hecho, usando modelos probabilísticos, encontré que los docentes egresados de educación normal tienen mayor probabilidad de ingresar en el grupo de desempeño más alto.

Por otro lado, los instrumentos de la evaluación de desempeño a los dos años (exámenes de conocimientos y habilidades pedagógicas y portafolio de evidencias de enseñanza), eran calificados en la misma escala (60 a 170 puntos) de los exámenes de ingreso. Después, estas calificaciones fueron agregadas por el INEE en un puntaje global de desempeño y transformados en una escala del (600 a 1,600 puntos). Los docentes con un puntaje de desempeño a los dos años mayor a 1,000 eran considerados idóneos. Entonces, ¿qué lecciones podemos aprender de la aplicación de estos exámenes para el ingreso y medir el desempeño docente?

Lección 1: Los exámenes de ingreso son capaces de predecir el desempeño a los dos años. La relación entre los puntajes de los exámenes de ingreso y el puntaje global de desempeño a los dos años es positiva y estadísticamente significativa. En promedio, los puntajes de los exámenes de ingreso predicen en 5 puntos los puntajes de desempeño a los dos años. Sin embargo, la relación es pequeña y otras variables como el promedio en la educación superior (15 puntos) y el tipo de escuela donde los docentes enseñan a los dos años (7 puntos) son capaces de predecir en mayor magnitud el desempeño global a los dos años. En particular, docentes en escuelas estatales tienen mejor desempeño que los docentes en escuelas federales. El modelo de la evaluación de ingreso, en general, sólo predice en 7%, los puntajes de desempeño global en 2016 para la primera generación. Esta predicción mejora para la segunda cohorte y puede predecir los puntajes de desempeño en 16%.

Hay varias razones por la cuales los exámenes de ingreso podrían explicar sólo una pequeña parte del desempeño docente. En primer lugar, algunos de los instrumentos fueron declarados inválidos por el INEE al no cumplir con las propiedades psicométricas necesarias (recordemos que los exámenes fueron elaborados por el CENEVAL a petición de la SEP), por lo que estos exámenes no pudieron ser considerados para generar el puntaje global de desempeño; de hecho, el número de exámenes inválidos en la segunda evaluación es menor y podría explicar parte del aumento en la predicción del modelo debido a un mejor diseño de los instrumentos. En segundo lugar, los puntajes de algunos instrumentos de la evaluación de desempeño dependían de calificación de evaluadores, pero no existe información sobre el entrenamiento o capacitación de dichos evaluadores y la falta de datos a nivel ítem no permiten hacer una evaluación detallada sobre propiedades psicométricas importantes, como la confiabilidad de las calificaciones que los evaluadores generaron para cada uno de los instrumentos.

Lección 2: La evaluación de ingreso fue capaz de distinguir entre los mejores candidatos docentes de aquellos con más bajo desempeño en los exámenes de ingreso, pero no entre el resto de los candidatos idóneos y candidatos que estuvieron cerca de pasar la evaluación de ingreso.1 Es importante mencionar que cerca del 100% de los docentes evaluados aprobó la evaluación de desempeño. Mediante un ejercicio de simulación encuentro que, aunque los puntajes globales de desempeño (a los dos años) se distribuyen de manera normal, estos no son lo suficientemente distintos debajo del puntaje mínimo de 1,000 puntos para ser considerado idóneo por lo que casi todos los docentes se encuentran por arriba de este puntaje mínimo, como se muestra en la gráfica 1 (línea verde). Adicionalmente, como resultado del ejercicio de simulación encuentro que, para poder distinguir entre docentes idóneos y candidatos con desempeño no idóneo, el puntaje mínimo de desempeño debió ser más alto. Por ejemplo, con un puntaje mínimo de 1,190 puntos (línea roja), la distinción entre docentes idóneos y los que no lo son resulta más clara (véase gráfica 1).

Gráfica 1. Distribución del desempeño de docentes idóneos y no idóneos después de dos años



Fuente: Elaboración propia con datos de la evaluación de ingreso y desempeño del Servicio Profesional Docente proporcionados por el INEE.

Lección 3: Los procesos de evaluación de la RE tuvieron implicaciones en la oferta laboral docente en México. Primero, el número de candidatos docentes que pudo participar en el examen de ingreso en 2014 aumentó en comparación con años anteriores, pero disminuyó al año siguiente, aunque volvió a aumentar paulatinamente en los años siguientes (véase gráfica 2).

Gráfica 2. Tendencia en el número de candidatos docentes evaluados para ingreso por concurso de 2009-2018

Fuente: Elaboración propia con datos del Concurso Nacional de Plazas Docentes y la Coordinación Nacional del Servicio Profesional Docente.

Si bien estas evaluaciones eran diferentes en contexto y en contenido, las razones de estos cambios pueden ser diversas, desde la disponibilidad de plazas docentes hasta la apertura del concurso al público y la reputación punitiva de la RE. Si analizamos las tendencias del aumento en el número de candidatos interesados en ingresar al sistema educativo encontramos que —hasta cierto punto— esto puede explicarse con la entrada de egresados de otras IES al sistema educativo. Asimismo, al segundo año, la disminución de candidatos puede explicarse por la disminución de egresados de escuelas normales interesados en ingresar al sistema educativo (con algunas excepciones). Aunque estas son las tendencias a nivel nacional, algunos estados como Chiapas, Guerrero y Oaxaca suspendieron su participación después del primer año debido a asuntos políticos y del sindicato de maestros, bajo el argumento de que la naturaleza de la RE era punitiva y que el carácter de los procesos de evaluación fue “estrictamente laboral”, principalmente la Coordinadora Nacional de Trabajadores de la Educación (CNTE) se opuso a la RE. A pesar de ello, la evidencia muestra que el número docentes evaluados designados como no idóneos fue mínimo.

Por otro lado, la diferencia entre puntajes de egresados de educación normal y de otras IES en general no explica la disminución de candidatos egresados de educación normal, pues en promedio, los egresados de escuelas normales tuvieron puntajes más altos, ya sea porque están mejor preparados, o porque el contenido de los exámenes de ingreso está alineados al programa de estudios de escuelas normales. Esto es un argumento poderoso para no tener que violar el principio de igualdad de oportunidades establecido en el Artículo Tercero recién aprobado y permitir que tanto los candidatos de las normales como los candidatos egresados de otras instituciones de educación superior compitan en igualdad de circunstancias, los normalistas tendrán ventaja por su preparación, pero ganarán su lugar de la manera más justa posible.

Ya que los procesos de leyes secundarias y el diseño de la nueva evaluación de ingreso están siendo elaborados en este momento, las lecciones presentadas buscan ayudar a que la evaluación de ingreso logre seleccionar a los docentes mejor preparados y así aumentar la calidad de la educación.

Recomendaciones para la evaluación de ingreso

Primero, diseñar un piloto. Si bien la calidad en el diseño de los instrumentos de evaluación mejoró con el tiempo, la existencia de un piloto habría permitido refinar y rediseñar instrumentos que fueran válidos en ambos periodos de evaluación desde el inicio. De esta manera, los exámenes de la evaluación de ingreso habrían sido considerado válidos y el poder predictivo de la evaluación para la selección y el desempeño docente sería mejor. 

Segundo, reconocer la importancia de la evaluación de ingreso. Aunque el modelo predictivo de la relación entre la evaluación de ingreso y desempeño muestra que otras variables, quizá menos costosas como el promedio de egreso de la educación superior, son más eficientes para predecir el desempeño docente a los dos años, el establecimiento de la evaluación de ingreso generó distorsiones en el mercado laboral docente, que no necesariamente son indeseables, como el mecanismo de autoselección. Es decir, candidatos que estaban dispuestos a ser evaluados postularon para ingresar al mercado laboral docente, y es probable que este tipo de candidatos estuvieran mejor preparados y podría explicar porque, en promedio, los puntajes en general de la segunda cohorte son más altos.

Tercero, buscar la equidad de las instituciones educativas. El hecho de que docentes que enseñan en escuelas estatales tengan mejor desempeño que docentes en escuelas federales, no es tan sorprendente.  Sin embargo, las implicaciones son importantes pues los docentes seleccionan sus plazas de acuerdo con los resultados de ingreso y esto podría explicar la diferencia en resultados del aprendizaje de los estudiantes dependiendo del tipo de institución. Es decir,  los maestros mejor preparados eligen enseñar en escuelas con mayores recursos generando así amplificar las desigualdades del sistema educativo; las leyes secundarias tendrían que resolver este asunto.

Cuarto, transparentar el acceso a datos. Mucha de la retórica alrededor de la RE, y en particular de la evaluación de ingreso, cuestionaba la eficiencia de los exámenes para la selección de candidatos. Sin embargo, la evaluación de ingreso fue capaz de seleccionar candidatos idóneos adecuadamente.  Y tener acceso a los datos fue clave para poder analizar la validez y las implicaciones de la RE. Esperamos que el nuevo Centro Nacional para la Mejora Continua de la Educación y la SEP consideren este aspecto en las leyes por aprobarse próximamente. Si se hubiera contado con datos a nivel ítem hubiese sido posible demostrar qué parte de la evaluación funcionaba mejor que otras y por qué. Por tal motivo, generar procesos de transparencia para el acceso de datos desde un inicio, será clave para garantizar el acceso a datos, facilitar la investigación académica y asegurar los mecanismos de difusión adecuados.

 

Mariana Barragán
Estudiante de doctorado en Metodologías de Investigación en las Ciencias Sociales en la Universidad de California, Los Ángeles (UCLA).


1 Una limitación importante de este tipo de estudios es que no podemos observar la calificación dos años después de docentes que fueron evaluados, pero no alcanzaron el puntaje de ingreso, por lo que no pertenecen al sistema educativo. Por tal motivo, hice un ejercicio de simulación carácter Bayesiano (Graham, 2009) para simular dichos puntajes basado en características observables de los candidatos docentes.