¿Cómo medir los efectos del programa “Jóvenes construyendo el futuro”?

Jóvenes construyendo el futuro (JCF) es uno de los programas prioritarios de la administración del presidente López Obrador y uno de los que más atención ha atraído de parte de los medios y del sector académico en general. Lo primero que hay que destacar es que el programa parte de un diagnóstico acertado de una problemática real, cuya atención había sido postergada históricamente en nuestro país. Me refiero al deterioro de las condiciones y expectativas de vida de los jóvenes en los ámbitos educativo y laboral. Según datos de la OCDE de 2017, 22 % de los jóvenes mexicanos no se encontraba trabajando, ni estudiando, ni recibiendo algún otro tipo de actividad de formación. Esto resulta particularmente alarmante si se considera que México es un país joven en donde, según cifras del Inegi, la edad promedio es de 29 años. En respuesta a ello, el gobierno se planteó vincular a los 2.3 millones de jóvenes de entre 18 a 29 años de edad en dicha situación, con empresas, talleres, instituciones o negocios de todo tipo para que desarrollaran hábitos laborales y competencias técnicas que aumentaran su empleabilidad y contribuyeran a la “consolidación de un plan de vida y trabajo digno”, además de proporcionarles una beca mensual equivalente a poco más de un salario mínimo (5258.13 pesos en enero de 2022), así como acceso a la seguridad social en el IMSS.

A nivel de diseño, JCF es una política que conjunta elementos de una gama amplia de intervenciones con el potencial de contribuir a abatir distintas problemáticas. Por ejemplo, guarda similitud con las políticas llamadas “de primer empleo”, mediante las cuales se procura, como su nombre sugiere, contribuir a evadir las barreras de entrada atribuibles a la falta de experiencia laboral que muchos jóvenes enfrentan. Por otra parte, en su componente principal, se trata de una “transferencia condicionada”, que no sólo sirve como “red de seguridad” contribuyendo al ingreso de millones de hogares, sino que supone que la contraprestación que deben realizar los beneficiarios —asistir a un centro de trabajo— resultará en la adquisición y el desarrollo de habilidades y hábitos laborales, entre otras habilidades blandas útiles para sus proyectos de vida futuros. No obstante lo anterior, existen diversas críticas que se han hecho al programa desde su inicio, mismas que se han concentrado en el componente formativo del programa y en las transiciones de los beneficiarios al concluir su participación.

La principal reserva al componente formativo de JCF puede extraerse de la experiencia de otro programa de aprendices reciente en nuestro país: el Modelo Mexicano de Formación Dual (MMFD), operado desde 2013 de manera coordinada por la SEP, el Consejo Coordinador Empresarial y varios subsistemas de educación media superior. Tal reserva es que existe un trade-off importante entre la calidad, la estandarización y la certificación de la capacitación, y el escalamiento del programa. Es decir, que todo intento por expandir el acceso al programa suele ser a costa de comprometer el componente formativo y de acompañamiento a los aprendices debido a la insuficiencia de tutores calificados y al aumento de los costos que ello supone para las empresas. Asimismo, la heterogeneidad (tamaño, sector, etc.) de los centros de trabajo supone un reto para la definición de estándares de formación y capacitación; sólo es cuestión de imaginar el reto de implementar la misma política en una empresa trasnacional que en un taller de carpintería o en un restaurante.

En cuanto a las transiciones de los beneficiarios al concluir su participación, el principal cuestionamiento es si serán contratados por las empresas, o bien, si podrán conseguir otro trabajo con las habilidades que adquirieron. Lamentablemente, como en décadas recientes la economía mexicana ha generado sólo poco más de medio millón de empleos formales anuales —y eso, antes de la pandemia actual—, sería descabellado pensar que un programa de vinculación e intermediación laboral, por sí solo, podría generar una cifra de empleos remotamente cercana a la de los 2.3 millones de beneficiarios.

El problema no es que JCF no genere empleos —en primer, lugar habríamos de cuestionar el paradigma “educacionista” según el cual todos los problemas sociales han de resolverse mediante la oferta de educación y habilidades, perdiendo de vista la necesidad de políticas que generen la demanda por esas habilidades en el mercado laboral— sino que el propio gobierno federal ha restringido los objetivos de uno de sus programas más importantes a uno de “empleabilidad”. Ante ello, una propuesta es que los méritos de JCF no deben ser entendidos en clave de programa de formación laboral, sino en uno de inclusión social. Jóvenes construyendo el futuro representa una política pública original y necesaria de inclusión, pacificación y justicia social. Se trata de una intervención que visibiliza y problematiza la más añeja desigualdad, que no hizo más que pronunciarse en las últimas tres décadas y que resultó en la exclusión laboral y educativa de millones de jóvenes. El programa debe leerse como el Estado mexicano ofreciéndoles a los jóvenes, por primera vez, una oportunidad con el potencial de lograr un giro de vida.

La pregunta aquí es: ¿por qué si la 4T representa un cambio de paradigma en la forma de hacer gobierno y entender la política social, insiste en evaluar sus programas prioritarios únicamente desde una matriz de conocimientos que ninguno de sus adeptos consecuentes vacilaría en catalogar como “neoliberal”? Este cuestionamiento no pretende menoscabar la labor que instituciones como el Consejo Nacional de Evaluación de la Política de Desarrollo Social (Coneval) y la Secretaría de Hacienda y Crédito Público (SHCP) han realizado durante las últimas dos décadas, pero sí pretende discutir que el establishment de la evaluación en México ha suscrito, por muchos años ya, un paradigma de la evaluación que se ajusta —de manera casi dogmática y acrítica— a metodologías y supuestos teóricos que permanecen siendo objeto de disputa en el ámbito académico, particularmente en las ciencias sociales.

Limitaciones de la matriz de marco lógico

La matriz de marco lógico (MML) constituye una herramienta para la planeación y administración de proyectos —empleada casi doctrinariamente— muy consagrada en los ámbitos de la cooperación internacional para el desarrollo; tiene su origen en el ejército estadunidense y la NASA de los setenta. En México, su adopción comenzó durante el sexenio de Vicente Fox junto con el surgimiento del denominado Sistema de Evaluación del Desempeño (SED).

La principal, de entre sus numerosas críticas, es quizás que este marco asume intervenciones simples, con estructuras causales directas y sin complicaciones, casi lineales y aditivas y con externalidades fácilmente identificables y separables. Desde esta lógica, si se cumplen los supuestos x, y, z, entonces la intervención “a” siempre llevará al resultado esperado “b”. El problema con esta lógica es que las cosas rara vez ocurren de tal forma en la realidad social, en donde la imprevisibilidad, la contingencia, y la ocurrencia de consecuencias no planeadas e involuntarias a nuestras acciones son la norma.

Limitaciones de las evaluaciones de impacto

En septiembre de 2021 se publicó un primer ejercicio de evaluación de impacto, elaborado por la Comisión Nacional de los Salarios Mínimos (Conasami). El estudio —que empleó datos de la Encuesta Nacional de Ingresos y Gastos de los Hogares (ENIGH) 2020— identificó a 859 encuestados que declararon ser beneficiarios de JCF. A partir de la técnica econométrica conocida como propensity score matching (pareamiento por puntaje de propensión), se estimó que los participantes de JCF tenían el doble de probabilidad de conseguir un empleo frente a jóvenes con características socioeconómicas similares que no eran beneficiarios del programa; para realizar el emparejamiento se utilizaron variables como sexo, autoadscripción indígena, localidad urbana o rural, escolaridad, estado civil, entre otras.

El problema con este tipo de técnicas es que entrañan múltiples limitaciones. La primera y quizás más importante, es que asume que todas las diferencias que se detecten han de atribuirse a la intervención, lo cual en el contexto de un programa que pretende atacar un problema con múltiples causas, entre las que se encuentran diversas formas de exclusión social, discriminación, racismo, clasismo, falta de oportunidades, situación del mercado laboral, etc., resulta un supuesto por demás aventurado. En este sentido, la literatura especializada coincide en que esta técnica observacional presenta la desventaja de no poder dar cuenta de otras variables latentes y ocultas que sesgan las estimaciones, como plausiblemente ocurre con las dinámicas de exclusión.

Una desventaja adicional de los métodos cuantitativos y técnicas de la estadística inferencial y la econometría convencionales es que suscriben una noción de causalidad sucesionista, es decir, basadas en identificar la fuerza y veracidad de asociaciones entre un conjunto de variables a las que se les atribuye influencia causal para el fenómeno que se desea explicar. Desde esa aproximación, la labor del analista se reduce a la manipulación y ajuste de las variables seleccionadas de entre las existentes en los datos. En la práctica, dada la complejidad del mundo social, tales modelos siempre terminan asumiendo de más, como cuando pretenden predecir el comportamiento “racional” de los individuos; o de menos, cuando los modelos no alcanzan a considerar todos los posibles “factores de confusión” que terminan por sesgar o encubrir los efectos reales de una intervención, como se puede advertir en la falta de variables contextuales que capturen la situación del mercado laboral local, en el ejercicio de la Conasami, más allá de la reduccionista —y generalizante a la vez— distinción rural-urbana.

Una alternativa: pensar en los mecanismos

Una postura cada vez más prevalente en las ciencias sociales es entender los fenómenos sociales como sistemas abiertos, en tanto que es imposible para el analista concebir todas las variables involucradas que generan un resultado determinado, ni dar cuenta de sus propiedades emergentes. Es decir, explicar por qué para algunos casos sí se logra el resultado esperado y en otros casos similares no. Desde esta perspectiva, los modelos estadísticos convencionales que pretenden explicar fenómenos sociales pueden entenderse como tentativas por domesticar una realidad compleja y equipararla con un “sistema cerrado” en donde las asociaciones por sí solas ya conlleven causalidad. Debido a esta operación de “cierre” de los fenómenos, algunos críticos del entusiasmo ciego en los “datos duros” se han referido a los modelos algebraicos de la economía como meras tautologías lógicas.

Sin abundar más en la crisis de la ortodoxia economicista, en pocas palabras, el fallo de estos modelos y de la concepción cuasipositivista sobre la que descansan, asume que la comprensión de los fenómenos sociales puede darse de manera universal, simple e inequívoca, como si se tratase de una ecuación matemática que se puede resolver, siempre y cuando se empleen las técnicas y la jerga tecnocrática adecuadas. Dadas las diversas limitaciones mencionadas y las características sui generis de JCF, resulta necesario pensar en otras aproximaciones y metodologías que nos permitan evaluar los efectos reales del programa. Las evaluaciones de impacto convencionales suelen plantear la pregunta: ¿sirve o no sirve una política? Como si sólo admitiese respuestas binarias y ofreciendo a menudo una respuesta unidimensional y probabilística (e. g. “los egresados de JCF tienen el doble de probabilidad de conseguir un trabajo”). Sin embargo, como he argumentado, la realidad es más compleja y plagada de matices.

En un intento por esquivar algunos de los déficits metodológicos de la evaluación convencional, es que han surgido recientemente otras aproximaciones teóricas, conocidas en términos generales como: “investigación basada en teorías”. Dentro de esta clasificación se suelen admitir las denominadas “teorías del cambio” y la “evaluación realista”. Es posible identificar tres principales aportaciones de estas propuestas. En primer lugar, los beneficiarios no son vistos ya como destinatarios pasivos de las ayudas u oportunidades, sino que se les reconoce una capacidad de agencia y de interacción mayor con los componentes del programa; en segundo lugar, se le otorga una centralidad fundamental a los múltiples contextos en que ocurren las intervenciones; y en tercer lugar se reconoce que éstas pueden mediar sus efectos través de distintos mecanismos que pueden producir, de igual manera, muy diversos resultados. Estas tres aportaciones distintivas se ven bien reflejadas en la corriente denominada “evaluación realista”, la cual interroga el cómo, el por qué y para quién funciona una política.

El concepto central de “mecanismos” se entiende aquí como aquellos procesos que producen consecuencias concretas. Buscar los mecanismos exige no conformarse con establecer covariaciones y correlaciones entre variables o eventos y que seamos capaces de especificar lo que Jon Elster muy ilustrativamente llamó “los engranajes y ruedas sociales” que han producido un resultado. Desde esta perspectiva, un mero efecto estadístico es una señal de nuestra incapacidad para especificar los mecanismos que subyacen al fenómeno que deseamos explicar. Contrariamente a la noción “sucesionista” de causalidad, estas posturas adoptan una concepción “configuracionista” o “generativista”, para las que los poderes causales de las intervenciones residen en las relaciones y combinaciones de distintos atributos, procesos, y acciones individuales y grupales que producen determinadas regularidades y uniformidades medibles.

No es de extrañar que estas propuestas metodológicas de la sociología analítica parezcan encontrar eco en los desarrollos teóricos más recientes por parte de los autores más consagrados de la inferencia estadística, quienes cada vez se muestran críticos de los análisis cuantitativos correlacionales y recomiendan en su lugar que la investigación se encuentre guiada por “conocimiento experto” cristalizado en “diagramas causales”, nociones a todas luces análogas a la investigación basada en teorías y con énfasis en la identificación de mecanismos.

A partir del empleo de estas aproximaciones, se podría dar respuesta a cuestionamientos puntuales y de interés público, tales como: ¿de qué manera Jóvenes construyendo el futuro está beneficiando a los aprendices indígenas en la sierra de Chiapas?, o ¿cómo han cambiado las aspiraciones de las aprendices vinculadas a la industria maquiladora en el norte del país?, entre otras tantas preguntas a lo largo de las dimensiones de género, ubicación geográfica, escolaridad, entre otras variables de interés. Algunos ejemplos de mecanismos sociales para los que existe amplia literatura académica a través de los cuales el programa JCF puede estar mediando sus resultados en los beneficiarios son: evasión de barreras de entrada al mercado laboral; construcción de redes profesionales y sociales; adquisición de conocimientos y habilidades técnicas; generación de experiencia laboral; acceso a conocimiento situado; desarrollo de habilidades blandas; mejora de la autopercepción y la autoimagen; generación de aspiraciones adaptativas; generación de deseos por emprender; contención social y prevención del delito; red mínima de bienestar, entre otros.

En México, son pocos los estudios que han empleado “evaluación realista” para responder de manera más integral a todas esas preguntas que en conjunto, nos permiten valorar, en mayor medida, de qué manera está funcionando una política. A modo de ejemplo, recientemente, el Tecnológico de Monterrey junto con la Universidad de Glasgow, entre otras universidades de Alemania, Suiza y la India, condujeron una evaluación realista sobre el Modelo Mexicano de Formación Dual.

Jóvenes construyendo el futurorepresenta una alternativa importante e histórica que obedece a un diagnóstico de una problemática real. La teoría detrás del programa se restringe a un propósito de inclusión laboral, cuando quizás sus mayores méritos se traduzcan en dinámicas de inclusión social. No obstante, a poco más de tres años de inicio de su implementación, y a pesar de haber comenzado a operar en medio de la pandemia de covid-19, el programa se acerca cada vez más a las metas que se fijó inicialmente, habiendo apoyado ya a más de 2 millones de jóvenes, a diciembre de 2021, cada uno de ellos con una historia que contar. Dados los múltiples mecanismos a través de los cuales una política como esta puede operar, constituye un apoyo sin precedentes a millones de jóvenes en un país donde históricamente las oportunidades no se han distribuido equitativamente. La pregunta que queda por responder es: ¿cómo hemos de comenzar a escuchar esas voces?

José Antonio Cervantes Gómez
Investigador doctoral en el Colegio de Ciencias Sociales de la Universidad de Glasgow, Reino Unido