Antes de evaluar: ¿qué podemos aprender de los datos existentes?

La experiencia del programa Acompáñame a Crecer en Guatemala

Para los gobiernos, el uso de evidencia para orientar decisiones de política pública no siempre requiere contar primero con resultados sobre el impacto de un programa. A veces, el punto de partida es una pregunta más inmediata: ¿qué podemos aprender de la información y la experiencia que ya tenemos?

En Guatemala, el Ministerio de Educación (MINEDUC) se plantea esta pregunta en el marco de Acompáñame a Crecer, un programa público de educación para la primera infancia que funciona desde 2020. A través de un modelo comunitario, el programa busca promover el desarrollo físico, cognitivo y socioemocional de niñas y niños, al mismo tiempo que brinda apoyo a madres, padres y personas cuidadoras. MINEDUC lidera el programa y trabaja junto con UNICEF y otras organizaciones que participan en su implementación.

De cara a la siguiente fase del programa, MINEDUC busca comprender mejor cómo funciona Acompáñame a Crecer en la práctica, qué componentes podrían fortalecerse y qué resultados sería importante medir. En el marco de nuestro trabajo sobre desarrollo infantil temprano en Guatemala, desde J-PAL LAC hemos colaborado con MINEDUC y otros socios para fortalecer el uso y la generación de evidencia. En el caso de Acompáñame a Crecer, este proceso comenzó con un paso concreto: examinar con mayor detalle los datos y la información que MINEDUC ya recopilaba.

Abordamos este trabajo en tres pasos complementarios, que nos ayudaron a pasar de lo que ya sabíamos sobre el programa a preguntas más precisas para orientar su siguiente fase.

Partir de los datos que MINEDUC ya recopila

En lugar de iniciar un nuevo estudio, comenzamos por examinar con mayor detalle los datos administrativos y de monitoreo que MINEDUC recopila habitualmente sobre Acompáñame a Crecer. Como parte de la gestión cotidiana del programa, el Ministerio utiliza boletas de supervisión, formularios que permiten registrar distintos aspectos de su implementación. En colaboración con MINEDUC, J-PAL LAC sistematizó y analizó la información de 67 boletas disponibles, que incluían observaciones sobre los espacios donde se realizaban las actividades y la capacitación recibida por las educadoras comunitarias.

Estas boletas tenían limitaciones importantes. No constituían una muestra representativa del programa, por lo que no permitían elaborar un diagnóstico a nivel nacional ni determinar si Acompáñame a Crecer estaba mejorando el desarrollo infantil. Aun así, su sistematización y análisis ayudaron a identificar con mayor claridad patrones y preguntas sobre la implementación. Por ejemplo, las boletas mostraban diferencias en las condiciones de los espacios donde se desarrollaban las actividades y en los niveles de capacitación recibida por las educadoras comunitarias.

Este es un ejemplo concreto de cómo los datos administrativos pueden contribuir a la toma de decisiones informada por evidencia. La información recopilada para la gestión cotidiana de un programa no necesita responder todas las preguntas para ser útil. Utilizada con cuidado, puede ayudar a las instituciones públicas a identificar qué aspectos conviene examinar con más detalle, qué podría ser necesario fortalecer y qué falta por aprender.

Combinar información local, evidencia existente y experiencia de implementación

Las boletas de supervisión eran solo una parte de la información disponible. Comprender cómo se implementa un programa es distinto de entender por qué algunos de sus componentes podrían mejorar el desarrollo infantil, o si efectivamente lo hacen.

En paralelo a este análisis, revisamos investigaciones previas sobre programas de primera infancia, aprovechando la experiencia de J-PAL LAC en desarrollo infantil temprano en Guatemala. La evidencia de otros contextos puede ayudar a identificar mecanismos prometedores y orientar decisiones sobre el diseño de un programa, pero no constituye una receta. La posibilidad de aplicar esos aprendizajes, y la forma de hacerlo, dependen de las instituciones locales, las condiciones de implementación y las comunidades a las que se busca llegar.

Por eso, la experiencia de MINEDUC, UNICEF y otros socios implementadores fue igualmente importante. Su conocimiento de cómo funciona Acompáñame a Crecer en la práctica permitió identificar preguntas que los datos, por sí solos, no podían responder.

En junio, MINEDUC y J-PAL LAC convocaron un encuentro de aprendizaje con los socios implementadores para analizar la información de las boletas de supervisión, compartir sus experiencias en la implementación del programa e identificar oportunidades para fortalecerlo. Reunir estas distintas perspectivas nos ayudó a hacer más explícita la teoría de cambio de Acompáñame a Crecer.

A través de este trabajo, comprendimos con mayor claridad que Acompáñame a Crecer ya contaba con un modelo comunitario para llegar a niñas, niños y sus familias, pero que las relaciones entre sus distintos componentes y los resultados esperados en desarrollo infantil todavía no estaban suficientemente definidas. Por ello, junto con MINEDUC y sus socios, nos enfocamos en precisar qué componentes se esperaba que generaran cambios, a través de qué mecanismos y cuáles serían los resultados más importantes de medir. Aclarar esta lógica permitiría fortalecer la siguiente fase del programa y contribuir a que una futura evaluación abordara preguntas relevantes para las decisiones de MINEDUC.

Cada socio aportó conocimientos y experiencias complementarias. MINEDUC contribuyó con su liderazgo, conocimiento institucional y perspectiva sobre las preguntas prioritarias de política pública. UNICEF y los socios implementadores aportaron su experiencia operativa y territorial. J-PAL LAC apoyó la sistematización de la información existente y la incorporación de investigaciones relevantes a la discusión, mientras que los investigadores colaboradores ayudaron a transformar las preguntas de política pública que MINEDUC comenzaba a plantear en preguntas que pudieran responderse mediante una investigación rigurosa.

Aprovechar lo que sabemos para definir qué falta por aprender

En conjunto, este trabajo nos permitió comprender con mayor claridad cómo se espera que funcione Acompáñame a Crecer y qué preguntas siguen abiertas. MINEDUC y sus socios están utilizando esa lógica para desarrollar un piloto que permita llevar la teoría de cambio a una versión del programa con componentes mejor definidos y que pueda evaluarse rigurosamente.

Es importante destacar que el trabajo realizado hasta ahora no permite determinar qué efectos ha tenido Acompáñame a Crecer. Los datos de monitoreo nos ayudaron a identificar patrones de implementación. La investigación realizada en otros contextos permitió orientar la identificación de posibles mecanismos y decisiones sobre el diseño del programa. La experiencia de implementación aportó conocimientos sobre cómo esas ideas se relacionan con las realidades locales. En conjunto, estas distintas fuentes de información ayudaron a precisar las preguntas que ahora requieren una evaluación rigurosa.

MINEDUC y sus socios planean poner a prueba este piloto mediante una evaluación aleatorizada. El piloto está previsto para 2027, mientras que el diseño de la investigación aún se encuentra en desarrollo. La evaluación buscará responder preguntas sobre qué cambios pueden atribuirse al programa, algo que los datos existentes, la investigación previa y la experiencia de implementación no permiten determinar por sí solos.

Para nosotros, este proceso ha reforzado varios aprendizajes sobre el uso de evidencia. Los datos administrativos pueden ser valiosos incluso cuando no fueron recopilados originalmente con fines de investigación. La evidencia internacional puede orientar el diseño de programas sin reemplazar la necesidad de comprender el contexto local. La colaboración a largo plazo puede reunir conocimientos institucionales, operativos y de investigación en torno a las prioridades de política pública de una institución. Además, considerar cómo evaluar rigurosamente un programa mientras se diseña su siguiente fase puede ayudar a definir qué medir, cómo ponerlo a prueba y qué preguntas son más relevantes para la toma de decisiones. 

En Guatemala, por lo tanto, el uso de evidencia no comenzó con una evaluación aleatorizada, ni terminará con una. El objetivo es mantener un proceso continuo de aprendizaje en el que MINEDUC pueda aprovechar distintas formas de evidencia para fortalecer Acompáñame a Crecer hoy, generar evidencia más sólida en el futuro y, en última instancia, tomar decisiones mejor informadas sobre cómo debería evolucionar el programa.