Mejorando los resultado educacionales a través de tutorías en línea durante el cierre de escuelas producto del Covid-19 en Italia

Investigadores/as:
Trabajo de campo:
Ubicación:
Italy
Muestra:
1,059 students
Línea de tiempo:
Grupo objetivo:
  • Secondary schools
  • Students
Resultado de interés:
  • Student learning
  • Self-esteem/self-efficacy
  • Aspirations
  • Mental health
  • Socio-emotional development
  • Soft skills
Tipo de intervención:
  • Coaching and mentoring
  • COVID-19 response
  • Online learning
  • Tailored instruction
Número de registro del AEA RCT Registry:
AEARCTR-0005607
Socios Implementadores:

El Covid-19 obligó a los gobiernos de todo el mundo a cerrar las escuelas durante un período prolongado, provocando pérdidas masivas de aprendizaje y efectos psicológicos adversos para los y las estudiantes, especialmente los más vulnerables y de entornos socioeconómicos bajos. Las investigadoras diseñaron y evaluaron un programa de tutoría en línea gratuito impartido por universitarios voluntarios para mitigar estos efectos. Descubrieron que el programa tuvo un resultado positivo en los resultados de aprendizaje, las habilidades socioemocionales y el bienestar psicológico.

Problema de política pública

Más de 190 países cerraron escuelas durante el brote de Covid-19,1  llevando a  pérdidas de aprendizaje masivas, menos tiempo dedicado a recibir educación llevando a  pérdidas de aprendizaje masivas, menos tiempo dedicado a recibir educación,2 rendimiento más bajo y peores puntajes en las pruebas.3 La pandemia también ha tenido efectos psicológicos y sociales adversos en niños, niñas y adolescentes, lo que lleva a una mayor depresión y un menor desarrollo de habilidades socioemocionales.45 Quienes provienen de entornos de menores ingresos se vieron afectados de manera desproporcionada, ya que a menudo tenían acceso limitado a la tecnología, recibían menos apoyo de sus apoderados y sus escuelas ofrecían una educación remota de menor calidad. La combinación de estos efectos puede  tener consecuencias a largo plazo en el capital humano de las cohortes afectadas por el cierre de escuelas, ya que dificulta el pleno desarrollo de las habilidades necesarias para contribuir a una sociedad productiva y cohesionada.6

Si bien muchos países han tratado de mitigar las pérdidas de aprendizaje cambiando a la instrucción remota y utilizando diferentes tipos de plataformas, la implementación de estas herramientas ha variado sustancialmente—incluso dentro de un mismo país—y en gran medida en función de los niveles de ingresos. Las escuelas en áreas más ricas han mostrado una mayor prevalencia de aprendizaje a través de la interacción en vivo con los equipos docentes y la participación en línea de los estudiantes. 7 Los estudiantes de altos ingresos también tienden a tener acceso a mejores insumos para la educación en el hogar, incluyendo tecnología, ayuda parental,8 y recursos de aprendizaje en línea,91011 lo que exacerba las desigualdades educativas.

Se han explorado numerosas vías para abordar estos desafíos, incluyendo las tutorías, un tipo de programa que a menudo se adopta para la educación remedial. Aunque pueden tener distintas formas, las tutorías generalmente consisten en sesiones de instrucción complementarias individuales o en grupos pequeños destinadas a mejorar el rendimiento académico.11 La evidencia existente12 existente ha señalado que la tutoría es una estrategia eficaz para abordar  las pérdidas de aprendizaje y ayudar a los estudiantes a ponerse al día, lo que ha llevado en ciertos contextos a grandes mejoras en el aprendizaje de forma consistente. Sin embargo, existe poca evidencia sobre si un modelo en que las tutorías se ofrecen remotamente, algo que se hizo esencial durante la pandemia, podría lograr resultados similares.

Contexto de la evaluación

En 2020, las escuelas italianas estuvieron cerradas desde principios de marzo hasta el verano, más de un tercio del año escolar. Para facilitar la implementación de la enseñanza remota, el gobierno destinó 85 millones de euros para prestar tabletas a los estudiantes, mejorar la conexión a Internet y las plataformas en línea de las escuelas y ofrecer capacitación digital a los docentes. Sin embargo, no todos los estudiantes recibieron el apoyo necesario a tiempo debido a demoras burocráticas. Además, la respuesta de los docentes a la enseñanza remota varió mucho, y algunos tardaron más en adaptarse, ya que antes de la pandemia, menos del 50 por ciento de los docentes había usado herramientas digitales en sus clases diarias. Para junio de 2020, más del 96 por ciento de los maestros de la muestra brindaban clases en línea en vivo, el 85 por ciento también brindaba aproximadamente una hora de contenido grabado por semana y casi todos asignaban tareas para el hogar cada semana. 

En respuesta a la crisis educativa, las investigadoras se asociaron con expertos pedagógicos para diseñar e implementar rápidamente un innovador programa de tutoría en línea: TOP ("Proyecto de tutoría en línea"). El programa se dirigió a estudiantes de secundaria (grados 6 a 8) de entornos desfavorecidos en términos de estatus socioeconómico, barreras lingüísticas o dificultades de aprendizaje, quienes fueron identificados por los directores de las escuelas entre los rezagados durante el aprendizaje a distancia. El 32 por ciento de los estudiantes seleccionados tenían necesidades educativas especiales, el 22 por ciento eran inmigrantes y el 81 por ciento necesitaba ayuda en más de una materia. La mayoría de los tutores eran mujeres (70 por ciento), nacidas en Italia (98 por ciento), motivadas por el deseo de ayudar a otros cuando postularon a TOP (83 por ciento), tenían experiencia previa en voluntariados (83 por ciento) y estaban siguiendo una carrera en el área STEM (34 por ciento) o en economía/comercio (28 por ciento).

student wearing headphones sitting in front of a laptop
Photo: Shutterstock.com

Detalles de la intervención

Researchers conducted a randomized evaluation to assess the impact of TOP on students’ learning outcomes, socio-emotional skills, aspirations, and psychological well-being. Shortly after the announcement of schools’ closure, researchers contacted all middle school principals in Italy asking them to identify up to three students per class who might benefit from additional support during the months of remote learning and ensure they had internet connection and a computer or tablet. Los investigadores realizaron una evaluación aleatorizada para medir el impacto de TOP en los resultados de aprendizaje, las habilidades socioemocionales, las aspiraciones y el bienestar psicológico de quienes participaron en las tutorías. Poco después del anuncio del cierre de las escuelas, las contactaron a todos los directores de escuelas intermedias en Italia y les pidieron hasta tres estudiantes por clase que podrían beneficiarse de apoyo adicional durante los meses de aprendizaje remoto y se aseguraron de que tuvieran conexión a Internet y una computadora o tableta. Mientras tanto, reclutaron tutores voluntarios entre los estudiantes matriculados en programas de pregrado y posgrado en tres grandes universidades de Milán. Luego, invitaron a los estudiantes identificados y a sus apoderados a participar en el programa gratuito. Un total de 1.059 estudiantes de 76 escuelas intermedias de todo el país solicitaron participar en el programa; las investigadoras asignaron aleatoriamente un tutor a 530 de ellos, y los 529 estudiantes restantes sirvieron como grupo de comparación. Las investigadoras procesaron las solicitudes de forma continua para garantizar que los estudiantes pudieran comenzar lo antes posible. La tutoría se ofreció completamente en línea y consistió en ayuda con las tareas asignadas por los maestros de la escuela en tres materias: matemáticas, italiano e inglés. Las actividades de tutoría comenzaron en abril de 2020 y tuvieron una duración de cinco semanas, hasta el final del año escolar en junio.

La capacitación de tutores fue el componente más costoso del programa y limitó el número de tutores reclutados a 530, aunque habían postulado cerca de 2.000 voluntarios. Los tutores recibieron un módulo de autoformación en línea, reuniones grupales periódicas y sesiones individuales a pedido con educadores expertos. La mayoría de los estudiantes recibieron tres horas de tutoría por semana y un subconjunto de aquellos que necesitaban ayuda en más de una materia fueron seleccionados aleatoriamente para recibir seis horas por semana.

Para medir el impacto del programa, las investigadoras administraron a los estudiantes una prueba estandarizada (muy similar en formato a la prueba que se aplica a nivel nacional, pero más corta) y realizaron encuestas a apoderados, estudiantes, tutores y docentes para medir el rendimiento académico, aspiraciones, condiciones socioeconómicas de los estudiantes estandarizados. habilidades emocionales y bienestar psicológico. Además, las encuestas permitieron a las investigadoras medir el impacto del programa en la capacidad de los tutores para empatizar con los estudiantes y las opiniones sobre el papel del trabajo duro y el esfuerzo para lograr el éxito en la vida. Las investigadoras recopilaron datos en abril, antes de que comenzara la tutoría, y en junio.

Resultados y lecciones de la política pública

En general, las investigadoras encontraron que el programa de tutoría en línea mejoró el rendimiento académico, las habilidades socioemocionales y el bienestar psicológico de los estudiantes.

Esfuerzo, asistencia y comportamiento de los estudiantes: los estudiantes inscritos en TOP se esforzaron más en sus tareas en comparación con sus pares, según informes de estudiantes, apoderados y maestros. Además, los docentes informaron que los estudiantes en TOP tenían 9,4 puntos porcentuales más de probabilidad de asistir a clase con regularidad, un aumento del 16 por ciento con respecto al grupo de comparación. Los estudiantes en TOP también tenían 8,1 puntos porcentuales (o 10 por ciento) menos probabilidades que sus compañeros de reportar dificultades para seguir las clases en línea y usar la plataforma en línea de su escuela. Adicionalmente, los estudiantes en TOP se comportaron mejor durante el horario escolar, siendo la fracción de estudiantes para los cuales los maestros reportaron problemas de comportamiento 6,4 puntos porcentuales más bajos en relación con el grupo de comparación, donde se reportaron problemas de comportamiento para 83 estudiantes. Finalmente, los estudiantes en TOP tenían 4,9 puntos porcentuales más de probabilidades de disfrutar las materias de matemáticas, literatura o inglés en relación con los estudiantes de comparación (entre los cuales solo el 28 por ciento informó disfrutar de las materias).

Desempeño académico: para los estudiantes en TOP, los puntajes de las pruebas estandarizadas mejoraron en 0,26 desviaciones estándar en relación con el grupo de comparación. Los estudiantes que habían participado en las sesiones de tutoría respondieron más preguntas correctamente, un aumento del 9 por ciento en relación con un promedio del 53 por ciento correcto en el grupo de comparación. Los efectos son particularmente fuertes para las matemáticas, materia en la que la mayoría de los estudiantes recibieron tutoría. Las evaluaciones de los maestros sobre el aprendizaje general también mejoraron para los estudiantes en TOP en comparación con sus compañeros en 0,18 desviaciones estándar.

Aspiraciones, habilidades socioemocionales y bienestar psicológico: el programa no tuvo impacto en las aspiraciones de los estudiantes ni de los apoderados. Los estudiantes en TOP informaron una mayor creencia en su capacidad para controlar el resultado de los eventos en sus vidas (0,19 desviaciones estándar), menos síntomas de depresión (en 0,16 desviaciones estándar) y los apoderados informaron niveles más altos de felicidad para sus hijos (en 0,16 desviaciones estándar), en relación con el grupo de comparación.

Efectos diferentes según las características de los estudiantes: los estudiantes de entornos socioeconómicos más bajos, cuyos apoderados trabajaban fuera del hogar, vieron una mayor mejora en los resultados de aprendizaje. Además, los estudiantes con necesidades educativas especiales parecían beneficiarse más del programa y vieron cómo su rendimiento aumentaba más de 0,5 desviaciones estándar. Esto se debe potencialmente a que este es un grupo que podría haber tenido más dificultades con los métodos y materiales de aprendizaje que las escuelas proporcionaron durante el aprendizaje a distancia. Además, la mejora en el bienestar estuvo impulsada completamente por los estudiantes inmigrantes, para quienes el efecto fue un aumento de 0,77 desviaciones estándar. Las investigadoras hipotetizaron que este grupo podría tener una red de amistades menos densa y, por lo tanto, se sintió más aislado durante el encierro y se benefició de la interacción regular con un tutor. En cuanto al empleo de los apoderados, tener un tutor mejoró el rendimiento de los estudiantes significativamente más para los estudiantes con apoderados dedicados a labores que requieren menores cualificaciones. 

Impacto en los tutores: se encontró que participar en TOP aumentó la empatía de los tutores en 3,4 puntos porcentuales, 0,27 desviaciones estándar de aumento en comparación con los voluntarios a los que no se les asignó un estudiante para supervisar. No se encontró ningún efecto significativo en las percepciones de los tutores sobre el papel del trabajo duro para lograr el éxito en la vida.

Actualmente, las investigadoras están testeando TOP en la República Dominicana y están teniendo conversaciones con varios otros países de América Latina para expandir el programa en el otoño de 2021. En Italia, el programa se ampliará a 3.000 niños durante el año escolar 2021-22 como parte de una alianza más amplia con el Ministerio de Educación.

1.
UNESCO. 2021. “One year into COVID-19 education disruption: Where do we stand?”. Accessed September 27, 2021. https://en.unesco.org/news/one-year-covid-19-education-disruption-where-do-we-stand
2.
Azevedo, J. P., Koen Geven, Diana Goldemberg, Amer Hasan, and Syedah Aroob Iqbal. 2020. “Simulating the Potential Impacts of Covid-19 School Closures on Schooling and Learning Outcomes: A set of Global Estimates”. Policy Research Working Paper Series (9284), The World Bank. 
3.
De Witte, Kristoff and Joana Maldonado. 2020. “The Effect of School Closures on Standardised Student Test.” FEB Research Report Department of Economics.
4.
Espada, José, Elisa Delvecchio, Claudia Mazzeschi, Alexandra Morales and Mireia Orgilés. 2020. “Immediate Psychological Effects of the Covid-19 Quarantine in Youth from Italy and Spain.” PsyArXiv. Doi: https://doi.org/10.3389/fpsyg.2020.579038
5.
Golberstein, Ezra, Hefei Wen, and Benjamin F. Miller. 2020. “Coronavirus Disease 2019 (Covid-19) and Mental Health for Children and Adolescents.” JAMA pediatrics. 
6.
World Bank. 2020. The Human Capital Index 2020 Update : Human Capital in the Time of COVID-19. World Bank, Washington, DC. World Bank. https://openknowledge.worldbank.org/handle/10986/34432.
7.
Malkus, Nat. 2020. “School districts’ remote-learning plans may widen student achievement gap”. Education Next, 20(3).  Doi: https://www.educationnext.org/school-districts-remote-learning-plans-may-widen-student-achievement-gap-only-20-percent-meet-standards/
8.
Agostinelli, Francesco, Matthias Doepke, Giuseppe Sorrenti, and Fabrizio Zilibotti. 2020. “When the Great Equalizer Shuts Down: Schools, Peers, and Parents in Pandemic Times.” IZA Discussion Paper No. 13965. 
9.
Engzell, Perr, Arun Frey, and Mark Verhagen. 2020. “Learning Inequality During the Covid-19 Pandemic.” SocArXiv. Doi: 10.31219/osf.io/ve4z7
10.
Bacher-Hicks, Andre, Joshua Goodman, and Christine Mulhern, 2020. “Inequality in Household Adaptation to Schooling Shocks: Covid-Induced Online Learning Engagement in Real Time.” Journal of Public Economics, 193:104345.
11.
Doyle, Orla. 2020. “Covid-19: Exacerbating Educational Inequalities?” Working Paper.
12.
J-PAL Evidence Review. 2020. “The Transformative Potential of Tutoring for PreK-12 Learning Outcomes: Lessons from Randomized Evaluations.” Cambridge, MA: Abdul Latif Jameel Poverty Action Lab.