El Uso y Mal Uso de Computadores en Educación: Evidencia de una Prueba de Evaluación Aleatoria de un Programa de Artes del Lenguaje

Researchers:
Felipe Barrera-Osorio
Location:
Northern Antioquia, Caldas, Choco, Cordoba, Quindio and Risaralda
Sample:
97 escuelas, 8.216 estudiantes
Línea de tiempo:
2006 - 2008
Target group:
  • Students
Outcome of interest:
  • Student learning
Intervention type:
  • Digital and mobile
  • Technology

Policy issue

Durante la última década muchos países en desarrollo han aumentado sus tasas de acceso a la educación primaria, animados por iniciativas como los Objetivos de Desarrollo del Milenio de la Naciones Unidas, las cuales llaman a alcanzar una educación primaria universal para el 2015. Sin embargo, existen grandes preocupaciones sobre la calidad de la educación en países en desarrollo – con encuestas de logro que muestran bajos niveles de aprendizaje incluso en niños que asisten regularmente a la escuela por muchos años. Si bien se sabe mucho sobre cómo aumentar la asistencia de los niños a la escuela, se sabe mucho menos sobre cómo mejorar la calidad de la educación de una manera costo-efectiva.

El uso de las Tecnologías de Información y Comunicación (ICT) se está convirtiendo en una gran preocupación a medida que los países en desarrollo se enfocan en mejorar la calidad de sus sistemas de educación. Varios países están determinados a aumentar el número de computadores en sus instituciones educacionales, creyendo que las escuelas se beneficiarán del uso de las nuevas tecnologías y que los estudiantes necesitan estar tempranamente expuestos a dichas tecnologías. A pesar de esta creciente adopción y demanda de ICT en la educación, se ha llevado a cabo relativamente poca investigación sistemática acerca de los métodos del uso de ICT en sala de clases. Incluso menos se sabe sobre el impacto de su uso en los resultados educacionales, conducta social o empleo y productividad de los trabajadores. Si bien existe mucha atención e interés por los programas ICT en la literatura educacional, aún son escasas las evaluaciones sólidas que entreguen conclusiones generales respecto de su efectividad.

Context of the evaluation

Colombia es un típico país Latinoamericano de ingreso medio. Al igual que muchos países de ingreso medio la asistencia a clases en Colombia es cercana al 100 % para los niños menores, pero baja sustancialmente después de los 13 años. La asistencia promedio es de 92% entre los jóvenes de 15 años, de 90% entre los jóvenes de 16 años y de 80% entre los de 17 años. La caída es considerablemente más rápida para aquellas personas de bajos ingresos: para los alumnos de 17 años, la tasa de asistencia cae a un 65% en este grupo. Sin embargo, aunque las tasas de asistencia están a la par con el resto de la región, el rendimiento educacional de Colombia es bajo comparado con el resto de Latinoamérica y no alcanza su potencial dado su nivel de ingreso1.

Details of the intervention

En 2002, en un esfuerzo por mejorar la calidad de su sistema de educación, el Ministerio de Comunicaciones creó el programa Computadores para la Educación, el cual se ha extendido a todo el país. Como una alianza entre el sector público y privado, su principal propósito es reacondicionar computadores donados, instalarlos en las escuelas y capacitar a los profesores en su uso para asignaturas específicas, especialmente español. Desde su creación, el programa ha recibido más de 114.500 computadores y reacondicionado 73.665 que han sido instalados en 6.386 escuelas públicas en 1.018 municipalidades. A la fecha, el programa incluye más de 83.000 profesores y más de 2 millones de estudiantes. Adicionalmente, el programa crea alianzas entre escuelas y universidades locales que son responsables del diseño de la estrategia pedagógica y participan en un módulo de capacitación de 20 meses para los profesores participantes. Estas capacitaciones incluyen metodologías de enseñanza usando computadores para fortalecer la lectura y escritura de los estudiantes.

Para evaluar el programa, 97 escuelas interesadas y elegibles se asignaron aleatoriamente en grupos de tratamiento y control. El sorteo se realizó a comienzos de agosto 2006, y la lista de escuelas se entregó al Ministerio de Comunicaciones para la implementación del programa. Una encuesta de línea base se realizó inmediatamente después de la aleatorización y se realizó una encuesta de seguimiento dos años más tarde. Tanto los cuestionarios de línea base como los de seguimiento tenían el mismo formato. Se les preguntó a los estudiantes sobre características socioeconómicas, resultados escolares (asistencia, horas de estudio, notas y periodos de abandono) y actitud hacia la escuela, incluyendo el uso de computadores. Los estudiantes también completaron una versión resumida del examen nacional de Colombia. A los profesores se les preguntó sobre su educación y experiencia, su conocimiento sobre computadores y el uso de los mismos en clase. La muestra contiene 3.889 estudiantes control y 4.327 estudiantes de tratamiento matriculados entre 3° a 9° grados al momento de la encuesta de seguimiento. Debido a la alta tasa de desgaste de 37% durante el examen de seguimiento, la muestra final comprendió 5.201 estudiantes.

Results and policy lessons

Los efectos del programa se evaluaron comparando directamente los puntajes promedios en los exámenes y las respuestas a las encuestas de los grupos de tratamiento y control. Aún cuando el programa tuvo éxito en el aumento del número de computadores en las escuelas en tratamiento, por cuanto en promedio estas escuelas tienen 13,4 computadores comparados con los 5,1 en las escuelas control, el programa sorprendentemente tuvo poco efecto en los puntajes de los exámenes. En español, la asignatura objetivo del programa, los estudiantes de tratamiento contestaron sólo cerca de 1,7% más preguntas en forma correcta que el grupo control, una mejora estadísticamente no significativa. No se observaron mejoras en matemáticas. En términos de puntajes en exámenes normalizados, esto representa menos que 0,1 desviaciones estándar en ambas asignaturas, una diferencia insignificante comparada con los exitosos programas en la literatura educacional. Al considerar los efectos en subgrupos específicos de estudiantes, agrupando de acuerdo a su género y edad, tampoco se observan diferencias significativas entre los estudiantes de tratamiento y control. Más aún, el programa Computadores para la Educación tuvo poco efecto sobre varias otras variables académicas incluyendo las horas de estudio, percepciones de la escuela y las relaciones con sus pares.

Encuestar tanto a profesores como estudiantes revela que aún cuando el número de computadores disponibles en las escuelas de tratamiento aumentó significativamente, el programa aumentó el uso real de los computadores entre los estudiantes y profesores sorprendentemente poco. A pesar de la orientación del programa sobre el uso de computadores para la enseñanza de un rango de asignaturas, sólo fueron usados para enseñar habilidades de uso computacional. Sólo 3 a 4% de los estudiantes tanto en las escuelas de tratamiento como control declararon usar los computadores en las clases de lenguaje, la cual era el objetivo de primer orden del programa. Además, el uso extra de los computadores informado por los profesores se concentró en los grados escolares más bajos, con profesores en los grados escolares más altos declarando prácticamente un nulo uso de los computadores en las escuelas de tratamiento y control.
Los resultados de esta evaluación entregan un claro ejemplo de los potenciales límites de las intervenciones de ICT que apuntan a mejorar los métodos que los profesores usan en la sala de clase. Si bien estudios académicos previos han demostrado que los computadores en las escuelas pueden mejorar significativamente los puntajes en las pruebas de los estudiantes, los resultados de este estudio destacan la importancia de la implementación y capacitación, específicamente apuntando a la incorporación de computadores disponibles hacia el proceso y currículo educativo.

1The World Bank. “The Quality of Education in Colombia,” Nov 4, 2008 http://www-wds.worldbank.org/external/default/WDSContentServer/WDSP/IB/2008/12/15/000333038_20081215233713/Rendered/PDF/439060ESW0P10610Box334108B01PUBLIC1.pdf

Barrera-Osario, and Leigh L. Linden. "The Use and Misuse of Computers in Education: Evidence from a Randomized Controlled Trial of a Language Arts Program." Working Paper, Columbia University, 2009.

1.
The World Bank. “The Quality of Education in Colombia,” Nov 4, 2008 http://www-wds.worldbank.org/external/default/WDSContentServer/WDSP/IB/2008/12/15/000333038_20081215233713/Rendered/PDF/439060ESW0P10610Box334108B01PUBLIC1.pdf