Tableaux et fournitures scolaires, évaluations aléatoires et non aléatoires, au Kenya

Researchers:
Sylvie Moulin
Eric Zitzewitz
Location:
Districts de Busia et Teso, Kenya occidental
Sample:
178 écoles primaires
Chronologie:
1996 - 1998
Target group:
  • Children
  • Primary schools
  • Students
  • Rural population
Outcome of interest:
  • Student learning
Intervention type:
  • School-based inputs
Partners:

Policy issue

Bien que 85% des enfants d'âge scolaire dans le monde soient inscrits à l’école, ce taux élevé d’inscription n'implique pas une amélioration des connaissances des élèves dans les pays en développement, où la qualité de l’enseignement est souvent très basse. Cette faiblesse de l’enseignement peut être due, en partie, au manque de fournitures scolaires appropriées, notamment dans les régions pauvres ou isolées. Une croyance répandue veut que l’apport de matériel scolaire améliorerait considérablement les résultats scolaires dans les régions rurales et sous-développées. Cependant, il y a très peu de résultats empiriques pour le confirmer.

Context of the evaluation

La grande majorité des enfants kenyans vont à l’école primaire1, même si dans les régions rurales moins de la moitié d'entre eux achève le cycle primaire. Les écoles de cette étude sont situées à Busia et Teso, deux districts agricoles voisins, à la frontière de l’Ouganda, et disposant tous les deux d'un revenu inférieur à la moyenne nationale. Les tableaux et autres supports visuels sont peu répandus dans les écoles de ces régions, et moins d’un tiers d'entre elles en étaient équipées avant cette étude. Même les livres sont rares, en 4ème (grade 8), environ 40% des élèves ont des livres de math et d’anglais, mais seuls 15% au mieux ont des livres de sciences ou d’autres matières. Dans les classes inférieures, les livres sont encore plus rares.

On considère souvent que les tableaux améliorent l’apprentissage pour plusieurs raisons, et peuvent convenir à un éventail plus large d’élèves ayant des modes d'assimilation différents. Les tableaux peuvent être particulièrement intéressants dans le contexte kenyan où les livres sont trop chers pour la majorité des élèves et où la plupart ont des compétences limitées en anglais, langue d’enseignement au Kenya et dans laquelle tous les livres sont écrits.

La plupart des analyses sur les effets des fournitures scolaires sont fondées sur des études rétrospectives qui comparent les écoles avec différents niveaux de matériels. Une faiblesse potentielle de cette approche est que les variables observables comme les tableaux et les livres peuvent être liées à des variables invisibles affectant les résultats scolaires. Par exemple, des parents offrant un meilleur contexte familial (une caractéristique qui passe typiquement inaperçue) font en sorte de s’organiser pour obtenir plus de fournitures pour leurs enfants. Ainsi, les effets de ces fournitures sur les résultats aux examens peuvent être biaisés à la hausse. Cette évaluation compare les estimations rétrospectives et prospectives des effets des paperboards dans les écoles primaires au Kenya.

A teacher writes on chalk board in Kenya.
A teacher writes on chalk board in Kenya.
Aude Guerrucci

Details of the intervention

Pour l'étude prospective, International Child Support, (ICS) une ONG hollandaise, a fourni 5 jeux de tableaux pédagogiques – grands panneaux qui peuvent être accrochés au mur ou posés sur un chevalet– à chacune des 89 écoles primaires kenyanes sélectionnées aléatoirement. Ont été donnés des tableaux pour les mathématiques, la géographie, la santé, et deux autres pour les sciences (agriculture et science générale), ainsi qu'un manuel pour le professeur. Les tableaux ne sont pas conservés dans les classes, mais apportés en fonction du sujet de la leçon du jour. Ils peuvent ainsi être utilisés par plus d’une classe par jour. En pratique les professeurs des classes de 5ème et 4ème (grades 7 et 8) ont la priorité sur l’usage des tableaux, et les utilisent environ 60-75% du temps.

Les données disponibles pour cette étude sont les résultats au certificat d’école primaire, de 1997 et 1998, passé en fin de la 4ème (grade 8) et les résultats des examens habituels de la 6ème à la 4ème (grades 6 et 8) en 1997 et 1998. Les résultats des écoles ayant bénéficié des tableaux ont été comparés à ceux des écoles du groupe témoin, qui n'en ont pas reçus. Les données précédant les interventions sur les performances scolaires dans toutes les matières ont aussi été examinées.

L’analyse rétrospective utilise les données de 100 écoles engagées dans une étude distincte, où des livres et des subventions pour les tableaux étaient fournis dans des écoles sélectionnées aléatoirement. Les effets des paperboard et des autres fournitures scolaires ont été évalués en utilisant les résultats aux certificats d'école primaire de 1998.

Results and policy lessons

La comparaison entre les résultats des deux évaluations, aléatoire et non aléatoire, sur l'impact des tableaux dans les écoles primaires kenyanes montre que les estimations de l'évaluation aléatoire sont beaucoup plus faibles que celles de l'évaluation non aléatoire. Malgré le vaste échantillon étudié et deux années de données suivies, dans l’étude aléatoire, l’impact estimé des paperboards sur les résultats aux examens des élèves est proche de zéro.

En revanche, dans le cadre de l’évaluation non aléatoire, plusieurs régressions utilisant la méthode des moindres carrés ordinaire suggèrent que les tableaux augmentent les résultats aux examens des élèves d’une ampleur équivalente à 20% d’un écart type. Ceci tend à démontrer que les estimations non aléatoires souffrent de biais liés à l’omission de certaines variables importantes qui tendent à sérieusement surévaluer les résultats trouvés dans ce type d’analyse, y compris lorsque l’on contrôle pour d’autres variables scolaires observables. Le lien entre fournitures et résultats scolaires est crucial pour les politiques éducatives, cependant les politiques publiques devraient davantage prendre en compte les résultats des évaluations  aléatoires, les évaluations non aléatoires pouvant en produire des trompeurs.

Glewwe, Paul, Michael Kremer, Sylvie Moulin, and Eric Zitzewitz. 2004. "Retrospective vs. Prospective Analyses of School Inputs: the Case of Flip Charts in Kenya." Journal of Development Economics 74(2004): 251-68.

1.
United Nations. 2011. “The Millennium Development Goals Report.” Page 16