Protocole de recherche

PDF version

We can randomize the allocation of an entire program…We can randomize different components of a program…We can design our evaluation to precisely test a theoretical concept that economists have worried about for years or to test a contentious policy question. In other words, we can tailor the evaluation to answer exactly the question we need to have answered.  
– Rachel Glennerster and Kudzai Takavarasha, Running Randomized Evaluations: A Practical Guide.

Après avoir établi que l’on peut répondre à la question de recherche à l’aide d’une évaluation aléatoire et que la réponse justifie les coûts à engager, on doit déterminer les éléments ci-après :

  1. Population cible : quelle est la population ciblée par ce programme ?
  2. Variables: quels sont les variables qui nous intéressent et comment les mesurer ?
  3. Échantillonnage : comment construire l’échantillon de recherche ? Doit-il être représentatif de certains groupes de la population ? et le cas échéant, comment le constituer?
  4. Protocole de randomisation : qui (combien d’individus) participera à l'intervention ou sera témoin, et quand ?
  5. Calculs de puissance et taille de l'échantillon : sur combien de personnes doit-on mesurer les variables clés ?

Pour obtenir un aperçu complet de la conception d’une évaluation aléatoire, se reporter à Esther Duflo, Rachel Glennerster et Michael Kremer. Using Randomization in Development Economics Research : A Toolkit (Guide d’utilisation de la randomisation dans la recherche en économie du développement). In T. Schultz et John Strauss, Eds., Handbook of Development Economics. Vol. 4. Amsterdam et New York : North Holland, 2008.

Pour un guide pratique moins technique comprenant des conseils sur la mise en œuvre et la conception d’une évaluation aléatoire, se référer à Rachel Glennerster et Kudzai Takavarasha. Running Randomized Evaluations : A Practical Guide (Conduire des évaluations aléatoires : guide pratique). Princeton : Princeton University Press, 2013.

Population cible et résultats

La population cible et les variables visées doivent être définies dans la question de recherche (voir plus haut).
En ce qui concerne la population cible, il convient de répondre à plusieurs questions : quels sont les bénéficiaires directs et indirects du programme ? Quels seront les bénéficiaires ultérieurs du programme si l’on en venait à le généraliser ? Dans l’idéal, à quelle population les résultats devraient-ils s’appliquer ?
Les détails relatifs à la mesure des variables sur la population cible sont abordés dans la partie suivante, qui porte sur les Mesures et le recueil de données.

Échantillonnage

Dans certains cas, l’échantillon correspond à l’ensemble de la population cible de l’étude. Par exemple, si une évaluation portant sur les élèves de CE2 a lieu dans 100 écoles primaires, il se peut que l’on obtienne les notes de tous les élèves de ces établissements. Aussi, il n’est pas nécessaire de procéder à un échantillonnage aléatoire des élèves. Le plus souvent, néanmoins, l’on échantillonnera aléatoirement les personnes enquêtées. L’échantillonnage soulève alors beaucoup des questions qui se posent également pour l’assignation aléatoire.

  • Le calculateur de taille d’échantillon et la feuille de calcul d’échantillonnage STEPS contiennent des indications précieuses pour déterminer la taille d'un échantillon et sa répartition. Pour plus d’informations, consulter la page STEPS sur le site de l'OMS.
  • Le chapitre 3 du Reproductive Health Assessment Toolkit for Conflict-Affected Women (Guide d’évaluation de la santé reproductive pour les femmes victimes de conflits) des Centers for Disease Control and Prevention (Centres pour la prévention et la lutte contre les maladies, CDC) contient des instructions détaillées sur l’échantillonnage aléatoire. Ce document est disponible sur le site des CDC.
  • L’ouvrage Analysis of Household Surveys (Analyse des études sur les ménages, 1998) d’Angus Deaton aborde les questions de protocole, de d'échantillonnage et d'analyse en matière de recherche, en particulier en ce qui concerne les mesures de la consommation.

Protocole de randomisation

En théorie, la randomisation est très simple : il suffit de tirer à pile ou face pour obtenir un résultat aléatoire. Lorsque l’on envisage d’introduire un élément aléatoire dans une étude, en revanche, il existe quasiment autant de possibilités de le faire que de programmes différents. Les principales questions que l’on doit se poser sont :

  • Quel est le niveau/l’unité de randomisation ? (Est-ce que l’on assigne aléatoirement aux groupes test et témoin des individus ou bien des groupes d’individus, tels que des établissements scolaires ou des villages dans leur ensemble ?)
  • Que propose-t-on au groupe témoin ? (Lui refuse-t-on l’accès au programme de façon permanente ou pendant une période déterminée ? Lui permet-on également d’accéder au programme, en s’efforçant simplement de susciter une souscription plus importante du groupe test ?)
  • Souhaite-t-on mesurer des externalités ?
  • Pour des explications complètes sur la manière de concevoir des expérimentations afin de mesurer des effets de contagion, se reporter à cet article de Sarah Baird, Aislinn Bohren, Craig McIntosh et Berk Ozler.
  • Se borne-t-on à n'inclure dans notre échantillon que les groupes qui sont près des limites d'éligibilité (limites inférieures ou supérieures)?
  • Est-il acceptable qu’un individu ait plus de chances d’être assigné au groupe test (par exemple) qu’un autre individu ?
  • Une stratification est-elle nécessaire ? Si oui, dans quelle mesure et selon quelles variables ?
  • Pour plus de détails sur la stratification et ses avantages, lire les réflexions de Guido Imbens sur la conception d'évaluations aléatoires par unité ou par grappe.
  • Si l’on ne dispose pas d’une liste complète des unités dès le départ, peut-on randomiser au fur et à mesure ?
  • Doit-on effectuer un tirage au sort public ?
  • Quels logiciels convient-il d’utiliser ?
  • La randomisation doit-elle être reproductible de sorte à ce que d’autres chercheurs puissent utiliser le code et parvenir à la même assignation ?
  • Si le niveau d'équilibre entre les deux groupes ne nous satisfait pas, est-il possible de randomiser à nouveau ?
  • Pour une comparaison des avantages de la stratification a priori, de l’appariement et de la randomisation a posteriori dans l’optique d’obtenir un équilibre, etc., consulter l’article de David McKenzie et Miriam Bruhn sur les différentes stratégies de randomisation.
  • Cet article signé des mêmes auteurs sur le blog Development Impact approfondit les mécanismes de la stratification réalisée à des fins d’équilibre.

Calculs de puissance et taille de l’échantillon

L’expérimentation doit être suffisamment fine pour déceler des différences de résultats entre le groupe test et le groupe témoin. La finesse d'un protocole est mesurée par la puissance statistique, qui dépend entre autres de la taille de l’échantillon, c’est-à-dire du nombre d’unités assignées aléatoirement et du nombre d’unités étudiées. La puissance statistique d’une étude détermine la probabilité de détecter un impact du programme lorsqu’il y en a effectivement un à détecter. Autrement dit, maximiser la puissance statistique en choisissant la taille d’échantillon adaptée réduit au minimum le risque de commettre une erreur de type II, à savoir conclure que l'intervention n’a pas d’impact alors qu’elle en a bel et bien un.

  • Le blog Development Impact de la Banque mondiale présente différents articles intéressants sur le calcul de puissance. Pour plus de détails, se référer au tag « power calculations » sur le blog.
  • Pour des calculs simples de taille d’échantillon dans le but de concevoir des évaluations aléatoires par grappe, consulter cet article de R.J. Hayes et S. Bennett dans l’International Journal of Epidemiology.
  • Les diapositives d'Owen Ozier sur la taille de l'échantillon et les calculs de puissance, initialement créées pour une formation d’IPA et J-PAL en 2010, constituent une bonne introduction aux déterminants de la puissance et au lien entre taille de l’échantillon et puissance.