Mesures et recueil de données

PDF version

Specifying good outcomes and the indicators we will use to measure them requires a deep understanding of the program being developed, the objectives of those implementing the program, and potential pathways through which the program or policy can impact lives, both positively and negatively.
– Rachel Glennerster and Kudzai Takavarasha, Running Randomized Evaluations: A Practical Guide.

Les principales variables d'intérêt sont ordinairement définies dans la question de recherche initiale (par exemple « quel est l’impact de la taille de la classe sur l’apprentissage ? », où l’apprentissage est la variable d'intérêt étudiée). Elles doivent également prendre en compte la Théorie du changement. Néanmoins, beaucoup de questions restent en suspens :

  1. Mesures : Quels sont les variables et les indicateurs ?
  2. Recueil de données : Comment obtient-on des données concernant les variables ?
  3. Qualité des données : Comment garantit-on le respect des exigences de qualité des données tout au long de leur collecte ?

Mesures

Une "variable" peut être une variation ou un impact causé par le programme étudié, mais aussi un état de l’environnement ou une caractéristique des répondants que l’on souhaite mesurer. Un indicateur est le signe observable utilisé pour mesurer les variables. Lorsque l’on définit ses variables et ses indicateurs ainsi que la façon dont ils s’intègrent dans la théorie du changement de l’évaluation, il convient de se poser des questions comme :

  • Quelles sont les variables intermédiaires qui peuvent mesurer chaque élément de la théorie du changement (des hypothèses de départ au déroulement des opérations) ?
  • Quelles variables initiales permettront de mesurer les différentes hétérogénéités de l’échantillon, de mieux comprendre le contexte, de mesurer des effets hétérogènes du programme, et d’absorber la variance pour gagner en précision ?
  • Pour avoir un exemple d’évaluation qui procède à l’estimation d’effets hétérogènes du programme, consulter cet article de Monica Angelucci, Dean Karlan et Jonathan Zinman concernant le microcrédit au Mexique.
  • Quelles autres variables liées au contexte (ex. qualité de l’établissement scolaire, densité) peuvent contribuer à apprécier le contexte de l’échantillon étudié ou à déterminer dans quelle mesure les résultats sont généralisables dans d’autres contextes ?
  • Comment faire en sorte que la mesure des variables garantisse à la fois la validité (une mesure exacte et non biaisée du résultat) et la fiabilité (une mesure cohérente et précise) ?
  • Comment obtenir les variables difficiles à mesurer, comme dans cette évaluation J-PAL qui s’attachait à mesurer les biais à l’encontre des femmes politiques en Inde ?
  • Quelles variables faut-il mesurer quantitativement ? Lesquelles faut-il mesurer qualitativement ?
  • L’étude de la mesure des niveaux de vie de la Banque mondiale présente une documentation fournie sur l’élaboration de questionnaires et d’autres sujets ayant trait à la conception et la mise en œuvre d’enquêtes.

Recueil de données

Une fois que l’on a déterminé ses indicateurs en se fondant sur sa théorie du changement, il s’agit de répondre à la question suivante : comment obtenir des données sur ces indicateurs à partir des individus de l’échantillon ? On distingue deux grandes catégories de données : les données primaires et les données secondaires.

  • Les données primaires sont celles que les chercheurs recueillent eux-mêmes, généralement dans le cadre de l’expérimentation. (Attention, il ne faut pas confondre données primaires et variables primaires.)
  • Les données secondaires proviennent d’autres sources. Il s’agit par exemple de données administratives d’un partenaire public ou de données d’enquête issues d’une autre étude, d’un autre centre de recherche ou d’un bureau des statistiques. Si les données administratives peuvent s’avérer moins coûteuses à obtenir, il se peut qu’elles ne mesurent pas exactement les variables souhaitées, qu’elles ne couvrent pas l’intégralité de l’échantillon ou qu’elles ne soient pas fiables. En outre, il arrive que les données administratives soient tout bonnement inexistantes.

Si l’évaluation implique la collecte de données primaires, les questions suivantes se posent :

  • Est-il préférable de constituer une équipe de recueil des données en interne ou de confier cette tâche à un institut de sondages ?
  • Pour obtenir des conseils et des réponses à cette question, se reporter à notre guide sur le sujet.
  • Doit-on recourir à des enquêtes sur papier ou recueillir les données par des moyens électroniques (entretiens assistés par ordinateur) ? Le choix du procédé de collecte de données déterminera divers facteurs allant des types de questions que l’on peut poser au calendrier à respecter pour cette collecte.
  • Pour avoir des conseils et des suggestions en la matière, consulter ce court manuel (forthcoming) portant sur les contraintes liées aux enquêtes sur papier et au recueil électronique de données.

Si l’on opte pour une collecte électronique des données, quels logiciels et plate formes utiliser ? Parmi les solutions utilisées par les chercheurs d’IPA et de J-PAL figurent :

  • SurveyCTO computer-assisted interviewing on Android phones.
  • Surveybe tablet-based CAI software from EDI.
  • Pendragon compatible with Android, iOS, and desktop operating systems.
  • Open Data Kit free, open-source Android software similar to SurveyCTO.
  • Blaise tablet/computer-based software that requires a little more coding ex ante.
  • Fieldata cell-phone based CAI software.

Qualité des données

Comment contrôler le processus de recueil de données, aussi bien pendant qu’après leur collecte, de sorte à en garantir la qualité ? Voici quelques-unes des ressources mises au point par IPA et J-PAL dans cette optique :

  • Manuel de vérification de la qualité des données
  • Guide de la vérification en amont
  • bcstats, un programme Stata mis au point par un employé d’IPA pour effectuer des vérifications en amont sur les données d’enquête
  • Guide des vérifications haute fréquence
  • Code Stata pour les vérifications haute fréquence

(Links forthcoming)

Lorsque les données sont obtenues sur papier plutôt que par des moyens électroniques, une série de questions connexes se posent concernant leur saisie :

  • Faut-il effectuer la saisie des données en interne ou l’externaliser ?
  • Voici un guide succinct portant sur les décisions qu’implique la saisie de données selon qu’elle est prise en charge en interne ou par une société extérieure.
  • Comment garantir la qualité de la saisie de données ?
  • Guide de la saisie de données
  • cfout, un programme Stata conçu par un employé d’IPA pour rapprocher plusieurs vagues de saisie de données