La bonne question de recherche

PDF version

In seeking to improve the effectiveness of policies and programs, we need to tackle a wide range of questions…an impact evaluation can answer the basic question of whether a program or policy works. But it can also answer a host of other questions.
— Rachel Glennerster and Kudzai Takavarasha, Running Randomized Evaluations: A Practical Guide.

Avant de mener une évaluation aléatoire, il faut répondre à plusieurs questions de première importance :

  1. Quelle est précisément la question de recherche que l'on veut poser ? Une évaluation aléatoire est-elle adaptée ? (S’agit-il de mesurer une relation de cause à effet ?) Une autre approche est-elle plus pertinente ?
  2. Est-il possible de mener une évaluation aléatoire rigoureuse ?
  3. La valeur de la réponse justifie-t-elle le coût de l'évaluation ?

Pour donner un cours sur la définition de la question de recherche, une présentation PowerPoint est disponible ici.

Quelle est précisément la question de recherche que l'on veut poser ?

Une évaluation d’impact de qualité exige de répondre à de nombreuses questions et intègre généralement plusieurs méthodes d’évaluation. Toutefois, il est possible que la question de recherche à laquelle on souhaite répondre ne nécessite nullement une telle évaluation d’impact.

Évaluation de la théorie du programme

Notre question est-elle stratégique par nature ? Notre théorie concerne-t-elle le problème, la solution ou le contexte ? Cherche-t-on à établir quelles preuves existent déjà, ou plutôt quelle sont les lacunes en matière de connaissances ?
Les revues de littérature permettent de mesurer l’état actuel des connaissances.

Différents secteurs de J-PAL procèdent à des revues de la littérature :

  • Agriculture
  • Éducation
  • Environnement et énergie
  • Finance
  • Santé
  • Marchés du travail
  • Économie politique et gouvernance

La base de données des revues systématiques de 3ie contient plus de 200 résumés de revues systématiques sur des sujets variés.
Le guide Cochrane de la revue systématique des interventions présente un ensemble de recommandations sur la conduite d’une revue systématique.
Le centre de ressources de la Campbell Collaboration contient des ressources destinées aux auteurs désirant entreprendre une revue systématique.

Une théorie du changement décrit la stratégie établie en vue de remplir un objectif à long terme. Elle définit les conditions préalables, le cheminement et les interventions nécessaires à la réussite d’une initiative.

  • Pour plus d’informations, se rendre sur www.theoryofchange.org, le site du Center for Theory of Change, association à but non lucratif.
  • Pour lire une étude de cas sur l’élaboration d’une théorie du changement et d’un modèle logique, consulter celle de J PAL disponible ici.

Un cadre logique est similaire mais présente une structure légèrement plus formelle : une matrice 4*4 où les lignes contiennent les ingrédients du programme (inputs), les résultats intermédiaires (outputs), les résultats (outcomes) et les impacts, tandis que les colonnes présentent les étapes, les indicateurs, les outils de mesure et les hypothèses. Un exemple de cadre logique est disponible ici.

Évaluation des besoins

Quel problème veut-on résoudre ? Le problème perçu existe-t-il vraiment ? Comprendre le contexte ou le problème grâce à de bonnes données descriptives peut contribuer à une meilleure conception du programme. Cela garantit également que l’évaluation d’impact porte sur les bons indicateurs et résultats. Si elles n’ont pas encore été définies (par exemple dans la littérature), les questions descriptives peuvent appeler une évaluation des besoins avant que soit conduite une évaluation d’impact. Voici quelques exemples de questions descriptives :

  • Quels sont les problèmes qu'affrontent les personnes sur le terrain ?
  • Le problème que l’on souhaite résoudre est-il prioritaire ?
  • Quelles sont les stratégies actuellement mises en œuvre pour résoudre ces problèmes ?
  • Comment le programme actuel pourrait-il résoudre le problème ou être optimisé pour mieux y faire face ?

Évaluation de processus

Le programme est-il mis en œuvre de façon satisfaisante ? Les évaluations de processus permettent de répondre à des questions telles que :

  • Le programme fournit-il les services prévus ?
  • Ces services sont-ils fournis dans les délais requis ?
  • Des systèmes de contrôle adaptés sont-ils en place ?

Évaluation d’impact

Quel est l’impact du programme ? Quel est le rapport de causalité entre deux variables ? Quels sont les déterminants d’un résultat donné ? Un ingrédient particulier du programme  a-t'il un effet sur un résultat ? L’évaluation des besoins, l’évaluation du processus et la revue de littérature contribuent tous à bien concevoir l’évaluation d’impact. Les évaluations d’impact peuvent apporter des réponses à de nombreuses questions :

  • Un programme déterminé fonctionne-t-il ? Autrement dit, quel est son impact sur certains paramètres clés pour une population donnée ?
  • Quels sont les éléments les plus importants du programme ?
  • Les impacts que présente le programme dans un contexte particulier se transposent-ils dans un autre contexte ?
  • Lorsque différentes stratégies sont possibles pour s’attaquer à un problème, laquelle faut-il adopter ?
  • Quels enseignements sur le comportement humain peut-on tirer du fonctionnement du programme et de ses impacts ?

Analyses coût-efficacité et coûts-avantages

La plupart des programmes coûtent de l’argent : cherchons-nous vraiment à obtenir le meilleur résultat possible? Compte tenu du résultat souhaité, du budget prévu et des éventuelles solutions alternatives, doit-on investir dans ce programme précis ?

  • Les avantages du programme justifient-ils son coût ?
  • Parmi différentes options à l’efficacité prouvée, quelle est celle qui présente le meilleur rapport coût-efficacité ?
  • Se référer aux ressources sur l’analyse coût-efficacité.

Est-il possible de mener une évaluation aléatoire rigoureuse ?

Comme indiqué ci-dessus, une évaluation d’impact peut permettre de répondre à un grand nombre de questions au-delà de celle, fondamentale, consistant à savoir si la politique ou le programme étudiés fonctionnent. Néanmoins, pour déterminer si une évaluation d’impact est pertinente dans ce contexte, il convient de se poser plusieurs questions, notamment :

  • A-t-on, en tant que chercheurs ou agents chargés de la mise en œuvre, la possibilité de définir aléatoirement si, où et auprès de qui l’intervention est proposée ?
  • Dispose-t-on d’un échantillon suffisamment vaste pour mesurer les résultats avec précision ? (compte tenu du budget de recherche,  de la taille et des caractéristiques du programme étudié) Voir Taille de l'échantillon
  • Dans quelle mesure pourra-t-on garantir le respect de l’assignation aléatoire du programme ?
  • A-t-on la possibilité d’obtenir les données sur les indicateurs et pour les variables dont on a besoin pour mesurer l’impact du programme? Voir Mesures
  • A-t-on un partenaire qualifié pour la mise en œuvre de la recherche ?
  • A-t-on un partenaire adéquat pour la mise en œuvre du programme ?

L'intérêt de la réponse justifie-t-elle le coût de l’évaluation ?

Une fois la question de recherche et la méthode établies, il s’agit de savoir si le projet de recherche mérite d’être poursuivi. Lorsque l’on compare les coûts prévisionnels et l'intérêt probable des réponses, il faut se poser les questions suivantes :

Les réponses généreront-elles de nouvelles connaissances qui viendront enrichir les savoirs scientifiques au-delà de ceux liés à ce programme particulier ?

  • Connaît-on déjà la réponse, ou est-il probable qu’on la connaisse déjà (à partir de travaux similaires menés dans un autre contexte, peut-être dans la littérature existante)?
  • Apparaît-il clairement que le programme n’est pas efficace sur le plan des coûts ? Voir Analyse coût-efficacité

Quelle sera l’influence des résultats de l’évaluation ?

  • Une évaluation démontrant l’efficacité de ce programme entraînera t elle sa généralisation ?
  • Le programme est-il solidement établi ? Pourra-il être adapté en fonction des résultats de l’évaluation ?

Quel sera le coût de l’évaluation du programme ?

  • Quelle est la durée de l’évaluation ?
  • Quelle doit être la taille de l’échantillon ?
  • Doit-on recueillir de nouvelles données ?

               >Voir Plan de recherche pour la taille de l’échantillon
               >Voir Mesures pour la durée et les sources de données

L’évaluation présente-t-elle d’autres coûts d’opportunité ?

  • Quels autres travaux (de recherche ou autres) effectuera-t-on ?
  • Quelles sont les contraintes de temps pesant sur les personnes que nous enquêtons ?
  • Refuse-t-on une intervention à des bénéficiaires potentiels ?
  • Fait-on peser trop de contraintes sur les personnes qui mettent en œuvre l’intervention ?

               >Voir Éthique