Transparence et reproductibilité

The distinguishing features of the scientific enterprise — what makes it different from art, or rhetoric — is that its standards and methodologies are public, contested and replicable.  This applies equally to the social sciences as it does to the hard or natural sciences. Scientific progress requires that scholars articulate their arguments, describe their methodologies, and reproduce the evidence that they use, and that others participate in this endeavor by questioning and critiquing each. This requires transparency.
– Tom Pepinsky, Edmund J. Malesky, Nathan Jensen and Mike Findley. Can greater transparency lead to better social science?

Afin de promouvoir davantage de transparence dans la recherche, un nombre croissant de périodiques, de bailleurs de fonds et de centres de recherche adoptent des politiques qui imposent (a) l’inscription préalable des projets de recherche dans un registre public et (b) la publication des éléments qui s’y rattachent tels que les données et le code.  L’annonce des hypothèses et du plan de recherche a priori vise à réduire les biais de publication.  La publication des données et de l’ensemble des éléments connexes aux projets de recherche au delà des articles publiés dans les revues- permet à tous d’examiner la robustesse des résultats publiés et facilite la réutilisation des données recueillies. Un troisième outil est le plan de pré-analyse, qui va plus loin que l’inscription préalable en définissant non seulement variables et groupes, mais aussi l’analyse spécifique qui sera menée. Cet outil contribue à empêcher le data-mining.

Cette partie porte sur trois points liés à la transparence :

  1. Inscription préalable
  2. Plans de pré-analyse
  3. Partage de données externes et publication des données

Nous recommandons également le site Internet et les ressources mises à disposition par les organismes suivants :
•    La Berkeley Initiative for Transparency in the Social Sciences (Initiative de Berkeley pour la transparence dans les sciences sociales), un réseau international de chercheurs et d’institutions s’efforçant d’améliorer le niveau d’ouverture et d’intégrité dans les domaines de l’économie, des sciences politiques, de la psychologie et des disciplines apparentées.
•    Le Center for Open Science (Centre pour la science ouverte), une société à but non lucratif qui fournit des services gratuits et ouverts dans l’optique de renforcer l’inclusivité et la transparence de la recherche.

Inscription préalable

À mesure qu’augmente le nombre d’évaluations aléatoires et d’études en général (à la fois en cours, terminées, publiées et non publiées), l’inscription des travaux de recherche devient plus importante pour différentes raisons : en tant que source de résultats pour les méta-analyses, pour découvrir des instruments d’enquête disponibles et pour accéder et télécharger des données. Parmi les registres existants, on trouve :

Plans de pré-analyse

Les plans de pré-analyse permettent aux chercheurs de s’engager a priori sur la façon dont ils analyseront leurs données.

Ils peuvent renforcer la crédibilité d’une étude en contraignant les chercheurs en amont. Les plans de pré-analyse peuvent en outre s’avérer utiles en cas de pressions politiques et extérieures incitant à manipuler les données ou à arriver à des conclusions déterminées.

  • Les plans de pré-analyse n’empêchent pas de constater des effets inattendus, si des précautions sont prises contre la vérification d’hypothèses multiples, la confusion des variables d'intérêt primaires et secondaires, etc.
  • Pour plus d’informations sur les avantages et les risques liés à l’utilisation de plans de pré-analyse dans différents contextes, consulter cet article de Ben Olken.

Voici deux exemples sur l’utilisation efficace de plans de pré-analyse:

  • Kate Casey, Rachel Glennerster et Ted Miguel sur une étude  scientifique rigoureuse des impacts de l’aide sur le renforcement des institutions.
  • Le plan de pré-analyse de l’évaluation de Johannes Haushofer et Jeremy Shapiro portant sur le programme d’allocations monétaires inconditionnées « Give Directly » au Kenya.

Partage de données avec l’extérieur et publication de données

Les données recueillies dans le cadre d’un projet de recherche peuvent s’avérer aussi précieuses que l’article qui décrit l’analyse effectuée et en interprète les résultats. Ces données peuvent être utilisées pour reproduire les résultats originaux, réaliser de nouvelles analyses et alimenter des méta-analyses plus vastes.

Songer à la publication des données au fur et à mesure et non seulement à la fin du travail de recherche peut faciliter les préparatifs en vue de la publication des données. Parmi les fichiers qui doivent être conservés et mis à jour tout au long du projet de sorte à faciliter la publication des données, on compte:

  • Les métadonnées
  • Les fichiers de données
  • Les codes de données
  • Les questionnaires
  • Les fichiers d’analyse de données
  • Les fichiers Readme