Career counseling for young, college-educated job seekers in France helped them find work sooner, but this improvement came at the expense of jobs for those who did not receive counseling, and it did not translate into a long-term increase in employment rates.
Évaluations rigoureuses des politiques sociales en Europe: quelles leçons en tirer?
This text is also available in the following languages: English, German, Italian, Romanian, and Spanish.
Les chercheurs affiliés au réseau J-PAL ont mené plus de 80 études randomisées pour évaluer l’impact de programmes et politiques sociales dans vingt pays européens, en particulier dans les domaines de l’éducation et de l'emploi. Une synthèse des résultats de ces évaluations, ainsi que les pistes de réflexions en découlant, a été produite par J-PAL Europe et se trouve désormais sur notre site internet.
La complexité et l’incertitude qui ont caractérisé la réponse des pays européens à la pandémie de Covid-19 ont souligné l’importance de disposer d’évaluations rigoureuses pour définir des politiques efficaces. Tout comme les vaccins ont fait l'objet d'essais cliniques afin de prouver leur efficacité et leur innocuité, les mesures prises en réaction aux défis sociaux et économiques que la pandémie a mis en évidence devraient être évaluées avec soin.
A travers l’Europe, les systèmes éducatifs s'efforcent de faire face à la perte d’apprentissage qui a touché de manière disproportionnée les étudiants issus de milieux défavorisés, tandis que l’augmentation des taux de chômage a particulièrement affecté les personnes ayant un faible niveau d'éducation. Dans de nombreux cas, les conséquences économiques de la Covid-19 ont exacerbé les inégalités existantes. Une évaluation minutieuse et facilement déployable des réponses potentielles à ces défis peut jouer un rôle important dans l'identification de solutions.
Par exemple, alors que les systèmes scolaires du monde entier ont adopté l’enseignement à distance, Michela Carlana et Eliana La Ferrara, chercheuses affiliées au réseau J-PAL, ont évalué un programme de tutorat en ligne au bénéfice de collégiens issus de milieux défavorisés en Italie. Ce programme à faible coût a permis aux élèves d'améliorer leurs résultats scolaires et a eu un impact positif sur leur bien-être psychologique pendant le confinement.
J-PAL est sans doute plus connu pour son travail dans les pays à faible revenu, où le réseau a mené des évaluations pour par exemple déterminer l'impact du prix des moustiquaires imprégnées sur leur utilisation en Afrique, ou encore identifier les meilleurs moyens d’améliorer l'efficience des programmes de dépenses publiques en Inde ou en Indonésie. Cependant, le réseau utilise les mêmes méthodes pour apporter une réponse aux défis socio-économiques ici en Europe. Comment combler le fossé éducatif qui s'est creusé durant la fermeture des écoles, touchant particulièrement les étudiants issus de milieux défavorisés? Est-ce que les internats permettent l'accès à un enseignement supérieur de qualité à des enfants qui en auraient sans cela été privés? Comment améliorer l’efficacité et la rentabilité des services d’accompagnement pour aider les demandeurs d'emploi à trouver du travail ?
Notre nouvelle ressource « Evidence in Europe » met en lumière certaines des leçons qui se dégagent en réponse à ces questions, et à d’autres, dans les domaines de l'éducation, de l’emploi, de la finance, de la gouvernance, de l'autonomisation des femmes et de l'inclusion sociale.
Faciliter l'accès à une éducation de qualité
Les étudiants issus de milieux défavorisés font face à divers obstacles pour accéder à une éducation de qualité. Dans certains cas se pose un problème d'accès physique : les meilleures écoles sont souvent situées en dehors des quartiers les plus pauvres. En France, la capacité des internats à améliorer les chances d'accès à un enseignement supérieur de qualité pour les élèves performants issus de milieux défavorisés continue de susciter un intérêt particulier. Une étude a montré que la possibilité d’accéder au premier internat d’excellence de France, offerte à des élèves ne disposant pas d’environnements familiaux favorables, avait un impact de long terme sur leurs choix d’orientation, les conduisant à choisir des sections plus sélectives au lycée.
Les obstacles à la réussite scolaire peuvent exister au sein même d'une école. En Turquie, où l’on constate souvent une ségrégation ethnique entre les élèves réfugiés syriens et leurs homologues turcs fréquentant la même école, des chercheurs ont évalué un programme visant à promouvoir l'intégration des réfugiés et améliorer la cohésion sociale au sein de la salle de classe. Ce programme, conçu pour apprendre aux élèves à mieux prendre en compte le point de vue des autres à travers une série d’activités en classe, a permis de réduire les cas de violence, de renforcer les liens d'amitié entre les deux groupes et d'améliorer les compétences en langue turque des enfants syriens.
L’attitude des professeurs vis-à-vis de leurs élèves jouent aussi un rôle important dans le succès des élèves à l'école. En Italie, des recherches ont révélé qu'une majorité d'enseignants faisait preuve d'une certaine forme de préjugés à l'égard des élèves immigrants, ce qui pourrait démotiver ces derniers et nuire à leur future carrière. Rendre les enseignants conscients de leurs propres préjugés a permis d'améliorer les notes reçues par les élèves immigrants, en réduisant la discrimination dans la notation.
Les aspirations des parents et des élèves, les informations dont ils disposent quant aux parcours éducatifs disponibles peuvent jouer un rôle déterminant dans les choix d’orientation. Une évaluation aléatoire en Italie a révélé qu'un programme d'orientation a permis d'améliorer les résultats scolaires des garçons immigrés et d’augmenter leur probabilité de choisir des filières plus exigeantes et mieux adaptées à leurs compétences au moment de s’inscrire au lycée. Ceci a permis de réduire l'écart de résultats scolaires entre les garçons immigrés et ceux nés en Italie.
Nous savons aussi que de susciter la participation des parents, en particulier ceux qui ont le moins accès à l’information, peut être un facteur important pour améliorer les performances des élèves. En France, une étude a montré qu’une politique d’implication des parents dans la scolarité de leurs enfants, à travers une série de réunions d’information, a conduit à de meilleurs résultats scolaires mais aussi à une amélioration du comportement des élèves et à une réduction du taux de décrochage.
Ce ne sont là que quelques exemples d'évaluations menées en Europe qui ont influencé les décisions des ministères de l'éducation des pays concernés de mettre à l'échelle les programmes une fois leur efficacité prouvée. En Turquie, le ministère utilise les résultats de ces évaluations pour élaborer de nouveaux programmes éducatifs visant à améliorer les compétences comportementales des élèves. En France, à la suite de ces évaluations, le ministère a décidé de mettre le programme de participation des parents à la disposition de tous les collèges du pays.
Préparer à apprendre
Il a été démontré que les compétences comportementales, telles que la patience, la maîtrise de soi et la persévérance, jouent un rôle essentiel dans le développement des enfants et des adolescents. Renforcer ces compétences peut contribuer à l'amélioration des résultats scolaires et potentiellement réduire les inégalités entre élèves. En Turquie, des chercheurs ont collaboré avec le ministère de l'éducation nationale pour évaluer une série de programmes visant à améliorer l’apprentissage des élèves en développant leurs compétences comportementales.
Par exemple, un programme d'enseignement cherchant à renforcer la persévérance par le biais de vidéos animées, d'études de cas et d'activités en classe a permis aux élèves de faire preuve de davantage d'efforts dans leur apprentissage. En motivant les filles les plus performantes, l'intervention a également permis de réduire l'écart de compétitivité entre garçons et filles. L’évaluation d’un autre programme, visant cette fois à apprendre aux élèves à être plus patients, a eu un effet positif sur leur capacité à faire preuve de patience dans leur prise de décision et leur comportement dans la salle de classe.
Obtenir un emploi de qualité
Promouvoir l’inclusion sociale passe aussi par une amélioration des conditions et perspectives des individus sur le marché du travail, une priorité pour plusieurs d'agences nationales d’emploi cherchant à faciliter l'insertion - ou la réinsertion - professionnelle des demandeurs d’emploi. Pour ce faire, plusieurs pays ont eu recours à des services d’accompagnement, souvent à un coût élevé pour toutes les parties impliquées. Une série d'études a tenté de déterminer la meilleure manière de fournir un soutien plus efficace aux demandeurs d’emploi.
Des recherches menées au Danemark, en France et en Allemagne ont montré que les services d’accompagnement peuvent être efficaces dans certaines situations, notamment lorsqu'ils sont adaptés aux profils des demandeurs d’emploi et offerts dès le début de la période de chômage. Un accompagnement intensif (via des réunions hebdomadaires, par exemple) peut être efficace, mais cela n'est pas toujours le cas. Une étude menée au Danemark a montré qu'une intensification de l’accompagnement de jeunes aux perspectives d’emploi limitées peut faire baisser le taux d'emploi, car l’augmentation de la fréquence de l'accompagnement se fait au détriment du temps consacré au travail ou à la recherche d’un travail.
De plus, offrir un accompagnement à certains dans un marché du travail très concurrentiel,peut les aider à trouver un emploi au détriment de ceux ne bénéficiant pas du même service, ce qui soulève des questions quant à l'efficacité globale de tels programmes. Une étude phare menée en France a montré que, sur le court terme, l’intensification de l'accompagnement pour certains demandeurs d'emploi a nui aux perspectives d'autres demandeurs d'emploi dans la même région. Le suivi des participants un an après l’intervention n’a révélé aucun impact du programme sur les perspectives d'emploi à long-terme.
Alors même que la crise sanitaire est susceptible de transformer durablement le marché du travail, nous ne pourrons pas nous en remettre seulement aux emplois existants pour aider tous les demandeurs d’emploi touchés par les effets de la pandémie. La promotion de l’entreprenariat, en particulier parmi les jeunes, est un autre centre d'intérêt au sein des chercheurs du réseau, bien que ce type de programmes n'ait pas toujours été couronné de succès. Un programme de formation à l'entrepreneuriat en banlieue parisienne, qui mettait l'accent sur la prise de décision indépendante, n’a pas eu d’effet sur la propension des participants à créer leur propre entreprise. Cependant, deux ans après le début du programme, les participants avaient plus de chances de trouver un emploi stable et avaient des rémunérations plus élevées ; leur niveau d’optimisme et de confiance en soi était aussi plus élevé.
Ces résultats suggèrent que le simple fait d’informer et de former les personnes n’est sans doute pas suffisant pour les pousser à créer leur propre entreprise, et que les politiques et programmes s'attaquant à d’autres obstacles, tels que le manque de confiance en soi ou le manque d'esprit d'entreprise, sont des alternatives potentielles pour soutenir les jeunes sans emploi.
Appliquer les leçons probantes
Mener une évaluation d’impact est plus efficace lorsque nous exploitons ses résultats non seulement pour examiner l’effet d'un programme particulier mais aussi, de manière plus générale, pour orienter l’action future des gouvernements et de la société civile dans la conception de programmes et de politiques.
Se relever des conséquences de la Covid-19 ne sera pas une tâche aisée pour les pays européens. Il sera nécessaire d’innover pour identifier des solutions permettant la réduction des écarts en matière d'apprentissage entre étudiants, ou l’amélioration des perspectives d’emploi des personnes vivant dans la précarité.
Ces nouvelles solutions ne seront probablement pas aussi reproductibles qu'un vaccin. Néanmoins, une évaluation rigoureuse de leur efficacité permettra de produire d’importants repères pour guider une relance à la fois efficace et vigoureuse. Les résultats de ces évaluations, accompagnées d’une réflexion approfondie sur l'ensemble des facteurs contribuant à l’éventuel succès de ces solutions, nous aideront à identifier et adapter les plus prometteuses d’entre elles à travers l’Europe, renforçant ainsi notre capacité à réagir à grande échelle.
À J-PAL Europe, notre objectif est de nous appuyer sur les dizaines d’évaluations aléatoires produites par les chercheurs affiliés au réseau - ainsi que sur des preuves rigoureuses provenant de tout le continent - afin d’en tirer des enseignements qui aideront à concevoir de nouvelles solutions, ou de soutenir la mise à l'échelle de programmes dont l’impact a été démontré. Nous travaillons en partenariat avec des gouvernements et des organisations non seulement pour lancer de nouvelles évaluations, mais aussi pour mettre en pratique ce que nous avons déjà appris grâce à nos recherches passées. Nous espérons que les leçons décrites dans notre nouvelle ressource « Evidence in Europe » seront utiles et permettront à terme de concevoir une Europe plus inclusive pour toutes et tous.
The French Ministry of Education has expanded a parental involvement program to all public schools in the country on a voluntary basis.
Engaging parents to help their children succeed at school is a low-cost strategy to improve educational outcomes. Research by J-PAL affiliates Marc Gurgand (Paris School of Economics) and Eric Maurin (Paris School of Economics), together with Francesco Avvisati, Dominique Goux, and Nina Guyon, has shown that a program of structured group meetings between parents and school leaders increased parents’ involvement in their children’s education, which in turn improved student behavior and reduced dropout rates. Based on the research, the French Ministry of Education has encouraged schools to foster parental involvement during decisive moments of their children’s schooling and, in 2015, made a parental involvement program available to all French public schools wishing to participate.
The Problem
Parental involvement in their children’s education is widely believed to bolster student performance, but many parents face barriers to supporting their children’s schooling.
Education is an important mechanism for improving disadvantaged children’s chances for success as adults. However, many children in industrialized societies graduate from school without mastering basic skills, in part due to problems of poverty, absenteeism, and disengagement among students. In addition, poverty and low levels of education among parents are strongly linked with lower academic achievement among their children.
Better educated parents tend to be more involved in their children’s education, have better knowledge of how school is structured, and have more educational materials at home—all of which can support a child’s schooling. If disadvantaged parents are unaware of the school’s structure or unsure of how to support and monitor children with homework and schooling decisions, then parental involvement programs could improve educational outcomes.
The Research
Engaging parents to help their children succeed in school increased parents’ interactions with schools, improved student behavior, and reduced dropout rates.
From 2008 to 2013, J-PAL affiliated researchers and co-authors conducted a suite of randomized evaluations in France to investigate whether a series of structured group meetings between parents and school leaders could motivate parents to become more engaged in their children’s education and improve student performance.
The program, called La Mallette in French, consisted of three, two-hour group sessions open to all parents of grade 6 students. Discussions were generally facilitated by the principal, drawing upon precise guidelines designed by the district’s educational experts. Facilitators showed a DVD explaining the role of different school personnel—available in ten languages to reach parents who were not native French speakers—and distributed documents explaining the functions of the various school offices. The facilitators encouraged parents to become involved in their children’s education, explained the school’s structure and processes, and provided practical advice on how to support and monitor children with homework.
Researchers found that parents who attended meetings became signficantly more involved in their children’s learning: they were more likely to make individual appointments with teachers, participate in parents’ organizations, and be involved in their children’s education at home. This increase in parental involvement led to a large improvement in student behavior. The children of parents who participated were less likely to be absent or sanctioned for disciplinary reasons, and improvements were seen even in classmates whose parents did not attend meetings.
In a follow-up evaluation, researchers evaluated a similar program that aimed to help parents navigate the school system and get involved in their children’s schooling decisions during grade 9, when students choose their high school track. Principals invited parents of low-achieving students to attend two group meetings where they discussed the education options for their children. Where applicable, principals provided targeted information on alternatives to grade repetition or dropout, such as vocational high schools and apprenticeships. The program helped parents and their children make more realistic educational choices, reducing dropout rates from 20 to 15 percent.
For more details, see the policy briefcase.
From Research to Action
Based on the research, the French Ministry of Education expanded the program to all public schools wishing to participate.
Based on the findings published in the final evaluation report, in 2010 the French Ministry of Education issued a circular to announce the expansion of the program to all grade 6 classes across 1,300 public middle schools.1 At the start of the 2015 academic year, the Ministry made the program available to all public schools.2 The program is encouraged at two decisive moments in a student’s schooling: in grade 1, when students enter primary school and start learning to read, and in grade 6, at the beginning of middle school. The Ministry has made the program materials available to all schools and included guidelines for running the sessions on the Ministry’s website.
In 2013, J-PAL affiliated researchers evaluated a replication of the program by The General Motors Foundation for South Africa in Port Elizabeth, South Africa. The randomized evaluation found mixed results on parental involvement and no impacts on student learning and development. The researchers suggest that parental engagement programs like La Mallette may be less effective in developing country contexts where parents face a host of additional constraints, such as the parents’ lower education levels, their effectiveness in controlling children’s behaviors, and the difficulties faced by students in under-resourced schools. These factors can constrain both parents’ participation in such programs and their ability to monitor their children’s activity after class. The researchers conclude that a more intensive program or a different approach might be needed to see the expected impacts in developing country contexts.
This case study was originally published in October 2018 and updated in June 2020 correcting the stated level of program expansion.
References
Avvisati, Francesco, Marc Gurgand, Nina Guyon, Eric Maurin. 2014. "Getting Parents Involved: A Field Experiment in Deprived Schools." Review of Economic Studies 81(1): 57-83. https://doi.org/10.1093/restud/rdt027.
Goux, Dominique, Marc Gurgand, and Eric Maurin. 2017. “Adjusting Your Dreams? High School Plans and Dropout Behavior.” The Economic Journal 127(602): 1025-1046. https://doi.org/10.1111/ecoj.12317.
Bouguen, Adrien, Kamilla Gumede, Marc Gurgand. 2015. “Parent’s Participation, Involvement and Impact on Student Achievement: Evidence from a Randomized Evaluation in South Africa.” https://halshs.archives-ouvertes.fr/halshs-01241957/document.
Circulars are issued by government departments with the purpose of providing guidelines on new legislation, on codes of practice and/or background information on legislative or procedural matters. Ministère de l’Éducation Nationale. “Extension du dispositif « Mallette des parents ».” Bulletin officiel no. 29 du 22 juillet 2010.
Ministère de l’Éducation Nationale. "La mallette des parents." Accessed October 15, 2018.
Offering tutoring and career counseling to high-performing immigrant students closed the educational gap between native-born and immigrant boys in Italy.