Éducation, formation orientation

Éducation populaire / Animation

Interview croisée de Mathieu Valdenaire et Jean Bérard

Un indispensable travail de retour vers les acteurs, un plaidoyer pour l’expérimentation des politiques publiques

Rapport "De l’éducation à l’insertion : dix résultats du Fonds d’expérimentation pour la jeunesse FEJ"

Pour les anciens responsables du Fonds d’expérimentation pour la jeunesse, la publication du rapport De l’éducation à l’insertion : dix résultats du Fonds d’expérimentation pour la jeunesse constitue une étape importante d’une démarche comprenant l’appel à projet, l’expérimentation puis l’évaluation. Impossible de résumer les quelque 500 expérimentations dans un rapport. Le choix s’est donc porté sur dix expérimentations porteuses d’enseignements pour l’avenir. Explications.

Un soutien apporté aux jeunes dans le financement de leur permis de conduire améliore-t-il leurs chances de réussir l’examen et de trouver un emploi ? Mieux informer les parents sur le système d’orientation modifie-t-il les choix de leurs enfants ? Dans quelle mesure un revenu minimum garanti favorise-t-il leur autonomie ainsi que leur insertion sociale et professionnelle ? Autant de questions qui taraudent les acteurs publics car ceux-ci rarement possèdent des preuves tangibles de l’impact de leur intervention.


"Toute expérimentation devait inclure une évaluation réalisée par une équipe indépendante, sur la base d’une méthodologie validée avant le début de l’expérimentation". Mathieu Valdenaire

Avec le soutien de l’INJEP, Jean Bérard et Mathieu Valdenaire, ont dirigé l’ouvrage collectif De l’éducation à l’insertion : dix résultats du Fonds d’expérimentation pour la jeunesse. L’ouvrage présente les résultats de dix évaluations menées sur des projets expérimentés par le Fonds d’expérimentation pour la jeunesse. Jean Bérard est agrégé et docteur en histoire, désormais professeur adjoint à l’Université de Montréal. Mathieu Valdenaire est agrégé et docteur en en économie. Ils ont été, tour à tour, responsables des évaluations du FEJ, à la Direction de la jeunesse, de l’éducation populaire et de la vie associative (DJEPVA), de 2009 à 2013. Ce rapport publié à la documentation Française a également mobilisé des chargés d’études et de recherche de l’INJEP : Francine Labadie, Marie Dumollard, Gérard Marquié, Jean-Pierre Halter.

Pouvez-vous rappeler quelle est la finalité du FEJ ?

Mathieu Valdenaire  : Le Fonds d’expérimentation jeunesse (FEJ) a soutenu, la plupart du temps sur la base d’appels à projets, des expérimentations couplant de manière systématique des dispositifs d’action publique et une évaluation rigoureuses des effets de ces dispositifs. Pour faire court, il s’agit de déployer sur une échelle réduite, une action ou un dispositif que l’on souhaite tester avant d’envisager soit sa généralisation, soit un essaimage, soit une inflexion, en fonction de diagnostics raisonnés et fondés sur le plan empirique. Dans le cadre du FEJ, de nombreuses expérimentations ont été lancées de façon simultanée, à des échelles et sur des thématiques très diverses : de petits projets portant sur la mobilité internationale des jeunes à des expérimentations de grande envergure portant sur les ressources des jeunes, par exemple. Une originalité importante tenait au fait que toute expérimentation devait inclure une évaluation réalisée par une équipe indépendante, sur la base d’une méthodologie validée avant le début de l’expérimentation, et qui devait permettre d’identifier les effets de l’expérimentation sur ses bénéficiaires. L’idée est que, à tous les niveaux (Etat, collectivités territoriales, universités, associations…), ces évaluations peuvent être utiles à la conduite de l’action publique, dans un contexte où les résultats objectifs quant à l’efficacité des politiques menées par les uns et les autres sont rares.

Que visiez-vous en dirigeant ce rapport ? A qui le destinez-vous ?

Jean Bérard : Le travail de restitution et de valorisation est un moment fort qui n’est pas assez souligné à mes yeux. Après la réalisation de l’évaluation d’un projet, il faut ensuite travailler à sa prise en compte, ce qui implique un travail de communication, de retour vers les acteurs, en visant un public aussi large que possible. Bien sûr les destinataires directs sont les acteurs publics des politiques de jeunesse.


"Il est important pour nous que ces résultats, qui sont tous publics, soient disponibles pour être mis en débat par toute personne qui voudrait s’appuyer sur eux pour soutenir ou critiquer la mise en œuvre de tel ou tel dispositif de politique publique". Jean Bérard

Mais il est important pour nous que ces résultats, qui sont tous publics, soient disponibles pour être mis en débat par toute personne qui voudrait s’appuyer sur eux pour soutenir ou critiquer la mise en œuvre de tel ou tel dispositif de politique publique. Certes, les évaluateurs travaillent pour le FEJ, mais fondamentalement ils travaillent pour rendre un rapport public. Ce point est essentiel dans une démarche d’évaluation dont il faut garantir l’indépendance. De par sa composition, ce rapport dénote des partis pris éditoriaux assez tranchés, notamment dans les choix des expérimentations. Pourquoi ces choix ?

Mathieu Valdenaire : Nous avons fait le choix de ne pas tenter l’exhaustivité dans cet ouvrage, mais de sélectionner dix expérimentations qui contiennent des enseignements importants pour les actions publiques à venir. Par souci de cohérence, nous avons centré l’ouvrage sur deux questions qui ont structuré les premiers appels à projets du FEJ. La première porte sur les enjeux liés aux innovations dans le système éducatif, pour développer les apprentissages fondamentaux des élèves en difficulté, améliorer l’orientation, prévenir le décrochage scolaire et prendre en charge les décrocheurs, favoriser la réussite à l’Université. La seconde est relative à l’insertion des jeunes, en particulier des jeunes peu diplômés. Ces thèmes sont loin d’épuiser l’ensemble des questions soulevées par les expérimentations et il y aura matière à d’autres volumes, sur la santé, le logement ou l’engagement des jeunes, par exemple.

Jean Bérard : Un aspect important de la sélection que nous avons faite est de présenter un ensemble divers en termes de méthodes d’évaluation. Une spécificité du FEJ, on y reviendra, a été de soutenir la mise en place d’évaluations quantitatives de grande envergure. Mais il a également soutenu des enquêtes portant sur des projets d’envergure plus restreinte, dont les évaluations ont été menées par des sociologues par des méthodes qualitatives.

Dès lors, pouvez-vous être plus précis sur les critères de sélection des expérimentations contenues dans le rapport ?

Jean Bérard : Un élément a évidemment été l’intérêt que nous avons pris à la lecture de l’évaluation. Mais, au vu du nombre d’expérimentations soutenues par le FEJ, la sélection est forcément un peu arbitraire ! Un élément qui nous a guidés est le fait que les expérimentations choisies s’inscrivent dans des enjeux autour desquelles la discussion se poursuit et qui font l’objet de travaux à différents niveaux. Qu’elles concernent par exemple, la mise en place de structures pour accueillir les élèves décrocheurs ou un outil d’information sur le processus d’orientation à destination des familles, les évaluations présentées s’inscrivent dans des questionnements actuels sur le fonctionnement du système éducatif. Mais, encore une fois, parmi les expérimentations soutenues par le FEJ, d’autres sont dans ce cas. On ne peut qu’inviter le lecteur à aller chercher d’autres résultats d’évaluation sur notre site, directement par projet ou en se repérant par les synthèses thématiques que le FEJ a publié.

Mathieu Valdenaire : Nous avons également retenu des expériences qui montrent le mieux pour l’intérêt du cadre expérimental dans l’élaboration des politiques publiques. Parce qu’il autorise la mise en place de méthodes audacieuses pour identifier les effets des projets sur les bénéficiaires. Parce qu’il fait dialoguer les acteurs des projets et les chercheurs. Parce que les expérimentations permettent d’aller au-delà des pratiques habituelles, de découvrir des effets inattendus de certaines politiques publiques, qui s’avèrent riches d’enseignements pour l’avenir, même (surtout) lorsque les résultats réels sont différents de ce qui était attendu.

Quelle a été l’avancée méthodologique la plus intéressante des expérimentations ?

Jean Bérard : La difficulté à mesurer l’impact des politiques publiques a été maintes fois exposée. Ainsi, pour prendre un exemple, comment identifier l’impact de la taille des classes sur l’apprentissage des élèves ? Une première estimation, reposant sur une simple comparaison, conclut à l’absence d’effet d’une telle mesure, les élèves des classes plus grandes obtenant les meilleurs résultats. Mais ce résultat apparent est dû à un biais de sélection, les élèves possédant les caractéristiques les plus favorables à la réussite scolaire étant amenés, pour diverses raisons, à fréquenter des classes plus chargées. Les études faites à partir de données tenant insuffisamment compte des différences de profils entre élèves des classes les moins chargées et les plus chargées concluent ainsi à un effet positif des classes de plus grande taille. À l’inverse, les travaux parvenant à isoler l’effet propre montrent dans leur très grande majorité que la réduction de la taille des classes a un effet positif, en particulier dans les petites classes et pour les enfants issus de milieux populaires, et que cet effet est durable.

Mathieu Valdenaire  : Le problème qui est posé par ce cas précis peut être formulé d’une manière plus générale. Si l’on souhaite identifier l’impact d’un dispositif sur les jeunes qui en ont bénéficié, il faut être capable de répondre à la question suivante : leur situation est-elle meilleure que ce qu’elle aurait été en l’absence de ce dispositif ? Répondre à cette question suppose de savoir ce qu’il leur serait arrivé en l’absence du dispositif, situation que par définition on ne peut pas observer. On recrée donc cette situation de toutes pièces, en tirant au sort les bénéficiaires parmi un ensemble de jeunes volontaires : ceux pour lesquels le tirage au sort a malheureusement été négatif, qui sont dans une situation rigoureusement comparable au départ, forment un « groupe témoin ». Ces jeunes continuent à bénéficier des autres dispositifs existants, et à l’issue de l’expérimentation, la situation des jeunes bénéficiaires est comparée point par point à la leur. Si le protocole est respecté, toute différence entre les deux groupes reflète l’effet du dispositif. A défaut d’un tel protocole, on cherche souvent à comparer les trajectoires des bénéficiaires avec le reste de la population, ou avec une population possédant apparemment des caractéristiques comparables. Mais les bénéficiaires d’une politique publique ne sont en général pas choisis au hasard : s’ils sont orientés vers un dispositif, c’est qu’ils ont des besoins spécifiques, et souvent davantage de difficultés. Or les caractéristiques individuelles pèsent souvent beaucoup plus sur les trajectoires futures des personnes que n’importe quelle intervention publique : à l’issue de l’expérimentation, si l’on observe, par exemple, que les bénéficiaires connaissent une situation plus difficiles que les autres jeunes, il est impossible de savoir si cela est dû au dispositif lui-même, qui serait inefficace, ou simplement au fait que celui-ci n’ait pas réussi à compenser des handicaps initiaux.

Avez-vous un exemple concret en tête ?

Mathieu Valdenaire : Spontanément, les politiques d’aide au permis de conduire. Près de la moitié des conseils régionaux et un tiers des conseils généraux ont mis en place des aides au permis de conduire pour leur effet supposé sur l’insertion sociale et professionnelle. Mais l’impact réel de ces aides n’a pratiquement jamais été évalué sérieusement. L’évaluation menée sur l’expérimentation du FEJ, 10 000 permis pour réussir, a permis à l’équipe de recherche qui l’évaluait de mesurer l’impact de ces aides sur la réussite au permis, d’une part et sur l’insertion professionnelle, d’autre part. On se rend compte que si les jeunes accompagnés ont 50% de plus de chances de réussir l’examen que les jeunes non accompagnés et que, par conséquent, le gain en autonomie est réel, en termes d’insertion professionnelle les résultats sont assez décevant, du moins à court terme. Ce résultat suggère qu’une aide financière n’est pas suffisante, pour les jeunes les plus en difficultés : ce sont peut-être les exigences de l’examen lui-même qui sont à revoir.

Quelles expérimentations mentionnées dans le rapport a pu, selon vous, exercer une influence sur l’élaboration d’une politique publique ?

Mathieu Valdenaire  : Je pense notamment au revenu contractualisé d’autonomie (RCA) expérimenté dans 82 missions locales pendant deux ans. Ce dispositif reposait sur le versement d’une allocation qui apportait une garantie de ressources mensuelle de 250 euros aux jeunes bénéficiaires, accompagnés par leur mission locale. Les enseignements de cette expérimentation, qui sont présentés dans l’ouvrage,ont servi de point de départ aux réflexions sur la forme de l’actuelle Garantie jeunes.

L’autre ambition forte est d’inscrire cette démarche dans une dynamique partagée avec les acteurs de jeunesse - et ils sont nombreux : universitaires, professionnels de l’insertion, enseignants, animateurs, élus…

Quels enseignements retirez-vous de cette nécessité de faire sens avec une telle diversité d’acteurs ?

Mathieu Valdenaire : Personnellement j’ai acquis la certitude que si on veut mener des expérimentations de politiques publiques, puis les faire évaluer de façon objective, il faut s’entendre sur une méthode et des règles du jeu auxquelles tout le monde a été associé en amont. L’expérimentation est un outil puissant mais assez lourd qu’il faut mobiliser sur des projets à fort enjeux car cela prend du temps et mobilise de nombreuses ressources, de la conception à la réalisation du projet et à la publication des résultats d’évaluation. Or les évaluations de politiques publiques sont trop souvent conçues à court terme, sans se donner les moyens d’une méthodologie appropriée, ce qui aboutit à des résultats fragiles. Le cadre des expérimentations, bien utilisé, permet de sortir de ce travers.

Jean Bérard : Les idées d’expérimentation et d’évaluation des politiques publiques sont très présentes dans de nombreux discours. Mais elles recouvrent des sens très différents. Le livre cherche à illustrer par l’exemple ce qu’il est possible de réaliser lorsqu’on essaie de donner aux porteurs des projets et aux évaluateurs les moyens de tenter de mesurer les effets des dispositifs mis en œuvre. Ça ne marche pas tout le temps, ça donne aussi parfois des résultats décevants mais c’est un cadre qui permet le travail commun entre des acteurs et des chercheurs et qui met les résultats obtenus sur la place publique.

Propos recueillis par Roch Sonnet

Contenus associés

20 Juin 2017
-
Texte législatif ou règlementaire

Arrêté relatif à l'organisation des enseignements dans les classes de collège

L'arrêté du 16 juin 2017 modifiant l'arrêté du 19 mai 2015 est relatif à l'organisation des enseignements dans les classes de collège. Il précise :  « A l'issue du cycle 4, tout élève doit avoir bénéficié de chacune des formes d'enseignements complémentaires. Ces derniers contribuent, avec les...
20 Juin 2017
-
Article de presse / Revue de presse

L'école des Glénans, Force 70

"Soixante-dix ans après sa création par un couple de résistants soucieux de donner une nouvelle chance aux camarades de clandestinité désœuvrés après la guerre, l’école des Glénans tient toujours son cap dans un monde de la voile en pleine mutation. Une école de voile, mais plus encore de mer et de...
08 Juin 2017
-
Rapport d'étude, de recherche et d'évaluation

Réforme des rythmes scolaires

"Le groupe de travail sur la réforme des rythmes scolaires du sénat, composé  par les commissions de la culture, de l’éducation et de la communication et celle des finances ont chargé quatre de leurs membres d’établir un bilan complet de la réforme des rythmes scolaires, après trois années de mise...
01 Juin 2017
-
Article de presse / Revue de presse

Rythmes scolaires, classes en CP et CE1 en REP : les premières déclarations de Jean-Michel Blanquer

"Depuis sa nomination mercredi 17 mai au ministère de l'Education nationale, Jean-Michel Blanquer a accordé plusieurs interviews dans lesquelles il donne des premiers éléments de calendrier et d'orientation sur la révision de la réforme des rythmes scolaires et sur la mise en place d'un effectif...