La réforme de la formation professionnelle, et une préoccupation plus générale d’éviter les gaspillages et les effets négatifs pouvant être induits par des actions de formation mal ciblées, amènent une demande en matière d’évaluation de la formation.
Cette demande ne peut être qu’extrêmement bénéfique, car elle questionne toute la « chaîne de valeur » de la formation, depuis la qualification du besoin jusqu’à l’accompagnement de la mise en œuvre en situation de travail.
Pour les professionnels de la formation, « évaluer » pose le défi de « prouver la valeur » des solutions qu’ils proposent, à leurs clients internes ou externes.
Associer « Evaluation des résultats » et « Evaluation des processus »
Dans un billet précédent, j’ai indiqué qu’il existe deux approches de l’évaluation de formation, qui permettent de classifier les différents modèles :
- Une approche centrée sur les résultats, qui se focalise sur l’évaluation des résultats produits par la formation (Kirkpatrick, Philips …)
- Une approche centrée sur les processus, qui s’intéresse non seulement aux résultats mais aussi à l’évaluation des étapes clés de la conception et de la conduite du projet de formation (CCIP, CIRO…).
Il me semble qu’un dispositif d’évaluation doit nécessairement intégrer ces deux types d’approches – résultats et processus, car les effets de la formation sur les comportements professionnels, sur la performance de l’organisation, ne peuvent se concevoir que d’une manière systémique.
On lira avec bonheur, dans ce sens, le livre limpide de Jonathan Pottiez « L'Evaluation de la formation » (Dunod, 2013).
Dans ce premier billet d’une nouvelle série sur l’évaluation, je propose d’associer ces deux approches pour l’évaluation dite « du transfert ».
Evaluer le transfert : prouver l’effet de la formation sur les comportements professionnels
Qu’est-ce que le « transfert des acquis de formation » ?
Je reprends ici la définition proposée par l’ANFH « Correspond au processus par lequel le stagiaire ayant acquis de nouvelles compréhensions, de nouvelles compétences les appliquent dans l’organisation professionnelle. Ce transfert nécessite que de nombreuses conditions soient réunies pour être réussi ».
Comme l’indique Yves Chotard dans sa thèse « Les variables influençant le rendement des formations managériales » (p. 118 et suiv.), le transfert est donc « une action faisant le lien entre deux niveaux de résultats d’une formation : son impact sur les connaissances et savoir-faire d’une personne formée (niveau 2 du modèle de Kirkpatrick) et son impact sur leurs comportements au travail (niveau 3).
Ce passage du « niveau 2 » au « niveau 3 » est loin d’aller de soi. Il nécessite un effort, qui ne peut être que le fait de l’apprenant lui-même. Sauf lorsqu’il s’agit de reproduire un savoir « procédural », le transfert ne consiste pas en une « reproduction » d’un comportement appris en formation – ce serait enfermer la réalité dans une conception « behavioriste » impropre à une large part du travail d’aujourd’hui. Il nécessite une contextualisation, une adaptation. Le comportement professionnel finalement produit se nourrira de la formation, mais passera par le prisme de la personne qui le met en œuvre (ses biais cognitifs, ses propres leviers de motivation) et des situations auxquelles elle est réellement confrontée.
Cette précaution prise, la recherche établit que certaines conditions facilitent le transfert
Yves Chotard rappelle les résultats de recherches précédentes sur les conditions au transfert des apprentissages :
- que les connaissances, savoir faire ou comportements acquis en formation soient appliqués dans différentes situations de travail, c’est-à-dire dans des contextes différents de celui de la formation - condition de généralisation des apprentissages.
- que cette utilisation des apprentissages au travail se répète durant un certain temps – condition du maintien des apprentissages.
Et il indique également que cette étape est considérée par les chercheurs comme celle « qui détermine véritablement l’efficacité d’une formation du point de vue de l’organisation ».
Il est donc indispensable, lorsque l’on veut prouver la valeur d’une formation, de s’intéresser :
- A la surveillance du processus qui crée les conditions du transfert
- A l’évaluation du résultat, c’est-à-dire du transfert lui-même
Créer les conditions du transfert : poser des points de surveillance sur le processus
Il s’agit ici à la fois de veiller à créer un « système » propice au transfert, et de se donner des indicateurs sur la qualité du système. Rendre compte de ces indicateurs fera partie intégrante de la « preuve de la valeur ».
Baldwin et Ford ont distingué trois catégories d’éléments qui impactent les acquis et le transfert .
Il s’agit d’un système, au sein duquel les variables interagissent réciproquement :
La question qui intéresse le plus les acteurs de la formation, c’est « quelles sont, parmi ces variables, celles qui ont un impact important et sur lesquelles je peux agir ? ».
Il faut reconnaître que la masse des recherches produites sur les variables influençant le transfert donne des résultats contradictoires.
L’utilisation du questionnaire LTSI (Learning Transfer System Inventory, analysant 16 facteurs susceptibles d’analyser le transfert), auprès de 328 participants sur 6 entreprises différentes, permet toutefois à C. Delvos et d’autres chercheurs de dégager 7 facteurs « fortement prédictifs » du transfert..
- La disposition des apprenants à participer à la formation (« learner readiness »)
- La motivation à transférer du nouvel apprenant
- La façon dont la capacité à transférer a été intégrée à la conception et au déploiement de la formation
- Le lien établi entre l’effort nécessaire pour transférer et une amélioration attendue en termes de performance au travail
- L’opportunité de mettre en œuvre les nouvelles connaissances
- Le lien établi entre l’accroissement de la performance résultant du transfert et des résultats reconnus (valued outcomes)
- Le sentiment d’être capable de transférer (self-efficacity)
Rappelons les points abordés dans un billet précédent "Que faire de l'évaluation de satisfaction ?":
- Il n’y a pas de corrélation significative établie entre le niveau de satisfaction « au sens large » constaté immédiatement après la formation et le transfert (Alliger § Janak, 1989).
- Il y a une corrélation forte entre la satisfaction du participant vis à vis du contenu de la formation et le sentiment d’avoir appris (J. Pottiez et J-Y Le Louarn, 2010)
- Il y a une corrélation forte entre le sentiment d’avoir appris et le transfert effectif des connaissances (J. Pottiez et J-Y Le Louarn, 2010)
Admettons que les facteurs de motivation intrinsèques, ceux qui résultent du sentiment de l’individu qu’il peut influencer les résultats de son action, ceux qui procèdent de sa propre envie d’apprendre, sont les plus puissants, comme cela a été montré (cf Thèse Y. Chottard, p. 139). Et admettons que nous ne pouvons guère les influencer, au moins à court terme.
De ces différentes recherches , nous pouvons déduire une première série de points de surveillance à poser sur les processus de conception et de déploiement de la formation – que nous complèterons à l’aide des recherches sur l’impact de la formation.
Evaluer et rendre compte des résultats
Evaluer le transfert, c’est être capable de dire :
- Dans quelle mesure les participants ont mis en œuvre les plans d’actions qu’ils ont eux-mêmes prévus en fin de formation
- Dans quelle mesure les objectifs de la formation ont été atteints
Comme le transfert est identifié par les chercheurs comme l’étape « qui détermine véritablement l’efficacité d’une formation du point de vue de l’organisation » (cf ci-dessus), l’évaluation du transfert est un élément indispensable de la « preuve de la valeur ».
Elle se met en place facilement si son administration et son traitement sont automatisés. Pour donner des informations utiles, elle doit être faite dans le respect des bonnes pratiques – voir à ce sujet l’ouvrage de J. Pottiez, pré-cité.
Pas plus qu’on avance en regardant son rétroviseur, les évaluations de satisfaction et de transfert ne sauraient tenir lieu à elles seules de « système de preuves » de la valeur.
Celui-ci doit rendre compte des multiples éléments mis en place pour créer un « système formation » efficace.
La question se complexifie lorsque, au-delà du transfert, l’on veut prouver l’impact de la formation sur la performance. Ce sera l’objet d’un prochain billet.
