L'approche la plus souvent présentée de l'évaluation de la formation ne s'intéresse qu'à ses effets : ce sont les approches de Kirkpatrick et de Philips, par exemple, déjà commentées dans des billets précédents. Mais Chochard et Davoine, dans leur article "A quoi sert la formation managériale et comment évaluer son retour sur investissement?" notent qu'il existe une autre approche de l'évaluation, qui ne se focalise pas seulement sur les résultats mais également sur "les inputs, le processus et le contexte organisationnel de la formation". Une exploration de ces autres méthodes peut nous permettre de sortir de "l'impasse du ROI".
Explorons ces autres méthodes. Je m'appuie ici sur l'article de Martin Schmalenbach "Training Evaluation" et sur celui A. Dunberry et C. Péchard "L'évaluation de la formation dans l'entreprise, état de la question et perspective".
- Le modèle CCIP (Context, Input, Process, Product) de Stufflebeam (1971) est "systémique". L'évaluation porte sur :
- Le contexte : évaluation de l'étude de faisabilité, du cahier des charges et de la sélection des participants
- Les intrants (inputs) : évaluations des ressources (humaines, matérielles, financières) mises à disposition pour la formation
- Le processus : évaluation de la mise en oeuvre du déploiement
- Les produits : évaluation des effets de la formation
- Le modèle CIRO développé par War et al. (1970) évalue le Contexte, les Intrants (Inputs), les Réactions et les Produits (Outcomes). Il intègre donc des éléments de contexte et de résultats. L'évaluation des résultats est présentée en trois niveaux qui rejoignent ceux de Kikpatrick.
Les deux modèles utilisent les mêmes techniques que Kirkpatrick et Philips pour évaluer les résultats : groupe témoin, estimation de la part de variance liée à la formation par des experts...
Ils ont l'énorme avantage de ne pas se limiter à un constat a posteriori, mais de jalonner l'ensemble de l'action, de la qualification des besoins à l'analyse des résultats. Et, surtout, ce sont les seuls qui intègrent le contexte : pour cette raison, il me semble que l'on ne peut pas ignorer ces approches. Elles relèvent d'une approche systémique, en remettant la formation dans son environnement.
Elles répondent ainsi aux points relevés par Y. Chotard et E. Davoine dans leur article précité : La "spécificité contextuelle et humaine de l'investissement en formation confère à l'entreprise qui investit un avantage concurrentiel difficilement imitable par ses concurrents". "En même temps, l'investissement en formation a une rentabilité difficile à évaluer, car fortement dépendante de critères qualitatifs et humains ainsi que de facteurs contextuels (Cadin, Guérin, Pigeyre, 1994).
D'ailleurs, la méthode de l'évaluation par la valeur utilité définie par Chochard et Davoine permet de mixer évaluation du résultat et évaluation des processus, et d'aller jusqu'au retour sur investissement tout en mettant en évidence l'impact des facteurs contextuels sur le résultat.
Nous avons vu que les résultats de leur étude sur l'efficacité comparée de 5 formations managériales mettaient l'accent sur l'importance des éléments contextuels : opportunité de transférer, soutien de l'entreprise, anticipation de conséquences positives du transfert des acquis...
Dans le même esprit, François-Marie Gerard, dans un article publié en 2003 dans la revue Gestion 2000 (Vol. 20, n°3, 13-33) proposait "d'inférer l'impact (des actions de formation) à partir de l'évaluation de trois autres dimensions :
- La pertinence : les objectifs de la formation sont ils les bons ? au bon moment ? pour les bons destinataires ?
- Les acquis
- Le transfert
Et F.-M. Gerard propose la formule suivante :
Impact = Pertinence x Acquis x Transfert
Ce que j'aime bien dans cette formule, c'est qu'elle fonctionne comme un produit. Si l'un des éléments est égal à zéro, c'est tout l'impact qui se trouve réduit à néant...
Dès lors, une méthode se dessine :
- Mettre des indicateurs de processus sur chaque étape des projets de formations
- Travailler finement l'évaluation "de satisfaction", sa conception, son dépouillement, son analyse
- Explorer les manières les plus opportunes d'évaluer la réalité des acquisitions de connaissances/ savoir faire (nous en reparlerons)
- Mettre en oeuvre un processus efficace d'évaluation du transfert
La recherche nous montre qu'il est alors possible de réunir toutes les informations de nature à prouver par inférence l'impact de la formation, et aussi de prendre les bonnes décisions tout au long du processus de conception et de déploiement de l'action.
La quantification de l'impact, la valorisation monétaire du retour sur investissement, n'apparaissent alors plus comme un "Graal" mais simplement comme une démarche située dans une approche particulière, qui peut être mise en oeuvre si certaines conditions sont réunies - l'une étant de disposer d'un bon statisticien...
Dans leur article, Chotard et Davoine indiquent que la formation " est considérée comme une des méthodes les plus efficaces pour augmenter la productivité des individus, pour communiquer des objectifs organisationnels à de nouveaux employés" (Arthur, Benett, Edens et Bell, 2003), et pour gérer et anticiper les changements rapides des marchés (Rothwell et Kolb, 1999)". Et c'est parce que la formation est un facteur d'avantage concurrentiel qu'il faut l'évaluer. Ainsi, Phillips et Gaudet (2003) "remarquent que les organisations qui n'ont pas recours à des évaluations détaillées ont tendance à réduire ou à supprimer leurs budgets de formation, alors que les organisations qui y ont recours augmentent leur budget de formation".
