L'étude de Formaeva sur les "pratiques d'évaluation des formations des entreprises françaises en 2011" montre que 93,3% des entreprises répondantes évaluent les réactions des formés, le plus souvent juste après la formation. C'était déjà vrai pour l'étude Formaeva de 2010, et cette forme d'évaluation est également la plus pratiquée par les autres pays européens - bien que moins fréquemment qu'en France (Formaeva juin 11).
Mais bien souvent, l'entreprise qui ne pratique que cette évaluation ne sait pas trop quoi faire du résultat. Surtout lorsqu'elle porte sur des formations internes, les résultats sont souvent assez uniformes, ne permettant souvent ni la prise de décision ni la valorisation de la formation auprès de la ligne managériale. Par ailleurs, l'analyse de la satisfaction peut donner lieu à des interprétations erronées.
Cependant, l'évaluation de la satisfaction reste un bon outil si elle est pensée dans le cadre d'une vision systémique de la formation.
Construire le questionnaire en se projetant dans l'utilisation des résultats
Trop souvent, la formation est évaluée "parce qu'il faut évaluer". L'étude Formaeva montre que les résultats ne sont pas toujours traités statistiquement - ce qui rend de fait impossible l'analyse fine des résultats.
Or, l'évaluation de satisfaction produit des données importantes :
- Parce qu'elle donne la voix au participant, et participe ainsi à le rendre acteur de son processus d'apprentissage
- Parce que, si elle est bien conçue, elle procure des données portant sur la qualité du processus de formation et sur l'anticipation des résultats de la formation.
Ainsi, il est primordial de construire le questionnaire et le système de traitement des données à partir des décisions que les réponses permettront de prendre.
Décisions sur le cahier des charges de la formation
Les objectifs pédagogiques qui ont été traités sont ils de nature à construire les compétences (individuelles, collectives) correspondant aux besoins, au projet, auxquels la formation était censée répondre ? En d'autre termes, le cahier des charges de la formation a t'il été établi de manière pertinente, le programme élaboré ou choisi de manière cohérente avec les objectifs opérationnels visés ?
Au moins une question doit permettre avec le moins d'ambiguïté possible de faire cette évaluation du processus "élaboration de la réponse". De ce point de vue, les formulations que l'on retrouve souvent, comme "cette formation a t'elle répondu à vos attentes" me paraissent trop sujettes à interprétations multiples. Une question du type "Pensez vous que cette formation vous sera utile ?" répond déjà mieux, me semble t'il, à ce besoin d'information sur la pertinence du programme.
Décisions sur la conception de la formation
Le déroulé de la formation, les mises en situation, les supports...ont ils facilité les apprentissages visés ?
On rattachera à cette catégorie toutes les questions portant sur la durée, le rythme, les méthodes pédagogiques...
Décisions sur l'animation de la formation
Les interactions participants-formateur, formateur-participants, l'écoute et les feed-back du formateur, la pertinence de ses apports, ont ils facilité les apprentissages visés ?
Ce thème est parfois difficile à évaluer lorsque le formateur est interne tant l'évaluation, dans notre pays, véhicule son arrière plan de "jugement" et de "sanction". D'où l'intérêt de formuler des questions précises, isolant bien ce qui relève de la conception et ce qui relève de l'animation, et de recouper ensuite les réponses pour porter le bon diagnostic sur les points à améliorer.
A noter que, pour permettre la prise de décision, l'évaluation devra être traduite en indicateur, référée à un objectif. Mais l'analyse fine se fera à l'aide des verbatims, plus riches sur les évaluations recueillies en ligne.
Anticipation sur les résultats de la formation
Que peut on anticiper à partir d'une "bonne" ou d'une "mauvaise évaluation" ?
L'une des critiques fréquemment entendue à propos de l'évaluation de satisfaction est qu'elle est subjective. Oui, elle l'est, évidemment, toute imprégnée des représentations du "sujet" participant... Mais si évaluer c'est reconnaître la valeur, toute évaluation a sa part de subjectivité. Et l'on s'approche de l'objectivité en croisant le plus possible de subjectivités- celle des autres participants, du formateur, du manager, du responsable formation...
Ce n'est donc pas cette critique qui me paraît pertinente. Une autre me paraît beaucoup plus digne d'attention : il n'y a pas forcément de corrélation entre les différents niveaux d'évaluation.
Dès 1989, Alliger§Janak ne trouvent qu'une très faible corrélation de la satisfaction avec l'apprentissage (r=0,07) et le comportement, c'est à dire le transfert en situation de travail (r=0,05) (cité par A. Dunberry et C Péchard, L'Evaluation de la formation dans l'entreprise: état de la question et perspectives, UQAM). Au contraire, des recherches montrent qu'une expérience désagréable est le signe que l'apprentissage prend place, constat tout à fait conforme avec ce que nous enseigne la théorie du conflit socio-cognitif. Ainsi, Rough "indique (...) qu'avec un apprentissage qui touche à des dimensions profondes de la personne (transformationnel), (...) il y a souvent une période de frustration et de résistance, signe que les personnes commencent justement à apprendre, et qui est susceptible de générer de l'insatisfaction ( A. Dunberry et C Péchard, op. cit.).
Plus récemment J. Pottiez et J-Y Le Louarn ont également questionné les liens entre les différents niveaux d'évaluation dans leur article "Validation partielle du modèle d'évaluation des formations de Kirkpatrick". Leur étude statistique rigoureuse sur les évaluations de 1089 participants sur des formations de tous domaines aboutit aux conclusions suivantes :
- Le sentiment d'avoir appris est corrélé à la satisfaction du participant face au contenu de la formation, mais non face au formateur. Les conditions pré-formatives (motivation à aller en formation, préparation mentale avant la formation) jouent également un rôle - mais la satisfaction vis à vis du contenu compte pour 96% de la variance du sentiment d'avoir appris, alors que les conditions pré-formatives comptent pour 4%. La satisfaction exprimée vis à vis du formateur, généralement très élevée, n'est pas corrélée avec le sentiment d'avoir appris.
Le sentiment d'avoir appris était mesuré par les réponses aux deux questions suivantes :
- Cette formation m'a permis de développer un savoir-faire concret
- Je me sens mieux formé(e) sur ce thème
- De son coté, le transfert d'apprentissage , selon l'étude de J. Pottiez et J-Y Le Louarn, est corrélé au sentiment d'avoir appris.
Celui-ci était évalué par les participants, 3 ou 4 mois après la formation, au moyen des énoncés suivants :
- J'utilise régulièrement les compétences que j'ai pu développer dans cette formation
- Suite à cette formation, j'ai pu mettre en œuvre de nouveaux comportements professionnels au travail
- Suite à la formation, je pense avoir tenu les engagements suivants, que j'avais notés il y a quelques mois...
L'étude montre bien une corrélation entre le "sentiment d'avoir appris" (dans l'évaluation de satisfaction) et le transfert.
Mais elle montre surtout que "le transfert ne se fait pas automatiquement" : les conditions reliées à la formation n'expliquent que 5% du transfert, tandis que " lesconditions reliées à l'environnement de travail du participant comptent pour 95% de la variance expliquée". Il s'agit là des "moyens" donnés au salarié pour utiliser ses nouvelles connaissances, des "occasions" de les utiliser et du "soutien de son supérieur hiérarchique".
Résumons nous
L’évaluation de satisfaction, si elle est bien conçue et bien exploitée, permet un retour d’informations sur la qualité du processus formation et sur la qualité pédagogique des formations.
En cela, elle permet de prendre des décisions : reconsidérer le cahier des charges, le processus de sélection des participants, la communication autour du projet de formation, la conception de la formation, la sélection du prestataire externe ou du formateur interne…
Elle ne peut suffire à déterminer le degré d'efficacité de la formation, mais sa relecture, dans les phases ultérieures d'évaluation, permettra de mieux discerner les facteurs qui ont impacté au final l'atteinte des objectifs visés.
Et, surtout, elle doit être utilisée comme un outil de "pro-activité", et non pas seulement de suivi. Sinon, c'est comme vouloir gérer son budget en lisant ses relevés bancaires: c'est trop tard... Si je fais de l'évaluation de satisfaction un outil de mesure de la pertinence de mes cahiers des charges, alors je vais améliorer mon processus d'élaboration de cahier des charges - le regard change l'objet de l'observation...
