Évaluer à froid, c’est chaud !

Lors de notre séminaire annuel, nous avons eu l’occasion de travailler l’évaluation à froid des formations. Nous vous proposons ci-dessous un retour sur cet atelier stimulant.

L’évaluation à froid, c’est chaud ! car les objets évalués sont les changements de comportement, de pratiques et pour ce qui nous concerne particulièrement le transfert des acquis de la formation dans l’activité du formé. L’enjeu est immense. En effet, ce niveau d’évaluation permet de saisir, non pas ce qui a été appris, mais bien ce qui a été appris et qui sert au stagiaire en situation de travail.

C’est donc à la fois s’assurer du transfert de la formation et juger et de son efficacité.

Nous avons donc opté pour une approche très pragmatique sous forme d’un atelier avec 80 participants dans un amphi. Vous avez 75 minutes !

1 – L’idée structurante

Pour assurer une cohérence à cet atelier, il nous fallait un fil directeur. Et nous avons vite opté pour travailler sur un cas concret avec deux questions :

Comment évaluer à froid ce séminaire ?

Quel impact peut avoir une telle évaluation à froid sur le dispositif ?

Nous avons repris les documents de préparation pour identifier précisément l’objectif poursuivi (eh oui ! on l’oublie souvent en cours de route …) afin de pouvoir le présenter explicitement comme base de travail. Il s’est finalement présenté comme ceci :

A la fin de la formation, vous serez capable de concevoir un plan de formation qui intègre les différents leviers au service de la qualité de la formation, tout en respectant la continuité pédagogique.

 2 – L’évaluation à froid : quand la faire ? et comment ?

Une fois cet objectif explicitement présenté, il nous a paru important d’envisager toutes les modalités possibles d’une telle évaluation à froid. Et pour profiter de l’expérience des participants, ils ont répondu à la question : « quand et comment pourrait avoir lieu cette évaluation ? »

Nous avons obtenu 49 réponses qui ont permis de baliser le cadre d’une telle évaluation.

Quand évaluer ?

La question du quand est déterminante. Elle ne peut s’envisager dans sa seule dimension temporelle : 1 semaine, 2 mois, 6 mois, un an ou en fonction d’un événement (à la fin de l’année scolaire, à la publication du PAF, après la publication du PAF, au prochain séminaire, avant parution du PAF, en hiver, en été, fin juin).

Le moment de cette évaluation dépendra principalement de la nature de la formation et des compétences acquises. Ainsi, l’utilisation de compétences techniques sera plus rapidement observable qu’une formation qui vise à faire évoluer des comportements, par exemple dans la gestion de conflit.

Le délai dépendra aussi du temps nécessaire à l’apprenant pour intégrer et appliquer ce qu’il a appris.

Il n’y a pas de « bonne réponse », mais l’idée d’évaluer à froid incite quand même à laisser un certain délai pour laisser le temps aux participants d’intégrer et de s’approprier les notions et démarches abordées. Ainsi, la réponse « 1 semaine » ne nous semble pas adaptée.

Comment évaluer ?

Cette question a suscité des réponses variées : Par questionnaire (avec plusieurs outils proposés), par des entretiens, avec un accompagnement dans le temps, par des expérimentations, à partir de retours d’expériences d’actions de formation, en fonction du nombre d’inscrits. Le besoin d’objectiver les informations est aussi ressorti en proposant d’utiliser des indicateurs chiffrés.

Cela fait ressortir le besoin de définir les indicateurs qui nous semblent pertinents pour évaluer l’atteinte de notre objectif. Une fois l’indicateur identifié, il faut s’assurer qu’il est accessible : l’indicateur ultime de l’effet d’une formation pourrait être les progrès des élèves, mais il n’est pas du tout accessible !

Qui est le bon évaluateur d’une évaluation à froid ?

L’évidence voudrait que nous répondions « le formateur ! », mais en fait, c’est plus compliqué. Il est nécessaire de s’interroger sur les critères du bon évaluateur. Dans une évaluation à froid, Ces critères sont la capacité à observer les comportements, la disponibilité auprès du formé et une certaine impartialité de l’évaluateur.

Croiser plusieurs évaluateurs permet à coup sûr de donner du sens à ce retour à froid. Dans notre écosystème, cela peut être utilement le formateur, le pilote d’un groupe de formations, un inspecteur ainsi que le chef d’établissement.

3 – Chercher l’intrus

Une fois cet ancrage dans le réel bien posé, nous sommes revenus sur la théorie de l’évaluation à froid avec la recherche d’un intrus. Voici les 4 propositions faites et pour vous, quel est l’intrus ?

 

Les 4 documents ont été présentés comme suit :

1. Le compte-rendu d’un pilote à la suite d’une évaluation menée 3 mois après la formation
2. Une question sur la perception de la durée de la formation
3. Une question posée 3 mois après une formation sur le tutorat qui se suit en totale autonomie
4. Le modèle de Kirkpatrick sur les différentes formes d’évaluation d’une formation

Il a été très intéressant de voir que chaque document pouvait être perçu comme un intrus par rapport aux autres. L’aspect subjectif du document 3 a été particulièrement questionné. Une auto-évaluation est-elle vraiment fiable ? Une prochaine gazette reviendra sur cet aspect spécifique …

En balayant ces différents documents, nous avons pu rappeler le modèle de Kirkpatrick (document 4) ainsi que la différence entre évaluation à chaud qui questionne l’appréciation de l’organisation générale de la formation (document 2, l’intrus) et l’évaluation à froid qui s’attache à l’appropriation et la transposition des concepts et démarches présentées (document 3). Enfin, le document 1 nous a donné l’occasion de rappeler l’importance d’analyser ces retours d’évaluation : ils peuvent être utiles aux participants pour se positionner, identifier leurs évolutions et progrès mais sont aussi utiles aux pilotes pour faire évoluer les dispositifs.

4 – Des actions à mettre en place pour évaluer un dispositif

Il nous a semblé utile de répertorier les différentes actions possibles pour évaluer à froid un dispositif de formation. Nous avons encore une fois questionné les participants et plusieurs pistes sont envisageables :

• Enquête ou questionnaire
• Partage et/ou analyse de productions qui découlent de la formation
• Échanges avec les participants, en tête à tête, en groupe ou entre participants
• Observations en classe (par le formateur, par les pairs)

5 – Un point de vue théorique sur l’appropriation et la théorie de l’activité

L’évaluation à froid cible l’appropriation des outils ou des gestes professionnels abordés en formation. La notion d’appropriation, notamment chez Rabardel, concerne la manière dont un stagiaire s’approprie les outils et les technologies dans son activité d’enseignant. Cet auteur met l’accent sur les interactions entre le stagiaire et les outils proposés en formation. IL considère les outils comme des aides mais aussi comme des entités que les stagiaires adaptent, transforment et personnalisent (cf. gazette 53 – outiller pour former).

Précisément l’évaluation à froid doit s’attacher à mesurer ou rendre compte de cette transformation, adaptation ou personnalisation des outils abordés en formation.

Cette conception de l’évaluation à froid mobilise le concept de la théorie de l’activité, concept développé notamment par Yves Clot. Selon cette théorie, l’activité humaine est toujours dirigée vers un objet qui transforme cette activité en un processus doté de sens et orienté vers un but.

L’activité est structurée en trois niveaux : l’activité elle-même, qui est motivée par un besoin (par exemple l’éducation – accès à un niveau de maitrise) ; les actions qui sont les processus conscients dirigés vers des objectifs spécifiques (une leçon) et des opérations qui sont des routines automatisées nécessaires pour accomplir une action (usage d’un tableau interactif …).

6 – Et l’impact dans nos dispositifs

Plusieurs points sont à aborder ici…

L’impact de l’évaluation à froid sur le dispositif

Si l’atteinte de l’objectif de ce séminaire peut s’envisager par exemple par l’analyse des plans de formation proposés (intégration de la multi-modalité, de différentes durées de formation, de différents temps de formation dans la semaine, …) il est nécessaire de mettre en place un accompagnement tout au long du processus de conception pour rappeler la nécessité de bien clarifier l’objectif, les indicateurs pertinents, les modalités d’évaluation, etc.

Le prolongement de l’atelier par la mise en pratique

Pour initier une dynamique et lancer la suite, nous avons proposé aux participants de se regrouper en groupe de travail sur une formation pour expliciter un objectif visé et les indicateurs pertinents pour l’évaluer à froid. Le PAD collaboratif a été construit en moins de 15 minutes et me semble assez révélateur de l’implication collective des participants https://urlz.fr/pMF1

7 – Quelques traces de cet atelier pour conclure

A l’ouverture nous avions proposé des rôles à certains participants, voici les retours que nous en avons eu.

Les gros mots de la séance

• Appropriation
• Instrumentalisation et instrumentation
• Artefacts
• Modèle d’évaluation des formations : modèle Krikpatrick

5 bonnes idées à retenir de la séance

• L’évaluation à froid : temporalité idéale n’existe pas. Pas de règle absolu (1 mois, 3 mois, 6 mois) . Cela dépend de la formation et de ses objectifs.
• Se questionner sur le bon évaluateur à froid : le formateur, le chef d’établissement, le pilote, les participants, …
• L’évaluation à froid peut se faire sous diverses modalités : pas que le questionnaire ou le QCM
• Il faut penser l’évaluation à froid dès la conception de la formation
• L’évaluation à froid fait partie du processus de formation : c’est un temps de la formation à intégrer.

Une réaction subjective

« J’attends de cette journée des ressources pour construire mon évaluation à froid avec des exemples de questionnaires, des exemples de modalités »

Une prise de note graphique de l’atelier

Merci à tous les participants pour leur dynamisme et leur contribution hyper active. C’était vraiment très stimulant d’animer cet atelier et de voir toute l’énergie mise en œuvre.