13. L’analyse de la qualité des évaluations
Que ce soit lors de la conception d’un dispositif d’évaluation ou lors de son analyse, il est nécessaire de jeter un regard critique et constructif sur le dispositif d’évaluation, vu son importance pour toutes les parties prenantes. Cela forme la base d’une nécessaire approche « qualité » des évaluations, qui s’inscrit dans la logique des critères européens d’évaluation de la qualité des programmes de formation [ESG 2009].
En juillet 2013, lors d’une journée organisée par FA2L et consacrée à l’évaluation des acquis d’apprentissage avec une trentaine de participants, une grille « rubrics » a été co-construite de manière à permettre d’analyser un dispositif d’évaluation de manière systématique et objective. Cette grille comporte 19 critères regroupés en cinq catégories ; pour chaque critère, 4 niveaux de qualité ont été définis, allant du plus faible (« - ») au plus élevé (« +++ »).
Cette grille peut être utilisée par l’enseignant qui a imaginé le dispositif d’évaluation, mais ce serait encore mieux si l’analyse était effectuée par un autre enseignant… Nous avons cependant constaté que beaucoup d’enseignants expriment une réticence réelle à l’idée de communiquer leurs évaluations à des collègues (de manière un peu paradoxale, si on veut savoir ce qui est important pour un enseignant, il vaut mieux aller voir ses questions d’examen que la table des matières de son cours). Nous pensons qu’il faut les amener graduellement à franchir cet obstacle, ce qui peut être facilité s’ils utilisent eux-mêmes la grille en premier lieu.
Cette grille ne prétend pas être exhaustive : on peut certainement l’enrichir par d’autres critères (par exemple : sur le calcul d’une note pour les évaluations certificatives). Nous espérons cependant que cette grille (ou une de ses variantes) aidera nos lecteurs à construire de meilleures évaluations.
| Catégorie de critère | Critère | - | + | ++ | +++ |
|---|---|---|---|---|---|
| Finalité de l’évaluation (quels types d’actions ou de décisions seront prises à son issue) |
1. La finalité de l’évaluation est définie et appropriée | L’évaluation poursuit simultanément plusieurs finalités concurrentes ; aucune discussion ou réflexion n’a été menée |
La finalité dominante est définie mais d’autres finalités sont présentes | L’évaluation est composée de plusieurs parties qui visent chacune des finalités différentes et définies | La finalité de l’évaluation est unique et non ambiguë |
| 2. La finalité de l’évaluation est connue des étudiants |
Aucune information n’est communiquée aux étudiants sur les finalités de l’évaluation / la finalité pourrait dépendre des résultats |
La finalité de l’évaluation est annoncée : formative ou certificative |
Il est vraisemblable que les étudiants comprennent les enjeux de l’évaluation, aucune preuve n’est cherchée à ce propos |
Les étudiants sont capables d’expliciter les enjeux de l’évaluation |
|
| Liens entre l’évaluation et les acquis d’apprentissage visés |
3. L’évaluation est alignée avec des acquis d’apprentissage visés | Il n’y a pas de lien apparent entre l’évaluation et certains acquis d’apprentissage visés |
Il y a un lien entre l’évaluation et certains acquis d’apprentissage visés, mais ce lien n’est pas explicite |
Le lien entre l’évaluation et un certain nombre d’acquis d’apprentissage visés est explicite |
Le lien entre l’évaluation et chaque acquis d’apprentissage est explicite ; tous les acquis visés sont évalués |
| 4. Les étudiants perçoivent les liens entre les acquis d’apprentissage visés et l’évaluation |
Le lien entre l’évaluation et les acquis d’apprentissage visés n’est pas communiqué aux étudiants |
Le lien entre l’évaluation et les acquis d’apprentissage visés est communiqué aux étudiants |
Le lien entre l’évaluation et les acquis d’apprentissage visés est communiqué aux étudiants et ceux-ci se le sont vraisemblablement approprié |
Les étudiants sont capables d’expliciter le lien entre l’évaluation et les acquis d’apprentissage visés |
|
| Dispositif d’évaluation |
5. Les étudiants sont préparés à l’évaluation | Aucune activité n’a été organisée en vue de préparer les étudiants à l’évaluation |
Certaines activités visaient à préparer les étudiants à l’évaluation, mais cela n’a pas été explicité |
Certaines activités ont été organisées explicitement pour préparer les étudiants à l’évaluation |
Certaines activités ont été organisées explicitement pour préparer les étudiants à l’évaluation ; les étudiants sont capables de citer ces activités |
| Catégorie de critère | Critère | - | + | ++ | +++ |
|---|---|---|---|---|---|
| Dispositif d’évaluation (suite) |
6. La situation d’évaluation est similaire aux situations d’apprentissage |
La situation d’évaluation apparaît aux étudiants comme différente des situations d’apprentissage (Exemple : travail en groupe pendant l’année ; évaluation individuelle) |
La situation d’évaluation est similaire aux situations d’apprentissage, mais cela n’apparaît pas nécessairement à tous les étudiants |
La situation d’évaluation est similaire aux situations d’apprentissage et les étudiants en sont vraisemblablement conscients |
La situation d’évaluation est similaire aux situations d’apprentissage; les étudiants peuvent comparer explicitement les situations |
| 7. Les modalités de l’évaluation sont appropriées |
Les modalités retenues ne permettent pas l’observation et l’analyse de tous les éléments nécessaires au diagnostic |
Les modalités retenues permettent l’observation et l’analyse de certains éléments nécessaires au diagnostic |
Les modalités retenues permettent de façon générale l’observation et l’analyse des éléments nécessaires au diagnostic |
Les modalités retenues sont les plus efficaces pour permettre l’observation et l’analyse des éléments nécessaires au diagnostic et les étudiants sont capables d’expliquer les liens |
|
| 8. Les modalités de l’évaluation sont claires et comprises des étudiants |
Les modalités ne sont pas communiquées aux étudiants | Les modalités sont communiquées et expliquées aux étudiants au début de l’évaluation |
Les modalités sont communiquées et expliquées aux étudiants quelques jours avant le début de l’évaluation |
Les modalités sont choisies de commun accord entre les enseignants et les étudiants | |
| 9. L’évaluation a été validée | Le dispositif n’a été soumis à aucun regard critique | Le dispositif a été soumis au regard critique de collègues proches du domaine | Le dispositif a été soumis au regard critique de collègues éloignés du domaine | Le dispositif a été soumis au regard critique de collègues et leurs remarques ont été prises en compte; l’enseignant en a tiré des leçons pour les évaluations suivantes | |
| 10. La durée de l’évaluation est estimée correctement |
La durée de l’évaluation n’a pas été estimée |
La durée de l’évaluation a été estimée sur base de l’expérience antérieure de l’enseignant | La durée de l’évaluation a été discutée avec des collègues |
La durée de l’évaluation a été validée sur un échantillon pour qu’aucun étudiant susceptible de réussir ne soit pressé par le temps |
| Catégorie de critère | Critère | - | + | ++ | +++ |
|---|---|---|---|---|---|
| Produire un diagnostic |
11. Les critères d’évaluation sont appropriés |
Il n’y a pas de critères explicites d’évaluation : l’enseignant se fie à son jugement, à son expérience, à son «fingerspitzengefühl5» |
Il y a des critères explicites d’évaluation, mais l’enseignant n’a fait aucun effort réel pour s’assurer de leur qualité |
Les critères retenus sont issus d’une démarche collective, mais n’ont pas toutes les qualités voulues; par exemple : ils ne sont pas indépendants les uns des autres |
Les critères retenus sont pertinents, simples, indépendants, pondérés, justifiables, argumentables; ils ont été validés |
| 12. Les critères d’évaluation sont connus des étudiants | Les critères d’évaluation ne sont pas communiqués aux étudiants | Les critères retenus ont été communiqués, sans plus |
Les critères retenus sont connus des étudiants et ceux-ci sont capables de les citer |
Les critères retenus ont été définis en collaboration avec les étudiants |
|
| 13. L’évaluation est équitable | Certaines catégories d’étudiants sont susceptibles d’être favorisées ou lésées | Aucune catégorie d’étudiants n’est favorisée ou lésée | L’équité est respectée au sein d’un groupe de travail (par exemple en projet) | Aucune catégorie d’étudiants n’est favorisée ou lésée et l’enseignant l’a fait valider | |
| 14. L’évaluation est fiable | Le diagnostic produit dépend du correcteur ou de son humeur | Un dispositif de correction en aveugle est mis en place; des grilles d’évaluation sont mises à disposition | Un dispositif d’ajustement entre correcteurs est mis en place | Le dispositif d’ajustement entre correcteurs est validé | |
| Sens pour l’étudiant |
15. La rétroaction produite est efficace pour l’étudiant |
Il n’y a pas de rétroaction sauf, le cas échéant, une note | La rétroaction consiste en un corrigé de l’évaluation | La rétroaction consiste en un corrigé de l’évaluation avec des remarques générales au sujet des points d’amélioration |
Chaque étudiant qui le souhaite obtient une rétroaction individuelle avec des explications précises au sujet des points d’amélioration |
| 16. L’évaluation a du sens pour les étudiants | Les étudiants ne voient pas bien à quoi sert l’évaluation | La portée de l’évaluation, ses objectifs et sa place dans le dispositif de formation ont été présentés | Il est vraisemblable que les étudiants ont compris la portée de l’évaluation | Les étudiants sont capables d’expliciter la portée de l’évaluation |
| Catégorie de critère | Critère | - | + | ++ | +++ |
|---|---|---|---|---|---|
| Sens pour l’étudiant (suite) |
17. L’évaluation donne l’occasion aux étudiants d’apporter des preuves de leurs apprentissages | Les étudiants ne perçoivent pas en quoi chaque partie de l’évaluation leur permet d’apporter des preuves de leurs apprentissages |
Certaines parties de l’évaluation permettent aux étudiants d’apporter des preuves de leurs apprentissages |
Chaque partie de l’évaluation permet aux étudiants d’apporter des preuves de leurs apprentissages | Les étudiants sont capables d’expliquer en quoi chaque partie de l’évaluation leur permet d’apporter des preuves de leurs apprentissages |
| 18. L’évaluation contribue à développer la capacité à s’autoévaluer | Aucune activité n’est proposée pour que l’étudiant soit capable de se positionner sur sa réussite / son échec avant l’évaluation |
Des évaluations à blanc sont organisées | Des activités d’évaluation par les pairs sont organisées. | L’évaluation apporte à l’étudiant des outils qui l’aideront à s’autoévaluer dans l’avenir. L’étudiant sera en mesure d’estimer correctement son niveau de performance avant les évaluations suivantes. |
|
| 19. L’évaluation contribue à construire un sentiment de compétence chez l’étudiant |
L’étudiant est incapable de voir le lien entre l’évaluation et sa compétence : l’évaluation ne contribue pas à son sentiment de compétence | L’étudiant perçoit un sentiment de compétence par rapport aux acquis d’apprentissage visés par l’évaluation |
L’étudiant perçoit un sentiment de compétence par rapport à plusieurs modules. | Un parcours permet à l’étudiant de se positionner progressivement sur l’acquisition de compétences professionnelles. |
|
| 20. La relation entre le jugement final (p. ex. la note attribuée, la réussite ou l’échec) et la performance réalisée est raisonnable |
La relation n’est pas explicitée | La relation est explicitée, mais elle n’est pas ou ne semble pas raisonnable |
La relation est explicitée et raisonnable | La relation est explicitée et son caractère raisonnable a été validé |
| Catégorie de critère | Critère | - | + | ++ | +++ |
|---|---|---|---|---|---|
| Évaluations certificatives |
21. La relation entre le jugement final (p. ex. la note attribuée, la réussite ou l’échec) et la performance réalisée est connue des étudiants | Les étudiants ignorent la relation | Les étudiants ont eu connaissance de la relation de manière fortuite | Les étudiants ont été informés de la relation | Les étudiants sont capables d’expliciter la relation |
| 22. Une rétroaction personnalisée est fournie à l’issue de l’évaluation | Aucune rétroaction n’est fournie | Une rétroaction est fournie, mais elle n’est pas personnalisée | Une rétroaction personnalisée est fournie uniquement sur demande et en casd’échec | Une rétroaction personnalisée est fournie sur demande |