Evalguide - Evaluationsmethoden

Le catalogue de critères ou la checklist est un regroupement systématique de différentes questions et échelles d’appréciation au sujet de certaines caractéristiques du produit. De nombreuses caractéristiques d’un didacticiel peuvent être couvertes ainsi, telles que:

l’organisation de l’écran d’affichage ;
la lisibilité ;
la sécurité pour éviter que le programme ne se bloque ;
la clarté des instructions ;
l’adéquation des contenus d’apprentissage, etc.

Un expert contrôle à l'aide d'un catalogue de critères la présence d’une série de caractéristiques individuelles qu’un bon didacticiel devrait posséder. En utilisant un catalogue de critères, les experts en évaluation peuvent rapidement juger des différentes catégories du logiciel à étudier ; en outre, l’évaluateur peut également se faire une idée relativement complète de la qualité générale du logiciel.

Dans quel but les catalogues de critères sont-ils utilisés ?
Lorsque le projet consiste à concevoir un système d’apprentissage, les catalogues de critères peuvent être utilisés non seulement à des fins de contrôle de qualité au cours du développement du produit, mais également au moment de l’évaluation finale. Ils sont également appropriés pour comparer et sélectionner les systèmes d’apprentissage lorsqu’il est nécessaire, dans le projet, de recourir à un produit déjà existant. Il est alors recommandé de définir à cet égard des critères contraignants ("Cut-off criteria": les exigences auxquelles le produit doit absolument répondre).

Toutefois, peu de catalogues seront adaptés dans tous les domaines à chaque tâche d’évaluation ou au programme d’apprentissage à évaluer. Il est le plus souvent nécessaire de procéder à une adaptation du catalogue, par exemple en pondérant les critères selon vos propres besoins, en supprimant certains domaines de caractéristiques ou en définissant des critères supplémentaires.

Besoin en ressources
Les critères de catalogues sont économes en coûts et temps. L'investissement réel en temps peut cependant varier beaucoup entre catalogues, et il existe naturellement un lien entre investissement et qualité de jugement, et un choix s’impose. Une évaluation exhaustive n'est pas possible avec un catalogue peu coûteux en temps mais aussi moins détaillé. Une courte checklist constitue certainement la méthode de choix lorsque l’objectif est d’obtenir une première appréciation superficielle de la qualité ; en revanche, une analyse plus approfondie requiert un catalogue plus détaillé (et qui prend par conséquent plus de temps). Dans tous les cas, il est recommandé d’envisager le recours parallèle à d’autres méthodes d’évaluation.

Avantages
Les catalogues de critères ...

peuvent être utilisés dans un grand nombre de questions et de domaines d’évaluation en y apportant seulement quelques modifications ;
sont faciles à utiliser ;
apportent une aide lorsqu’il s’agit de hiérarchiser les nombreuses caractéristiques dont il faut tenir compte dans l’appréciation d’un didacticiel (Schenkel, Tergan & Lottmann, 2000).

Inconvénients
Les catalogues de critères présentent certains inconvénients :

avec les catalogues de critères, des évaluateurs différents émettent des jugements différents, c’est-à-dire que l’appréciation n’est pas toujours fiable ;
l’hypothèse selon laquelle les aspects d’un didacticiel à évaluer sont étroitement liés au résultat d’apprentissage n’est pas toujours juste ;
ils ne tiennent généralement pas compte du contexte dans lequel le système d’apprentissage est utilisé ; ce contexte est cependant aussi important pour le résultat d’apprentissage que les caractéristiques du système d’apprentissage ;
ils se rapportent souvent trop à l’aspect technique ;
ils ne tiennent pas compte des conditions individuelles telles que certaines conditions préalables ou certaines habitudes d’apprentissage (Schenkel et al., 2000).