Design d’enquête

"A good evaluation design is one that fits the circumstances while yielding credible and useful answers to the questions that motivate it." Rossi, Lipsey & Freeman (2004, p. 32)

La méthode d’analyse décrit quelles données doivent être collectées à quel moment, avec quelle fréquence et sur quels objets. Elle précise aussi les mesures à prendre pour éliminer les facteurs de perturbation susceptibles d’influencer les résultats.

On peut distinguer trois méthodes différentes : méthodes non-expérimentales, méthodes quasi-expérimentales et méthodes expérimentales.

Méthodes non-expérimentales

Pour de nombreuses questions présentées dans ce manuel d’évaluation de projet, il n’y a pas d’exigences particulières en termes de méthode d’analyse car souvent, il s’agit « uniquement » de vérifier s’il a été possible ou non d’atteindre un type de résultat déterminé en amont (cf. Wottawa & Thierau, 1998). Par conséquent, on peut utiliser des méthodes non-expérimentales.

Dans les méthodes non-expérimentales, on distingue les procédés suivants :

• Etude transversale : réalisation unique d’une analyse (p. ex. questionnement, analyse de documents).
• Etude longitudinale : la même analyse est réalisée à différents moments (p. ex. enquête sur les attitudes par rapport à l’informatique auprès d’étudiants de première année pendant plusieurs années successives afin de repérer la modification de cette attitude auprès de différentes ’cohortes’.

Les méthodes non-expérimentales ne permettent pas de savoir si l’objet de l’évaluation était vraiment la cause de la réalisation de l’objectif ou non. Cela est important lorsqu’il s’agit, p. ex. au niveau de la réaction, de savoir si l’instrument de e-Learning a permis d’atteindre l’objectif « plus grande satisfaction par rapport à l’offre d’apprentissage ». Ce résultat peut théoriquement aussi être influencé par d’autres facteurs n’ayant aucun lien avec l’outil à proprement parler, p. ex. par des attentes différentes de la part des apprenants. D’où l’intérêt de tenir compte de facteurs potentiellement positifs ou négatifs situés en dehors du projet, et de les prendre en considération lors de l’interprétation des résultats. En outre, les objectifs devraient être formulés de la façon la plus concrète possible (que signifie ‘plus grande satisfaction par rapport à l’offre d’apprentissage’ ?), et il convient de vérifier l’effet du produit développé le plus directement possible, c’est-à-dire à proximité de l’intervention réelle.

Méthodes quasi-expérimentales

Méthodes expérimentales

Pour de plus amples informations sur les méthodes d’analyse : Wottawa & Thierau (2003, p. 114-143), Rossi, Lipsey & Freeman (2004, p. 31-65), Weiss (1998, p. 87-96), Sapsford & Jupp (1996), Gabler & Hoffmeyer-Zlotnik (1997), Bortz & Döring (2003).