Evalguide - Design

dass die Untersuchungsteilnehmer zufällig in eine Interventions- (IG) und eine Kontrollgruppe (KG) aufgeteilt werden (und dass IG und KG dadurch äquivalent sind).
dass gezielt ein ‚Treatment’ (X) eingesetzt wird, d.h. die Interventionsgruppe erhält die Intervention, die es zu untersuchen gilt (bspw. ein Training mit einem eLearning-Tool), während die Kontrollgruppe diese Intervention nicht (bzw. ein geeignetes Kontrolltreatment) erhält.
dass die Zielgrösse (interessierendes Merkmal, bspw. Lernleistung) in beiden Gruppen ggf. vor, aber in jedem Fall nach der Intervention gemessen wird (Messung = O).

Sinn und Zweck ist es, alle Faktoren auszuschliessen, die (ausser dem Treatment) möglicherweise einen Einfluss auf die Zielgrösse haben könnten. Man will sicher sein, dass sich Unterschiede, die sich zwischen der Interventions- und Kontrollgruppe bspw. hinsichtlich der Lernleistung zeigen, nur auf das Treatment zurückführen lassen. Ein experimentelles Design ist z. B. notwendig, wenn der Mehrwert einer Lerntechnologie hinsichtlich der Lernleistung gegenüber „herkömmlichen“ Lernangeboten nachgewiesen werden soll.

Einmalmessung mit Kontrollgruppe:

IG: X --> O

KG: (X_K) --> O

Beispiel: Man lässt eine Gruppe (IG) von Studierenden ein Lernprogramm zum Thema z bearbeiten und misst hinterher ein interessierendes Merkmal, bspw. Wissen zum Thema z. Die gleiche Messung wird auch bei einer Kontrollgruppe (KG) durchgeführt, die nicht mit dem Lernprogramm gelernt hat (bzw. die ein ‚Kontrolltreatment’ (X_K) erhalten, also z. B. mit einem anderen Lehrmittel gelernt hat).

Das Kontrolltreatment muss so gewählt werden, dass sich die beiden Treatments nur hinsichtlich des zu evaluierenden Faktors unterscheiden. Soll bspw. technologiebasiertes mit nicht-technologiebasiertem Lernen verglichen werden, so müssen alle anderen lernrelevanten Faktoren konstant gehalten werden. Bspw. bedeutet dies, dass die beiden Gruppen von derselben Lehrperson unterrichtet werden sollten, dass die Inhalte die gleichen sein müssen, dass das didaktische Design des Lernangebots identisch sein muss etc. (Tergan berichtet in der Präsentation "Was macht Lernen erfolgreich?" über die Vielzahl der lernrelevanten Komponenten. Zum Download unter http://www.evaluationsnetz.de/index.php?cat=0&id=10005000&SID / Ergebnisse des Fachgesprächs / Vortrag Lernerfolg).

Vorher- und Nachhermessung mit Kontrollgruppe:

IG: O --> X --> O

KG: O --> (X_K) --> O

Beispiel: Man lässt eine Gruppe (IG) von Studierenden ein Lernprogramm zum Thema z bearbeiten und misst vorher und nachher ein interessierendes Merkmal, bspw. Wissen zum Thema z. Die Vorher- und Nachher-Messungen werden auch bei einer Kontrollgruppe (KG) durchgeführt, die nicht mit dem Lernprogramm gelernt hat (bzw. die ein ‚Kontrolltreatment’ (X_K) erhalten, also z.B. mit einem anderen Lehrmittel gelernt hat). Gegenüber der Einmalmessung hat dieses Design den Vorteil, dass die Lernleistung zuverlässig gemessen werden kann, indem die Differenz zwischen der Vorher- und Nachher-Messung gebildet wird, ausserdem kann überprüft werden, ob die beiden Gruppen sich nicht schon hinsichtlich des Vorwissens unterscheiden.

Natürlich dürfen im Fall eines Wissenstest bei der Nachher-Messung nicht die gleichen Fragen verwendet werden wie bei der Vorher-Messung, da allein schon die Test-Erfahrung der ersten Messung Lernen auslösen kann. Es sollten zunächst anhand des Lernmaterials eine Reihe von Testfragen generiert werden, die dann zufällig auf die Vorher- und Nachher-Messung aufgeteilt werden.