Evalguide - Untersuchungsdesign

Das Quasi-Experiment unterscheidet sich vom Experiment darin, dass die Teilnehmer beim Quasi-Experiment nicht zufällig auf Interventions- und Kontrollgruppe aufgeteilt werden, d.h. man untersucht natürlich existierende, nicht-randomisierte Gruppen (bspw. zwei verschiedene Schulklassen). Durch diese nicht-zufällige Aufteilung kann nicht ausgeschlossen werden, dass sich die beiden Gruppen durch Merkmale unterscheiden, die einen Einfluss auf die interessierende Zielgrösse haben. Dadurch kann bei der Interpretation allfälliger Unterschiede zwischen den Gruppen nicht zwingend davon ausgegangen werden, dass der Unterschied auf das ‚Treatment’ (die zu evaluierende Intervention) zurückzuführen ist.

Quasi-experimentelle Designs mit (nicht-randomisierter) Kontrollgruppe

Einmalmessung mit nicht-randomisierter Kontrollgruppe:

IG: X --> O
KG: (X_K) --> O

Beispiel: Man lässt eine Gruppe (IG) von Studierenden ein Lernprogramm zum Thema z bearbeiten und misst hinterher ein interessierendes Merkmal, bspw. Wissen zum Thema z. Die gleiche Messung wird auch bei einer Kontrollgruppe (KG) durchgeführt, die nicht mit dem Lernprogramm gelernt hat (bzw. die ein ‚Kontrolltreatment’ (X_K) erhalten, also z.B. mit einem anderen Lehrmittel gelernt hat). Ergibt die Messung bei der IG einen ‚besseren’ Wert als bei der KG, so kann man gegenüber der Einmalmessung ohne Kontrollgruppe (s.u.) mit grösserer Sicherheit sagen, dass das Lernprogramm etwas bewirkt hat. Allerdings muss berücksichtigt werden, dass sich die Gruppen möglicherweise schon vor dem Treatment hinsichtlich eines Merkmals unterschieden haben, das in irgendeiner Weise mit dem interessierenden Merkmal (Wissen) zusammenhängt!

Vorher- und Nachhermessung mit nicht-randomisierter Kontrollgruppe:

IG: O --> X --> O
KG: O --> (X_K) --> O

Beispiel: Man lässt eine Gruppe (IG) von Studierenden ein Lernprogramm zum Thema z bearbeiten und misst vorher und nachher ein interessierendes Merkmal, bspw. Wissen zum Thema z. Die Vorher- und Nachher-Messungen werden auch bei einer Kontrollgruppe (KG) durchgeführt, die nicht mit dem Lernprogramm gelernt hat (bzw. die ein ‚Kontrolltreatment’ (X_K) erhalten, also z.B. mit einem anderen Lehrmittel gelernt hat). Gegenüber der Einmalmessung hat dieses Design den Vorteil, dass die Lernleistung zuverlässig gemessen werden kann, indem die Differenz zwischen der Vorher- und Nachher-Messung gebildet wird. Auch hier muss aber bei der Interpretation allfälliger Gruppenunterschiede in Betracht gezogen werden, dass sich die Gruppen evtl. nicht nur hinsichtlich des Treatments systematisch unterscheiden!

Quasi-experimentelle Designs ohne Kontrollgruppe

Einmalmessung ohne Kontrollgruppe:

X (Treatment) --> O (Messung)

Beispiel: Man lässt eine Gruppe von Studierenden ein Lernprogramm zum Thema z bearbeiten und misst hinterher ein interessierendes Merkmal, bspw. Wissen zum Thema z. In vielen Fällen ist dieses Untersuchungsdesign problematisch, weil es keine Aussage darüber erlaubt, ob das Merkmal (Wissen) tatsächlich auf das Treatment (Lernprogramm) zurückzuführen ist. Manchmal kann aber trotzdem auf die Wirkung des Treatments geschlossen werden, bspw. wenn man aufgrund des Lehrplans davon ausgehen kann, dass die Studierenden vor dem Treatment noch keine Kenntnis des Themas z hatten. Problematisch bleibt allerdings, dass es keinen Vergleichswert gibt. Auch wenn man nachweisen kann, dass etwas gelernt wurde, bleibt immer noch die Frage, ob ‚viel’ oder ‚wenig’, ‚gut’ oder ‚schlecht’ gelernt wurde.

Vorher- und Nachhermessung ohne Kontrollgruppe:

O --> X --> O

Beispiel: Man lässt eine Gruppe (IG) von Studierenden ein Lernprogramm zum Thema z bearbeiten und misst vorher und nachher ein interessierendes Merkmal, bspw. Wissen zum Thema z. Gegenüber der Einmalmessung hat dieses Design den Vorteil, dass die Lernleistung zuverlässig gemessen werden kann, indem die Differenz zwischen der Vorher- und Nachher-Messung gebildet wird. Die Verbesserung der Werte zwischen der ersten und der zweiten Messung kann aber nur dann als Wirkung des Treatment (X) interpretiert werden, wenn es keine plausible andere Erklärung gibt!