|
 |
||||||||
Untersuchungsdesign
"A good evaluation design is one that fits the
circumstances while yielding credible and useful answers to the
questions that motivate it." Rossi, Lipsey & Freeman (2004, S. 32)
Das Untersuchungsdesign beschreibt, welche Daten wann und wie oft an welchen Objekten erfasst werden sollen, und welche Massnahmen getroffen werden, um Störfaktoren auszuschalten, die das Ergebnis möglicherweise beeinflussen können.
Es können drei verschiedene Designs unterschieden werden: nicht-experimentelle Designs, quasi-experimentelle Designs und experimentelle Designs.
Nicht-experimentelle
Designs
Bei vielen der in diesem Handbuch für die Projektevaluation vorgestellten Fragestellungen ergeben sich keine bestimmten Anforderungen an das Untersuchungsdesign, da es oft „nur“ darum geht, zu überprüfen, ob ein vorher festgelegtes Ergebnisprofil erreicht werden konnte oder nicht (vgl. Wottawa & Thierau, 1998). Folglich können nicht-experimentelle Designs angewendet werden.
Bei
nicht-experimentellen Designs werden folgende Vorgehensweisen unterschieden:
- Querschnittstudie: Einmalige Durchführung einer Untersuchung (z.B. Befragung, Dokumentenanalyse).
- Längsschnittstudie: Die selbe Untersuchung wird zu mehreren Zeitpunkten durchgeführt (z.B. Erhebung der computerbezogenen Einstellungen bei den Erstsemestrigen über mehrere Jahre, um die Veränderung dieser Einstellung bei unterschiedlichen ‚Kohorten’ zu erfassen).
Mit nicht-experimentellen Designs kann nicht festgestellt werden, ob der Evaluationsgegenstand tatsächlich die Ursache der Zielerreichung war oder nicht. Das ist dann relevant, wenn bspw. auf der Reaktionsebene untersucht werden soll, ob mit dem eLearning-Instrument das Ziel „grössere Zufriedenheit mit dem Lehrangebot“ erreicht worden ist. Dieses Ergebnis kann potentiell auch durch andere Faktoren beeinflusst werden, die mit dem Tool selbst nichts zu tun haben, wie bspw. durch eine veränderte Erwartungshaltung der Studierenden. Daher sollten mögliche förderliche oder hinderliche Faktoren, die ausserhalb des Projektes liegen, im Blick behalten und bei der Interpretation der Ergebnisse berücksichtigt werden. Ausserdem sollten die Ziele möglichst konkret formuliert sein (was heisst ‚grössere Zufriedenheit mit dem Lehrangebot’?), und die Wirkung des entwickelten Produktes sollte möglichst direkt, d.h. nahe an der tatsächlichen Intervention, geprüft werden.
Für mehr Informationen zu Untersuchungsdesign: Wottawa & Thierau (2003, S. 114-143), Rossi, Lipsey & Freeman (2004, S. 31-65), Weiss (1998, S. 87-96), Sapsford & Jupp (1996), Gabler & Hoffmeyer-Zlotnik (1997), Bortz & Döring (2003).
