Allgemeines zu den Kriterienkatalogen

Unter einem Kriterienkatalog bzw. einer Checkliste ist eine systematische Zusammenstellung von verschiedenen Fragen und Einschätzungsskalen zu einzelnen Produktmerkmalen zu verstehen. Dadurch können vielfältige Merkmale von Lernsoftware abgedeckt werden, wie z. B.:

• Bildschirmgestaltung;
• Lesbarkeit;
• Absturzsicherheit;
• Verständlichkeit der Instruktionen;
• Angemessenheit der Lerninhalte u.a.m.

Ein Experte überprüft anhand eines Kriterienkatalogs das Vorhandensein einer Reihe von Einzelmerkmalen, die eine gute Lernsoftware haben sollte. So leitet die Verwendung von Kriterienkatalogen den Evaluationsexperten einerseits zu einem raschen Urteil über einzelne Kategorien der zu prüfenden Software, andererseits kann sich der Evaluierende auch bezüglich der Gesamtqualität der Software ein relativ umfassendes Bild machen.

Wozu werden Kriterienkataloge eingesetzt?
Kriterienkataloge können zur entwicklungsbegleitenden Qualitätskontrolle ebenso wie zur abschliessenden Evaluation eingesetzt werden, wenn im Projekt ein Lernsystem entwickelt wird. Ebenfalls eignen sie sich zum Vergleich und zur Auswahl von Lernsystemen, wenn im Projekt auf ein bereits vorhandenes Produkt zurückgegriffen werden soll. Hier empfiehlt sich die Definition von Cut-off Kriterien (unveräusserliche Anforderungen, die das Produkt erfüllen muss).
Allerdings wird kaum ein Katalog in allen Bereichen zur jeweiligen Evaluationsaufgabe oder dem zu evaluierenden Lernprogramm passen. Meist ist es notwendig, den Katalog anzupassen, indem Sie z. B. die Kriterien nach ihren eigenen Bedürfnissen gewichten, bestimmte Merkmalsbereiche auslassen oder auch eigene, zusätzliche Kriterien definieren.

Ressourcenaufwand
Kriterienkataloge sind zeit- und kosteneffektiv. Der tatsächliche Zeitaufwand kann jedoch je nach Kriterienkatalog sehr verschieden sein, und natürlich gibt es einen Trade-off zwischen Aufwand und Urteilsgüte: Eine umfassende Beurteilung ist anhand eines vielleicht zeitsparenden, aber wenig detaillierten Katalogs nicht möglich. Kurze Checklisten sind sicherlich die Methode der Wahl, wenn das Ziel eine erste, relativ oberflächliche Qualitätseinschätzung ist, wohingegen umfangreiche (und damit aufwändigere) Kriterienkataloge im Rahmen tiefer gehender Analysen sinnvoll sind. Die ergänzende Nutzung weiterer Evaluationsmethoden sollte in jedem Fall in Betracht gezogen werden.

Vorteile
Kriterienkataloge ...

• sind mit nur kleinen Änderungen auf vielfältige Fragestellungen und Evaluationsbereiche anwendbar;
• sind leicht zu handhaben;
• helfen bei der Priorisierung vieler Merkmale, die es bei der Bewertung einer Lernsoftware zu berücksichtigen gilt (Schenkel, Tergan & Lottmann, 2000).

Nachteile
Gegen die Verwendung von Kriterienkatalogen spricht, dass ...

• verschiedene Beurteiler mit Kriterienkatalogen zu unterschiedlichen Urteilen kommen, d. h. die Zuverlässigkeit der Bewertung ist nicht immer gegeben.
• die Annahme, die zu beurteilenden Aspekte einer Lernsoftware stünden mit dem Lernergebnis in bedeutsamem Zusammenhang, nicht immer richtig ist.
• sie den Kontext meist nicht berücksichtigen, in dem ein Lernsystem zum Einsatz kommt. Dieser Kontext ist aber für das Lernergebnis von mindestens genauso grosser Bedeutung wie die Merkmale eines Lernsystems.
• sie sich häufig zu stark auf technische Aspekte beziehen;
• sie individuelle Bedingungen wie bestimmte Lernvoraussetzungen und -gewohnheiten nicht berücksichtigen (Schenkel et al., 2000).