|
 |
||||||||
Glossar
Im Folgenden sind die wichtigsten der in diesem Handbuch verwendeten Fachbegriffe erläutert:
|
Begriff |
Erklärung |
| Absolute Häufigkeit | „Die absolute Häufigkeit gibt an, wie häufig die einzelnen Ausprägungen eines Merkmals in einem Datensatz vorkommen. Die absoluten Häufigkeiten werden meist in einer Häufigkeitstabelle (oft zusammen mit => relativen und/oder kumulierten Häufigkeiten) zusammengefasst.“ (Aus: Ilmes, Absolute Häufigkeit). |
| Anwenderbasierte Methoden | Dies sind Methoden zur Erfassung der Benutzerfreundlichkeit, bei der das Produkt (zum Beispiel das eLearning-Programm) direkt am Anwender getestet wird. Dieser arbeitet ohne fremde Hilfe mit dem Programm an einer für das Programm typischen Aufgabe. Die Interaktion zwischen dem Anwender und dem Programm wird im Hinblick auf ihre Reibungslosigkeit aufgezeichnet und später untersucht. |
| Arithmetisches Mittel | Das arithmetische Mittel ist ein Mass der => zentralen Tendenz. Es ist die Summe der Werte durch die Anzahl aller Werte (nur bei => intervall- oder => verhältnisskalierten Daten!). Das arithmetische Mittel wird auch herangezogen, wenn ein Skalenwert (über alle Teilnehmer und alle zu einer Skala gehörenden Fragen gemittelter Wert) berechnet werden soll. |
| Ausfallquote | „Anteil der Personen einer Bruttostichprobe, die nicht befragt werden konnten. Gründe für Ausfälle sind: Zielperson ist verzogen, ... verreist oder aus sonstigen Gründen nicht erreichbar, Zielperson verweigert die Teilnahme an der Befragung. Dieser letzte Ausfallgrund ist mit Abstand der häufigste.” (Aus: Ilmes, Ausfallquote). |
| Auswahl typischer Fälle | Hier werden Elemente ausgewählt, die als charakteristisch die => Grundgesamtheit als betrachtet werden (=> Bewusste Auswahlverfahren). |
| Bedarfsanalyse | Bei der Bedarfsanalyse wird ein Vergleich zwischen dem Ist- und dem Soll-Zustand vorgenommen, wobei der Soll-Zustand entweder durch das Projekt-Team vordefiniert sein oder gemeinsam mit der Zielgruppe entwickelt werden kann (=> Konzept-Ebene). |
| Beobachtung | Beobachtungen liefern Informationen, die nicht vom Untersuchungsteilnehmer selbst berichtet, sondern durch eine instruierte Person erhoben werden. Die Informationen können dabei in Form von Protokollen oder Notizen oder aber als Ton- oder Videoaufzeichnung dokumentiert werden. Mit Hilfe von Beobachtungen können beispielsweise Handhabungsprobleme, Vorgehensweisen und Lernschwierigkeiten bei der Benutzung eines Lernprogramms erfasst werden. |
| Bewusste Auswahlverfahren | Bei den bewussten Auswahlverfahren werden die Elemente anhand bestimmter Merkmale ausgewählt. Ein Rückschluss auf die => Grundgesamtheit auf der Basis statistischer Modelle ist bei dieser Art der Auswahl nicht möglich (=> Stichprobe). |
| Deskriptive Statistik | „Die deskriptive Statistik befasst sich mit Masszahlen zur Charakterisierung von Daten. Manche Autoren bezeichnen die deskriptive Datenauswertung als "Datenreduktion" – es geht darum, ein- oder mehrdimensionale Datenbündel durch einfachere (im Sinne von: die Zahl der Zahlenwerte reduzierende) Kennwerte zu charakterisieren.“ (Aus: Ilmes, Deskriptive Statistik) (=> Statistische Auswertungsverfahren). |
| Dokumentenanalyse | Die Dokumentenanalyse ist eine Form der => Inhaltsanalyse. Sie ist ein non-reaktives Verfahren der Datenerhebung, dies bedeutet, dass die erhobenen Daten keine Reaktion auf entsprechende => Fragestellungen des Evaluators darstellen. Bei einer Dokumentenanalyse werden unterschiedliche Informationsquellen wie z. B. Fachliteratur oder sonstige Texte herangezogen. Aus diesen Quellen werden jene Informationen entnommen, welche für die vorliegende Fragestellung von Bedeutung sind. |
| Einfache Zufallsstichprobe | Jedes Element hat die gleichen Chancen, in die => Stichprobe zu gelangen. Dies gewährt eine grösstmögliche Repräsentativität, d. h. die Stichprobe spiegelt die Zusammensetzung der => Grundgesamtheit wider (=> Zufallsauswahl). |
| Effektivität | "Bei der Effektivität geht es darum, ob die Benutzer die Ziele erreichen können, die sie mit der Benutzung der jeweiligen Software verfolgen." (Grötsch & Anft, 2005) (=> Usability). |
| Effizienz | "Die Effizienz bezieht sich auf den Aufwand, der mit der Erledigung der Aufgabe verbunden ist." (Grötsch & Anft, 2005) (=> Usability). |
| Ergebnis-Ebene | Auf dieser Ebene stehen die Produkte des Programms bzw. seiner einzelnen Projekte im Fokus der Evaluation (=> Programmevaluation). |
| Evaluation | „Evaluation ist die systematische und zielgerichtete Sammlung, Analyse und Bewertung von Daten zur Qualitätssicherung und Qualitätskontrolle. Sie gilt der Beurteilung von Planung, Entwicklung, Gestaltung und Einsatz von Bildungsangeboten bzw. einzelner Massnahmen dieser Angebote (Methoden, Medien, Programme, Programmteile) unter den Aspekten von Qualität, Funktionalität, Wirkungen, Effizienz und Nutzen." (Tergan, 2000) |
| Evaluationsgegenstand, Gegenstand der Evaluation | Auch Evaluandum; Objekt, auf das sich die Evaluation bezieht. |
| Evaluationsmethode | „Zu den Evaluationsmethoden gehört das gesamte Spektrum an Methoden empirischer Sozialforschung sowie spezielle statistische Verfahren zur Erhebung bzw. Auswertung von Daten. Die Methoden müssen an die Evaluationszwecke und (=>) Evaluationsgegenstände angepasst sein. Bei (=>) formativen Evaluationen dominieren vielfach eher qualitative und bei (=>) summativen Evaluationen eher quantitative Methoden, dabei gibt es zahlreiche Übergänge.“ (Aus: Glossar wirkungsorientierte Evaluation, Evaluationsmethode) |
| Evaluationsprozess | Der Evaluationsprozess beschreibt den Ablauf der => Evaluation von der Evaluationsplanung bis zur Kommunikation der Ergebnisse. Es werden die folgenden Schritte unterschieden: Evaluation planen, Instrumente auswählen, Daten erheben, Daten auswerten und Bericht schreiben. |
| Experimentelle Designs | Experimentelle Designs zeichnen sich dadurch aus, dass die Untersuchungsteilnehmer zufällig in eine Interventions- und eine Kontrollgruppe aufgeteilt werden (und dass sie dadurch äquivalent sind), dass gezielt ein ‚Treatment’ eingesetzt wird, während die Kontrollgruppe diese Intervention nicht (bzw. ein geeignetes Kontrolltreatment) erhält und dass die Zielgrösse (interessierendes Merkmal, bspw. Lernleistung) in beiden Gruppen ggf. vor, aber in jedem Fall nach der Intervention gemessen wird. Sinn und Zweck ist es, alle Faktoren auszuschliessen, die (ausser dem Treatment) möglicherweise einen Einfluss auf die Zielgrösse haben könnten (=> Untersuchungsdesign) |
| Expertenbasierte Methoden (Heuristische Methode) | Untersuchung und Bewertung der Benutzeroberflächen nach vorgegebenen Kriterien (Heuristiken). |
| Externe Evaluation | Als extern werden Evaluationen bezeichnet, mit denen Evaluatorinnen beauftragt werden, die einer anderen Organisation als der des Programm- oder Projektträgers angehören. |
| Fokusgruppe | Unter einer Fokusgruppe versteht man eine moderierte und fokussierte Gruppendiskussion, welche von einem speziell ausgebildeten Moderator begleitet wird. Durch die Diskussion soll eine intensive Auseinandersetzung mit einem ausgewählten Thema stattfinden. Die Teilnehmer sollen ihre Erfahrungen, Ideen und Beobachtungen bezüglich eines Themas austauschen. |
| Formative Evaluation | „Formative Evaluation dient der Qualitätssicherung. Ihr vorrangiges Ziel ist die Ermittlung von Schwachstellen. Sie erfolgt zumeist entwicklungsbegleitend und liefert Daten, die für die Optimierung der Gestaltung eines Bildungsangebotes verwendet werden.“ (Tergan, 2000). |
| Fragebogen |
Ein Fragebogen dient der schriftlichen Befragung von Personen zu einem
bestimmten Thema. Er besteht aus mehreren zu beantwortenden Fragen oder Items.
Manchmal werden auch mehrere Fragen zum gleichen Sachverhalt gestellt (so genannte Skala, wie zum
Beispiel zur Akzeptanz eines eLearning-Programms). |
| Fragestellung der Evaluation, Evaluationsfragestellung | „Frage, die durch eine Evaluation beantwortet werden soll. Die Fragestellung richtet sich darauf, was die Auftraggeber/Auftraggeberinnen der Evaluation (oder andere Beteiligte und Betroffene) über den (=>) Evaluationsgegenstand in Erfahrung bringen wollen. Mit den Fragestellungen wird eingegrenzt, zu welchen Aspekten des Programms systematisch Daten und Informationen zu gewinnen sind. Der Evaluationsplan soll präzise auf die Fragestellungen zugeschnitten sein. Die Evaluationsfragestellungen sind nicht identisch mit Fragen, die z.B. in einem Fragebogen oder Interviewleitfaden vorkommen.“ (Aus: Glossar wirkungsorientierte Evaluation, Evaluationsfragestellungen) |
| Fremdevaluation | Von Fremdevaluation spricht man, wenn Evaluationsverantwortliche und Programm- bzw. Projektverantwortliche nicht identisch sind. |
| Geschichtete Auswahl | Jedes Element hat nicht die gleiche, sondern eine berechenbare Chance, in die => Stichprobe zu gelangen. Mittels einfacher => Zufallsauswahl werden aus jeder Schicht Elemente ausgewählt. Die resultierende geschichtete Auswahl hat den Vorteil, dass auch Elemente aus „kleinen“ Schichten ausreichend in der => Stichprobe vertreten sind. |
| Gütekriterien | „Bei sozialwissenschaftlichen Untersuchungsmethoden gelten eine Reihe von Gütekriterien. Die Hauptgütekriterien sind (=>) Objektivität, (=>) Reliabilität und (=>) Validität. Methodenanwender sollten eine hohe Ausprägung der entsprechenden Gütekriterien anstreben.“ (Aus: evaluationsnetz, Gütekriterien) |
| Grundgesamtheit | Die Menge aller Elemente, für die die Aussagen einer Untersuchung gelten sollen. |
| Halbstandardisierte Interviews | Halbstandardisierte Interviews geben dem Interviewer die Art und Weise, wie das Gespräch geführt werden soll, mehr oder weniger genau in einem Interviewleitfaden vor. Es können dabei sowohl geschlossene als auch offene Fragen verwendet werden (=> Interview). |
| Handlungsziele | In der => Zielhierarchie, Handlungsziele leisten einen direkten Beitrag zur Realisierung eines => Mittlerziels und einen indirekten zur Erreichung des => Leitziels. Sie dienen der Orientierung für die Praxis und lassen in ihrer Formulierung im Gegensatz zu den übergeordneten Zielklassen wenig Spielraum zur Ausgestaltung zu. |
| Häufigkeitsverteilung | „Eine Häufigkeitsverteilung ist eine Methode zur statistischen Beschreibung von Daten (Messwerten, Merkmalswerten). Mathematisch gesehen ist eine Häufigkeitsverteilung eine Funktion, die zu jedem vorgekommenen Wert angibt, wie häufig dieser Wert vorgekommen ist. Man kann eine solche Verteilung als Tabelle, als Grafik oder modellhaft über eine Funktionsgleichung beschreiben.“ (Aus: Wikipedia, Häufigkeitsverteilung) |
| Inferenzstatistik | „Die Inferenzstatistik, auch Prüf-, induktive oder schliessende Statistik genannt, beschäftigt sich mit der Frage, wie wir von einer (=>) Stichprobe, also einer Auswahl von Untersuchungseinheiten, auf die (=>) Grundgesamtheit zurückschliessen können, aus der die Stichprobe stammt. Dabei geht man im Allgemeinen von der Vorstellung aus, was geschehen würde, wenn man aus einer (=>) Grundgesamtheit viele Stichproben ziehen würde, und berechnet auf dieser Grundlage Wahrscheinlichkeiten für das Auftreten einzelner Stichproben bzw. Stichprobenkennwerte.“ (Aus: Ilmes, Inferenzstatistik) (=> Statistische Auswertungsverfahren) |
| Informelle Tests | Sie sind ad hoc entwickelte, => nicht-standardisierte Tests. Diese Tests sind hinsichtlich ihrer => Gütekriterien nicht überprüft, sondern werden von den Evaluatoren nach Massgabe der jeweiligen Evaluationsziele entwickelt. |
| Inhaltsanalyse | „Unter Inhaltsanalyse versteht man Verfahren der systematischen Erhebung und Kodierung des Inhalts sprachlicher Äußerungen, im allgemeinen schriftlicher (oder verschrifteter) Texte. Die meisten Verfahren der herkömmlichen ("quantitativen") Inhaltsanalysen beruhen darauf, das (teilweise: gemeinsame) Auftreten bestimmter Worte (im allgemeinen verstanden als Indikatoren für bestimmte Textinhalte) zu erfassen, zu quantifizieren und zu zählen. Es kann aber auch um andere Textmerkmale gehen (etwa: grammatikalische Konstruktionen, rhetorische Wendungen), und ausser Texten lassen sich auch andere "Bedeutungsträger", etwa Filme oder Bilder, jedenfalls im Prinzip mit Methoden der Inhaltsanalyse untersuchen.“ (Aus: Ilmes, Inhaltsanalyse) (vgl. => qualitative und => quantitative Inhaltsanalyse) |
| Interne Evaluation | Als intern bezeichnet man eine => Evaluation, wenn diejenigen, die die Evaluation durchführen (Evaluatoren und Evaluatorinnen) derselben Organisation angehören wie diejenigen, die das zu evaluierende => Programm oder => Projekt umsetzen. |
| Intervallskala | Bei einer Intervallskala geben die Zahlen Informationen über die Abstände zwischen den gemessenen Ausprägungen, aber es gibt keinen "echten" Nullpunkt (=> Skalenniveau). |
| Interview | Das Interview ist in den sozialwissenschaftlichen Disziplinen eine prominente Methode zur Erfassung qualitativer Daten. Es dient der mündlichen Befragung von Personen zu einem bestimmten Thema. Häufig wird das Interview dann eingesetzt, wenn über das zu untersuchende Merkmal noch wenige Informationen vorhanden sind, oder wenn es notwendig ist, bestimmte Aspekte durch Nachfragen zu vertiefen. Wie der => Fragebogen enthält auch ein Interview verschiedene Items (Fragen). Und auch hier wird zwischen verschiedenen Graden der Standardisierung unterschieden. |
| Kontingenzkoeffizient | Als Mass zur Charakterisierung des Zusammenhangs zweier Merkmale (z. B.: Ist die Studienrichtung vom Geschlecht abhängig?) wird bei nominalskalierten Daten der Kontingenzkoeffizient herangezogen (=> Zusammenhangshypothesen). |
| Konzept-Ebene | Auf dieser Ebene steht die Konzeption oder Planung im Fokus der Evaluation. Mögliche Fragestellungen beziehen sich auf Zielklarheit, => Bedarf und => Machbarkeit des Vorhabens (=> Projekt- und => Programmevaluation). |
|
Korrelation |
„Die Korrelation ist eine Beziehung zwischen zwei oder mehr
statistischen Variablen. Wenn sie besteht, ist noch nicht gesagt, ob eine Größe
die andere kausal beeinflusst, ob beide von einer dritten Größe kausal abhängen
oder ob sich überhaupt ein Kausalzusammenhang folgern lässt.“ (Aus: Wikipedia, Korrelation). |
| Kriterienkatalog | Unter einem Kriterienkatalog bzw. einer Checkliste ist eine systematische Zusammenstellung von verschiedenen Fragen und Einschätzungsskalen zu einzelnen Produktmerkmalen zu verstehen. |
| Kriteriumsorientierte Tests | Kriteriumsorientierte Tests werden angewendet, um die individuelle Leistung an einem vorab definierten Kriterium (z. B. ein bestimmter Punktestand) zu messen. Mit Hilfe solcher Tests werden z. B. Veränderungen der Lernleistung nach einer erfolgten Bildungsmassnahme gemessen (=> Standardisierte Tests). |
| Längsschnittstudie | "Bei einer Längsschnittstudie wird dieselbe empirische Studie (gewöhnlich eine Befragung) zu mehreren Zeitpunkten durchgeführt und die Ergebnisse der einzelnen Untersuchungswellen werden miteinander verglichen." (From: Wikipedia, Längsschnittstudie) (=> Nicht-experimentelle Designs) |
| Lautes Denken | Beim "Lauten Denken" verbalisieren die Studienteilnehmer, was ihnen durch den Kopf geht, bspw. während sie eine bestimmte Software benutzen, eine Lernaufgabe lösen etc. Damit kann z.B. die Usability der Software untersucht werden, indem Probleme bei der Benutzung genauer analysiert werden, oder es kann untersucht werden, welche Lern- und Problemlösestrategien beim Bearbeiten einer Lernaufgabe eingesetzt werden (=> Anwenderbasierte Methoden). |
| Leitziele | Leitziele stehen auf der höchsten Abstraktionsstufe der => Zielhierarchie. Sie sind wenig konkret, aber zeitlich beständig und geben die Grundausrichtung des => Programms oder => Projekts an. |
| Lern-Ebene | Auf dieser Ebene steht das im Vordergrund, was mit dem Produkt eines => Projektes erreicht werden soll, und dies sind im Kontext von eLearning-Projekten üblicherweise bestimmte Lernprozesse oder Lernergebnisse (=> Projektevaluation). |
| Lernergebnisse | Lernergebnisse können einerseits auf fachliche Inhalte (Wissen und Verstehen, Einstellungen und Fertigkeiten) beziehen, andererseits kann auch die Entwicklung nicht-fachspezifischer Kompetenzen (wie z. B. Medienkompetenz) zum Lernergebnis gehören (=> Lern-Ebene). |
| Lernprozesse | Beim technologiebasierten Lernen können drei Lernprozesse unterschieden werden: Interaktion mit den Inhalten (kognitive Prozesse bei der Auseinandersetzung mit dem Stoff), Interaktion mit der Technologie (Prozesse bei der Benutzung eines technischen Systems) und Interaktion mit anderen Personen (kommunikative Prozesse beim Lernen in Gruppen) (vgl. Friedrich, Hron & Hesse, 2001) (=>Lern-Ebene). |
| Logische Modelle | Ein logisches Modell beschreibt, wie die Teile eines => Projektes oder => Programms zur Zielerreichung beitragen und in welcher Beziehung sie zueinander stehen. Die Modelle bestehen meist aus den Komponenten „Ressourcen“, „Massnahmen“, „Produkte“, „Ergebnisse und Wirkungen“ und „Faktoren“ (=> Konzept-Ebene). |
| Machbarkeitsstudie | „Um Fehlinvestitionen zu verhindern, wird bei Zweifeln an der Erreichbarkeit des (=>) Projekt- oder (=>) Programmziels eine (=>) Machbarkeitsstudie durchgeführt. Diese soll in erster Linie eventuelle Widersprüche zwischen dem Ziel und bestehenden Erkenntnissen aufdecken (negativer Machbarkeitsnachweis) oder ähnliche bereits verwirklichte Ziele recherchieren und benennen (positiver Machbarkeitsnachweis) (Aus:Projektmagazin, Machbarkeitsstudie) (=> Konzept-Ebene). |
| Mann-Whitney-Test (U-Test) | Wenn zwei unabhängige => Stichproben von => Ordinaldaten hinsichtlich ihrer => zentralen Tendenz verglichen werden sollen (z. B.: Haben die Studenten in einer Klasse bessere Noten als die Studenten in einer anderen Klasse?), wird der U-Test von Mann-Whitney verwendet (=> Unterschiedshypothesen). |
| Median | Der Median teilt die Verteilung in zwei Hälften, so dass 50% der Werte über und 50% der Werte unter ihm liegen (Masse der => zentralen Tendenz). |
| Mehrwert (Medieneffekte) | Das sind die Effekte einer bestimmten Technologie auf den Lernerfolg im Mittelpunkt, und diese Effekte sollen häufig im Vergleich mit anderen ("herkömmlichen") Technologien untersucht werden (=> Lern-Ebene). |
| Mittelwert | „Der Mittelwert ist ein Lagemass, das nur bei quantitativen Merkmalen erlaubt ist. Er wird im Gegensatz zum (=>) Median stark von Ausreissern beeinflusst und sollte deshalb nur bei symmetrisch verteilten Merkmalen berechnet werden. Er bezieht sich immer auf eine (=>) Stichprobe; bei einer (=>) Grundgesamtheit spricht man vom Erwartungswert.“ (Aus: Statistik-Lexikon, Mittelwert) |
| Mittlerziele |
In
der => Zielhierarchie, Mittlerziele
konkretisieren Bestandteile des => Leitziels und machen nachvollziehbar,
warum die Verfolgung bestimmter => Handlungsziele zum Erreichen des
Leitziels sinnvoll ist. |
|
Modalwert, Modus |
Der Modalwert ist der Wert, der am häufigsten vorkommt (Masse der => zentralen Tendenz). |
| Nicht-experimentelle Designs | Nicht-experimentelle Designs kommen zum Einsatz, wenn weder die Anforderung für experimentelle noch jene für => quasi-experimentelle Untersuchungen erfüllt sind. Sowohl unabhängige als auch abhängige Variablen werden gemessen und Störvariablen können nicht kontrolliert werden. Aus diesem Grund ermöglichen Ex-post-facto-Designs nur korrelative Aussagen. Der Vorteil besteht darin, dass mit geringem finanziellen und personellen Aufwand sehr viele Daten –meist in einer Befragung – erhoben werden können. Durch entsprechende Auswahlverfahren werden Generalisierungen möglich. Ex-post-facto-Anordnungen sind die in den Sozialwissenschaften verbreitetste Untersuchungsform (From: Wikipedia, Ex-post-facto-Designs (Nicht-Experimentelle Designs)) (=> Untersuchungsdesign). |
| Nicht-standardisierte Interviews | In nicht-standardisierten Interviews wird nur ein thematischer Rahmen vorgegeben, der Interviewer ist frei bei der Formulierung und Reihenfolge der Fragen, und er kann – je nach Antwort des Interviewpartners – auch noch weiterführende, nicht vor-definierte Fragen stellen. In einem solchen (=>) Interview werden offene Fragen verwendet. |
| Nominalskala | Bei einer Nominalskala bedeuten unterschiedliche Zahlen nichts anderes als unterschiedliche Merkmalsausprägungen. Welches Merkmal Sie welcher Zahl zuordnen, ist unerheblich, denn die Zahlen stehen nicht für ein "Mehr" oder "Weniger", "Größer" oder "Kleiner" (=> Skalenniveau). |
| Normorientierte Tests | Mit der Anwendung von normorientierten => Tests wird eine individuelle Testleistung mit der durchschnittlichen Leistung einer Bezugsgruppe verglichen (=> Standardisierte Tests). |
| Objektivität | „Unter Objektivität einer Untersuchungsmethode versteht man den Grad, in dem die mit der Methode gewonnenen Ergebnisse unabhängig von Einflüssen der Person des Untersuchers sind.“ (Aus: evaluationsnetz, Gütekriterien) (=>Gütekriterien). |
| Ordinalskala | Bei einer Ordinalskala drücken die Zahlen eine Rangfolge aus, sie sagen jedoch nichts über die Relationen der der Rangfolge zugrunde liegenden Eigenschaften. Gleiche Abstände zwischen den Zahlenwerten bedeuten also nicht gleiche Abstände "in der Realität“ (=> Skalenniveau). |
| Perzentil | Als => Streuungsmasse können unterschiedliche Perzentile berechnet werden. Sie kennzeichnen die Differenz zwischen dem Wert, über dem die oberen x % der Werte liegen, und dem Wert, unter dem die unteren x % der Werte liegen. |
| Portfolio-Ebene | Auf dieser Ebene stehen die Ausschreibung und die Projektauswahl sowie die -Begutachtung im Mittelpunkt der Evaluation (=> Programmevaluation). |
| Produkt-Ebene | Auf der Produkt-Ebene stehen die Merkmale dessen im Mittelpunkt, was das Produkt des Projektes ist oder werden soll. Ein Produkt kann z. B. eine Lernsoftware oder eine Lehrveranstaltung sein (=> Projektevaluation). |
| Produkt-Moment-Korrelation nach Pearson | Der Zusammenhang zwischen => Intervall- bzw. => Verhältnisdaten (z. B.: Hängt die Bearbeitungszeit einer Aufgabe mit dem Alter zusammen?) wird durch die Produkt-Moment-Korrelation nach Pearson erfasst (=> Zusammenhangshypothesen). |
| Programm | „… ein Programm [ist] eine Menge von Projekten, die miteinander verknüpft sind oder ein gemeinsames strategisches Ziel verfolgen.“ (Aus: Projektmagazin, Programm) |
| Programmevaluation | Bei der Programmevaluation geht es um die => Evaluation einer Initiative, die durch mehrere Einzelprojekte umgesetzt wird. |
| Programmprozess | Der Programmprozess gliedert die verschiedenen Phasen eines => Programms von der Planung bis zur Integration der Ergebnisse. |
| Projekt | „Ein Projekt ist ein Vorhaben, das in vorgegebener Zeit und beschränktem Aufwand ein eindeutig definiertes Ziel erreichen soll, wobei der genaue Lösungsweg weder vorgegeben noch bekannt ist.“ (Aus: Projektmagazin, Projekt) |
| Projektevaluation | Bei der Projektevaluation geht es um die => Evaluation eines einzelnen => Projekts. |
| Projektprozess |
Der Projektprozess gliedert die verschiedenen Phasen eines => Projektes von
der Projektplanung bis zur Implementierung. |
| Prozess-Ebene | Auf dieser Ebene steht die Umsetzung der => Projekte bzw. der begleitenden Programm-Massnahmen im Fokus der Evaluation (=> Programmevaluation). |
| Qualitative Inhaltsanalyse | Das Ziel einer qualitativen Inhaltsanalyse ist keine Quantifizierung, sondern die Interpretation der Textinhalte, d.h. es wird die inhaltliche Bedeutung von Aussagen ermittelt, ohne dass das Material auf quantifizierbare Aussagen reduziert wird. Mit dieser Vorgehensweise können drei verschiedene Ziele verfolgt werden: Zusammenfassung, Explikation und Strukturierung (=> Inhaltsanalyse). |
| Quantitative Inhaltsanalyse | Das Ziel einer quantitativen Inhaltsanalyse ist es, mit Hilfe von Kategoriensystemen die Komplexität des Materials zu reduzieren und in ein statistisch auswertbares Format zu bringen (=> Inhaltsanalyse). |
| Quasi-experimentelle Designs | Das Quasi-Experiment unterscheidet sich vom Experiment darin, dass die Teilnehmer beim Quasi-Experiment nicht zufällig auf Interventions- und Kontrollgruppe aufgeteilt werden, d.h. man untersucht natürlich existierende, nicht-randomisierte Gruppen (bspw. zwei verschiedene Schulklassen). Durch diese nicht-zufällige Aufteilung kann nicht ausgeschlossen werden, dass sich die beiden Gruppen durch Merkmale unterscheiden, die einen Einfluss auf die interessierende Zielgrösse haben. Dadurch kann bei der Interpretation allfälliger Unterschiede zwischen den Gruppen nicht zwingend davon ausgegangen werden, dass der Unterschied auf das ‚Treatment’ (die zu evaluierende Intervention) zurückzuführen ist (=> Untersuchungsdesign). |
| Querschnittstudie | Einmalige Durchführung einer Untersuchung, bei der zum gleichen Zeitpunkt unterschiedliche Personen untersucht werden (=> Nicht-experimentelle Designs). |
| Quotenauswahl | Hier entspricht die Verteilung bestimmter Merkmale in der => Stichprobe exakt der Verteilung dieser Merkmale in der => Grundgesamtheit. Die Voraussetzung hierfür ist, dass die Verteilung bestimmter Merkmale in der Grundgesamtheit bekannt ist (=> Bewusste Auswahlverfahren). |
| Rangkorrelation nach Spearman | Der Zusammenhang zweier => ordinalskalierter Merkmale (z. B.: Hängt die Beliebtheit von Schülern mit der Schulnote zusammen?) wird durch die Rangkorrelation nach Spearman erfasst (=> Zusammenhangshypothesen). |
| Reaktions-Ebene | Auf dieser Ebene wird die Reaktion der Zielgruppe (Zufriedenheit, Akzeptanz und Nutzung) auf das Produkt des Projektes fokussiert (=> Projektevaluation). |
| Relative Häufigkeit | „Die relative Häufigkeit gibt den Anteil der einzelnen Ausprägungen eines Merkmals (eines Datenbündels, einer Variablen) in einem Datensatz an. Sie wird meist in einer Häufigkeitstabelle (oft: zusammen mit (=>) absoluten und/oder kumulierten Häufigkeiten) zusammengefasst.“ (Aus: Ilmes, Relative Häufigkeit). |
| Reliabilität | „Unter Reliabilität einer Untersuchungsmethode versteht man den Grad der Genauigkeit, mit dem die Methode einen bestimmten Sachverhalt erfasst, egal ob sie diesen Sachverhalt auch zu erfassen beabsichtigt.“ (=> Gütekriterien) (Aus: evaluationsnetz, Gütekriterien). |
| Selbstevaluation | Unter Selbstevaluation versteht man, wenn Programm- bzw. Projektverantwortung und Evaluationsverantwortung in einer Hand liegen. Das heisst, dass die => Evaluation von denjenigen Personen durchgeführt wird, die auch für die Durchführung oder Gestaltung des => Evaluationsgegenstandes zuständig sind. |
| Situative Tests | Unter situative => Tests werden Arbeitsproben, Rollenspiele, Fallstudien, Gruppendiskussionen, Planspiele und Simulationen verstanden. Mit Hilfe dieser => Tests können Vorgehensweisen bei der Bewältigung realitätsnaher Aufgabenstellungen erfasst werden. |
| Skalenniveau | „Das Skalen- oder Messniveau gibt an, wie man die(se) Zahlen interpretieren darf, und damit auch, welche Operationen mit den Zahlen sinnvoll sind. Es werden vier Skalenniveaus unterschieden: (=>) Nominal-, (=>) Ordinal-, (=>) Intervall- und (=>) Ratioskala.“ (Aus: Ilmes, Skalenniveau) |
| S.M.A.R.T. objectives | => Handlungsziele sollten möglichst "smart" formuliert sein, d.h. Spezifisch, Messbar, Angemessen, Realistisch, Terminiert (vgl. auch Beywl & Schepp-Winter, 1999; Heiner, 1996; Platt, 2001) (=> Konzept-Ebene). |
| Stakeholder | Betroffene und Beteiligte; der Personenkreis, der im Umfeld einer (=>) Evaluation berücksichtigt werden sollte (z.B. Planer, Projektgeber, Projektnehmer, Informatiker, Gestalter, Studierende, Lehrende, Instanz, Beiräte, externe Berater, Entscheidungsträger, die ähnliche Projekte planen, usw.). |
| Standardabweichung | Die Standardabweichung ist ein => Streuungsmass. Sie ist die Wurzel aus der => Varianz. Nur bei => intervall- oder => verhältnisskalierten Daten! |
| Standardisierte Interviews | Bei standardisierten Interviews ist die Art und Weise der Interviewdurchführung genau vorgegeben. Solche =>Interviews eignen sich vor allem für klar umgrenzte Themenbereiche. |
| Standardisierte Tests | Bei den standardisierten Tests sind die Reihenfolge und der Wortlaut der Fragen sowie die erwünschten Antworten von Anfang an eindeutig definiert und damit können scheinbar objektive Daten erhoben werden. Standardisierte => Tests sollten die => Gütekriterien erfüllen. |
|
Statistische
Auswertungsverfahren |
Statistische Auswertungsverfahren können Sie dann einsetzen,
wenn Sie mittels => Fragebogen, => Interview, => Tests, => Beobachtung etc. quantitative (numerische) Daten erhoben haben. Statistische Verfahren können dazu dienen, das Datenmaterial z. B. durch einzelne Kennwerte oder in Form von Grafiken zu beschreiben (=>deskriptive Statistik), und sie können dazu dienen, => Unterschiedshypothesen zu überprüfen (=> Inferenzstatistik). |
| Stichprobe | „In den Sozialwissenschaften ist es häufig nicht möglich, aber auch nicht erforderlich, alle Elemente einer (=>) Grundgesamtheit zu untersuchen, also eine Vollerhebung durchzuführen. Stattdessen wird eine Auswahl aus der Gesamtheit der Elemente vorgenommen (also eine Teilerhebung durchgeführt). Sofern die Verfahren der Auswahl dieser Elemente bestimmten Regeln folgen, wird die resultierende Menge von Untersuchungsobjekten als Auswahl oder – häufiger – Stichprobe bezeichnet.“ (Aus: Ilmes, Stichprobe) |
| Stichprobenumfang | „Die Anzahl der für eine Prüfung benötigten Proben einer (=>) Grundgesamtheit, um statistische Kenngrößen (Parameter) mit einer bestimmten Qualität (Repräsentativität) zu ermitteln ... Durch eine geeignete Wahl des Stichprobenumfangs sollen systematische Fehler vermieden und statistisch belegbar werden“ (Aus: Wikipedia, Stichprobenumfang) (=> Stichprobe) |
| Streuungsmasse | „Streuungsmasse geben an, wie stark die Merkmalswerte eines Datenbündels vom "Zentrum" abweichen. Die wichtigsten Streuungsmasse sind der Range, der Interquartilsabstand, der Interdezilbereich, die (=>) Standardabweichung, die (=>) Varianz und der Variationskoeffizient.“ (Aus: Ilmes, Streuungsmasse). |
| Summative Evaluation | „Eine summative Evaluation dient der Kontrolle von Qualität, Wirkungen und Nutzen eines Bildungsangebots. Das Interesse gilt der Frage, ob ein Bildungsangebot bzw. einzelne Komponenten des Angebotes bestimmten Erwartungen in der praktischen Anwendung gerecht werden.“ (Tergan, 2000) |
| t-test | Für den Vergleich zweier unabhängiger Stichprobenmittelwerte bei den => Intervall- und => Verhältnisdaten (z. B.: Brauchen die Studenten aus der einen Klasse länger, um eine Aufgabe zu lösen, als Studenten aus einer anderen Klasse?) wird der t-Test für unabhängige => Stichproben verwendet; beim Vergleich zweier abhängiger Stichprobenmittelwerte (z. B.: Brauchen Studenten vor einem Training länger, um eine Aufgabe zu lösen, als nach einem Training?) wird der t-Test für abhängige Stichproben herangezogen (=> Unterschiedshypothesen) |
| Test | Der Begriff „Test“ hat mehrere Bedeutungen: In Bezug auf die =>Evaluation eines Lernprogramms kann unter einem Test ein mehr oder weniger standardisiertes Verfahren verstanden werden, welches zur Messung von Verhaltens- und Leistungsmerkmalsausprägungen eingesetzt wird. |
| Transfer-Ebene | Im Mittelpunkt der => Projektevaluation auf dieser Ebene steht die Frage, ob der Transfer des Gelernten in die Praxis gelingt. |
| Triangulation | Eine Kombination von Methodologien bei der Untersuchung desselben Phänomens. |
| Unterschiedshypothesen | Unterschiedshypothesen sagen einen Unterschied zwischen zwei => Stichproben oder innerhalb einer Stichprobe vor und nach einer Intervention vorher. |
| Untersuchungsdesign | Das Untersuchungsdesign beschreibt, welche Daten wann und wie oft an welchen Objekten erfasst werden sollen, und welche Massnahmen getroffen werden, um Störfaktoren auszuschalten, die das Ergebnis möglicherweise beeinflussen können. |
| Usability | Usability (auch bekannt als Benutzerfreundlichkeit oder Gebrauchstauglichkeit) ist eine Produkteigenschaft, welche definiert, wie einfach z. B. eine Lernsoftware zu benutzen ist. Der Kern der Usability stellen die Kriterien => Effektivität, => Effizienz und => Zufriedenheit dar (vgl. Anforderungen an die Gebrauchstauglichkeit, DIN EN ISO 9241-11; Heinsen & Vogt, 2003). |
| Usability Interview | Bei dieser Vorgehensweise arbeiten die Anwender mit dem Programm und teilen dem Versuchsleiter in einem => Interview rückblickend ihre Eindrücke und Meinungen zum Programm mit (=> Anwenderbasierte Methoden). |
| Validität | „Unter Validität einer Untersuchungsmethode versteht man den Grad der Genauigkeit, mit dem die Methode das misst, was sie zu messen vorgibt (inhaltliche Validität)” (=> Gütekriterien) (Aus: evaluationsnetz, Gütekriterien). |
| Varianz | Die Varianz ist ein => Streuungsmass. Sie ist die Summe der quadrierten Abweichungen aller Messwerte vom => arithmetischen Mittel, geteilt durch die Anzahl Messwerte. Nur bei => intervall- oder => verhältnisskalierten Daten! |
| Variationsbreite | Die Variationsbreite ist ein => Streuungsmass. Sie ist die Differenz zwischen dem kleinsten und dem grössten Wert. |
| Verhältnisskala | Bei einer Verhältnisskala ist das Verhältnis der Abstände zwischen Merkmalsausprägungen relevant. Im Unterschied zur => Intervallskala ist außerdem ein sinnvoll interpretierbarer Nullpunkt vorhanden (=> Skalenniveau). |
| Wilcoxon-Test | Werden zwei abhängige Stichproben verglichen (z. B.: Erzielen die Studenten nach einem Training bessere Noten als vor dem Training?), kommt der Wilcoxon-Test zum Einsatz (=> Unterschiedshypothesen) |
| Wirkungs-Ebene | Auf dieser => Programm-Ebene steht die Frage, welche Wirkungen das Programm erzielt hat und ob diese Wirkungen nachhaltig sind, im Fokus der => Evaluation. |
| Zentrale Tendenz | „Lagemasse sollen Auskunft darüber geben, wo der "Schwerpunkt" eines eindimensionalen Datenbündels liegt. Die wichtigsten Masse der zentralen Tendenz sind: (=>) Arithmetisches Mittel, (=>) Median und (=>) Modus [Modalwert].“ (Aus: Ilmes, Zentrale Tendenz). |
| Zielbasierte Evaluation | Bei der zielbasierten Evaluation geht es darum zu ermitteln, ob das Projekt seine Ziele erreicht hat. Diese Frage stellt sich am Ende des => Projektprozesses häufig im Rahmen einer => summativen Evaluation. |
| Zielhierarchien | In einem => Projekt können die Ziele auf unterschiedlichen Abstraktionsniveaus formuliert sein, z.B. als => Leitziele, => Mittlerziele und => Handlungsziele (vgl. Beywl & Schepp-Winter, 1999) (=> Konzept-Ebene). |
| Zufallsauswahl | Bei der Zufallsstichprobe muss die => Grundgesamtheit bekannt und exakt definiert sein. Jedes Element darf nur einmal in der Grundgesamtheit vertreten sein und muss die gleiche oder eine berechenbare Auswahlchance haben, in die => Stichprobe zu gelangen. |
| Zufriedenheit | Bei der Zufriedenheit geht es darum, wie der Benutzer die Gebrauchstauglichkeit beurteilt (Grötsch & Anft, 2005) (=> Usability). |
| Zusammenhangshypothesen | In Zusammenhangshypothesen wird eine einseitige oder wechselseitige Abhängigkeit zwischen zwei oder mehreren Variablen prognostiziert. |
Umfassendere Glossare zu den Themen Evaluation, Statistik und Methoden der empirischen Sozialforschung finden Sie hier:
http://www.univation.org/glossar/index.php
http://www.lrz-muenchen.de/~wlm/ein_voll.htm
