Gute Praxis: Beispiel Universität Osnabrück

Dokumente

Gesamtbewertung der Situation: Grundsatzbeitrag von N. Döring

Eine Gesamtbewertung der Situation (Stand der Verwendung der Evaluation, Forschungsstand, offene Fragen, Konsequenzen) enthält der Beitrag von Nicola Döring "Für Evaluation und gegen Evaluitis: Warum kann und wie sollte Lehrevaluation an deutschen Hochschulen verbessert werden", in: B. Berendt / H.-P. Voss / J. Wildt (Hrsg.): Neues Handbuch Hochschullehre, Ergänzungslieferung Juli 2005. Berlin

Ihre Schlussfolgerungen fasst sie in 4 Punkten zusammen:

• Bei der Lehrevaluation sollte die Qualitätsentwicklung im Zentrum stehen.

• Sie sollte auf der Mikroebene optimiert werden, u. a. durch individuelle Betreuung und Beratung der Lehrpersonen.

• Die Lehrveranstaltungsevaluation muss durch Evaluation auf Makroebene ergänzt werden, um die Qualität des Studiums umfassend und nachhaltig sicher zu stellen.
  

•  Meta-Evaluation und Einhaltung international akzeptierter wissenschaftlicher und ethischer Standards sind unverzichtbar.

Burkhardt Krems, 2.12.2010/19.01.2011

Urteilsverzerrungen

Eine Übersicht auch über die Problematik, welche Faktoren zu Urteilsverzerrungen führen können - und welche auch nicht - gibt Nicola Döring in ihrem Beitrag im "Neuen Handbuch Hochschullehre". Danach ergibt die internationale Forschung, dass folgende Einflussgrößen die studentische Bewertung beeinflussen, obwohl sie nicht von der Lehrkraft beeinflussbar sind, also keine Unterschiede der "Lehrqualität" darstellen: 

• Wahlveranstaltungen werden besser beurteilt als Pflichtveranstaltungen,

• populäre Themen ergeben bessere Bewertungen,

• Veranstaltungen mit aktiven Teilnahmeformen werden besser beurteilt
  (Anmerkung B. K.: hier sind wohl die durch Vorgaben bestimmte Veranstaltungsformen gemeint; soweit die Lehrkraft bei der Gestaltung die Möglichkeit zu mehr oder weniger aktiver Sozialform hat, wäre der Unterschied auf das Verhalten der Lehrkraft zurückzuführen).

Zur Frage, wie sich das Niveau der Anforderungen auswirkt, widerlegt die empirische Forschung die verbreitete Vermutung, dass geringere Anforderungen zu besseren Bewertungen führen: "Lehrveranstaltungen mit einem als adäquat empfundenen (also auch nicht zu leichten) Anforderungsniveau (erzielen) die besten Bewertungen".

Zu weiteren Einzelaspekten siehe die folgenden Beiträge.

Attraktive Dozenten bekommen bessere Bewertungen?

So jedenfalls das Ergebnis einer weiteren Studie: Tobias Wolbring: Attraktivität, Geschlecht und Lehrveranstaltungsevaluation. Eine Replikationsstudie zu den Befunden von Hamermesh und Parker (2005) und Klein und Rosar (2006) mit Hilfe von Individualdaten. Heft 1/2010 der Zeitschrift für Evaluation, S. 29-48. Die Studie überprüft bereits vorliegende empirische Befunde und kommt im wesentlichen zur Bestätigung, dass die Attraktivität der Lehrkräfte einen signifikanten Einfluss hat: "Im Durchschnitt bewerten Studierende insbesondere attraktive männliche Lehrende signifikant besser. " Zusammenfassung

Erklärungsversuche für die Wirksamkeit im Vergleich

Schmidt 2008 untersucht die verschiedenen Erklärungsversuche für die Wirksamkeit oder Unwirksamkeit von Evaluation der Lehrveranstaltungen und hat dazu eine Befragung durchgeführt. Aus der Zusammenfassung:

"... die Wirkmechanismen der LVE und damit verbundene Festlegungen wie der Verwendungszweck der Daten, Anschlussmaßnahmen und die konzeptionelle Einbettung der LVE (bleiben) Gegenstand kontroverser Diskussionen. Vor dem Hintergrund empirischer Befunde werden subjektive Erklärungen zur Wirksamkeit sowie zur Wirkungslosigkeit von LVE formuliert und anhand einer Stichprobe von N = 150 Personen in einer online-Studie geprüft.

Besonders bei den Nutzern von LVE dominieren ‚naive‘ Erklärungsmuster zur Wirkungsweise von LVE, während Anbieter zu komplexeren, stärker invasiven Modellen tendieren. Ausgehend von den Befunden ergibt sich ein Bedarf an Integration der LVE in umfassende Rahmenkonzepte sowie eine künftig gezieltere Berücksichtigung der vorherrschenden subjektiven Theorien über das Instrument Lehrveranstaltungsevaluation." (Hervorhebung ergänzt).

Siehe vom Verfasser auch die Zusammenfassung und Diskussion der Ergebnisse unter http://www.academics.de/.

Langfristige Wirkung von Evaluation?

Lang und Kersting 2007 diskutieren die langfristigen Wirkungen von Evaluation. Eine eigene Untersuchung ergab nur eine kurzfristige Wirkung, die in den folgenden Semestern wieder zurückging.

Insgesamt sollte die Wirkung der Evaluation auch mittel- und langfristig untersucht werden. Die Arbeit von Lang und Kersting betrifft aber nur die "reine" Lehrveranstaltungsbewertung durch die Studierenden, für die bereits andere Untersuchungen nur eine geringe Wirksamkeit ermittelt hatten: das Ergebnis ist insoweit nicht überraschend und mit den anderen Untersuchungen gut vereinbar.

Die Ergebnisse sind aber nicht geeignet, die von Rindermann und anderen ermittelten Wirkungen der Kombination von Evaluation und Beratung in Frage zu stellen: an der Empfehlung, die studentische Lehrevaluation als Standardelement der Evaluation zu verwenden, kann deshalb festgehalten werden. Probleme in diesem Zusammenhang (z. B. Ermüdungseffekte, zu hoher Aufwand usw.) diskutieren die Berichte der Expertengruppe Evaluation der FHöD.

Studentische Lehrevaluation liefert keine verlässliche Bewertung der Lehrqualität

Was ist "Qualität der Lehre"?

Die Studentische Lehrevaluation kann nur dann Aussagen zur Lehrqualität liefern, wenn Kriterien dafür vorhanden sind. Das ist aber oft nicht der Fall: die Befragungen orientieren sich an unreflektierten und/oder z. T. unausgesprochenen Vorstellungen von "guter Lehre", für externe Hochschulen oft auch an der Vorlesung als der üblichen / typischen Lehrveranstaltungsform. Zur Frage, was "gute Lehre" nach heutigem Kenntnisstand ausmacht, siehe unten.

An welchen Erwartungen orientieren sich Studierende?

"Zufriedenheit" der Studierenden ist nicht das Ziel der Hochschule, sondern Kompetenzerwerb. Die Urteile der Studierenden

• reflektieren ihre Erwartungen, die durch Motivation, frühere Lernerfahrungen, ihre Vorstellungen von "guter Lehre" geprägt sind
• möglicherweise auch die als Beschreibung, wie Lehre sein sollte, wahrgenommenen Formulierungen des Fragebogens, weshalb es problematisch ist, ihn als einzigen Instrument zu verwenden (so Buchholz/Litzcke in These 5)

Bewertungen nur sachlich?

Fredersdorf/Lehner 2004: "Wie aus der Evaluation von Maßnahmen der Erwachsenenbildung bekannt, spiegelt eine Seminarbewertung durch Teilnehmer oft andere als didaktische Kriterien wider (Stimmungen, subjektives Wohlbefinden, Beliebtheit des Referenten u. a., Wöltje & Egenberger 1996, S. 220)."

Verlässlichkeit empirisch widerlegt: Kromrey 2003

Kromrey 2003, S. 2 und Fußn. 2, diskutiert die der studentischen Lehrevaluation zugrunde liegenden Hypothesen:

• Sie sind – wenn man etwa 20-30 Studenten urteilen lässt – zuverlässig wie professionelle Testverfahren.
• Sie sind von anderen Merkmalen der Studenten selbst und der Dozenten wenig beeinflusst

und verweist dann auf seine Arbeiten aus den Jahren 1994 und 1995, in denen sich diese Hypothesen "als empirisch falsch erwiesen haben".

Evaluation wirkt (nur) in Kombination mit Beratung

• Rindermann, Heiner / Kohler, Jürgen / Meisenberg, Gerhard: Quality of Instruction Improved by Evaluation and Consultation of Instructors. In: International Journal for Academic Development, Vol. 12, No. 2, November 2007, pp. 73-85. Online-Quelle: http://www.uni-graz.at/pslgcwww/rindermann/publikationen/07IntJourAD.pdf

Zusammenfassung der Autoren:

Ein Ziel der studentischen Lehrevaluation ist die Verbesserung von Lehrqualität. Es gibt aber wenig empirische Evidenz dafür, dass studentische Lehrevaluation allein Lehre verbessern kann. Diese Studie versuchte, die Effekte von Veranstaltungskritik in einem Ansatz, der Lehrevaluation mit Beratung verbindet, zu erhöhen. Lehrveranstaltungsevaluation wurde in einem privaten Ausbildungsinstitut für Logopädie in 35 Kursen von 16 Dozenten mit 592 Studierenden durchgeführt. Veranstaltungskritik wurde zweimal praktiziert binnen eines Zeitabschnitts von drei bis zwölf Monaten anhand eines Fragebogens (HILVE-II), der für die Evaluation von Hochschulveranstaltungen entwickelt wurde. Der Verbesserungseffekt auf Lehrqualität war in den dozentenbezogenen Skalen größer als eine halbe Standardabweichung. Obwohl der Berater keine pädagogische Ausbildung hatte, verbesserte sich die Lehrqualität nicht nur in den quantitativen und qualitativen Maßen, sondern wurde auch homogener. Die relative Rangreihung innerhalb der Dozenten blieb aber stabil.

Ergänzender Auszug (S. 83): Weder Evaluation allein noch Beratung allein bewirken deutliche Verbesserungen, erst die Kombination ist wirksam:

Feedback über die Wirkung der Lehre allein, ohne Beratung die es ermöglicht, die eigene Lehre und Beispiele für besseres Lehren zu reflektieren, ergibt keine messbaren Verbesserungen (vgl. Gray, 1991). Aber auch Beratung ohne Evaluation ist nicht wirksam, weil die Lehrkräfte selten ihre eigenen Stärken und Schwächen wahrnehmen.

(Übersetzung B. K., Originaltext: "Mere feedback about teaching performance without counselling in which there are opportunities for reflection on teaching and examples on how to do it better does not result in measurable improvement (cf. Gray, 1991). Mere counselling without evaluation will not be effective either, because teachers are rarely aware of their own strengths and weaknesses.")

 Kompetenzerwerb

• Meyer, Helga / Frank, Gudrun / Janas, Dana: Kompetenzerwerb im Studium messen. Das Projekt „moreQ“ der Hochschule Bremen. In: Wissenschaftsmanagement 4,  Juli/August 2007, S. 25-32. Online-Quelle: http://www.lemmens.de/verlag/zeitschriften/wima_archiv/wima_2007/wima_4_07.pdf. 

• Schaeper, Hilde / Briedis, Kolja: Kompetenzen von  Hochschulabsolventinnen und Hochschulabsolventen, berufliche Anforderungen und Folgerungen für die Hochschulreform. Projektbericht (HIS), 2004. Online-Quelle

Enthält den HIS-Fragebogen , der für Absolventen-/Abnehmerbefragungen Anregungen geben kann.

Ziele der Evaluation: "Gute Lehre"

Was macht eine gute Lehre aus? Siehe dazu die Sammlung im Online-Verwaltungslexikon unter "Good Practice/Lehre/guter Unterricht". Denn "Evaluation" muss zunächst klären,

• was das Ergebnis der Lehre sein soll: die Wirkung, also Kompetenzerwerb oder Kompetenzzuwachs (mehr Können, nicht bloß "Wissen"),
  
• und für die Evaluation der Lehrtätigkeit selbst, wie gute Lehre aussehen sollte.
  

Mir scheint, dass diese Überlegungen großenteils nicht angestellt werden und "geheime Leitbilder" guter Lehre Grundlage für die Konstruktion von Erhebungsinstrumenten und die Interpretation der Ergebnisse sind - oder aber die vorhandene Lehre unreflektiert die Leitvorstellung für eine "gute Lehre" abgibt, also - je nach Situation - z. B. die klassische Vorlesung.

Studierendenbefragung allgemein

Zumbach u. a.: Kurzskala zur Lehrevaluation

• Jörg  Zumbach,  Birgit  Spinath,  Joachim  Schahn,  Monika  Friedrich  und Melanie Kögel: Entwicklung einer Kurzskala zur Lehrevaluation. In: Michael  Krämer,  Siegfried  Preiser  &  Kerstin  Brusdeylins,  (Hrsg.), Psychologiedidaktik  und  Evaluation  Bd.  VI, Göttingen 2007, S. 317-325. Online-Quelle

Buchholz / Litzcke: Sechs Thesen zur Leistungsmessung an Hochschulen

Buchholz, Günter / Litzcke, Sven Max: Thesen zur Leistungsmessung an Hochschulen am Beispiel der Lehrevaluation. In: Die Neue Hochschule (DNH) Heft 3-4, 2008, S. 38-42. Online Quelle

Im folgenden werden nur die Thesen sowie kurze Auszüge wiedergegeben, ausführliche Erläuterungen in der Originalquelle.

1. Evaluation muss mehr sein als Zufriedenheitsmessung bei Studierenden
   (... "Zentrale Aufgabe der Hochschulen, bezogen auf die Lehre, sind gut ausgebildete Absolventen" ... und nicht nur mit ihrer jeweiligen Lehrveranstaltung nach aktueller Einschätzung während oder kurz nach der Lehrveranstaltung zufriedene Studierende ...)
   
2. Evaluationsergebnisse sind an den Studierendenerwartungen zu relativieren
   (... "Die Studierenden betreten die Hochschule mit teils bewussten und teils unbewussten stereotypisierten Erwar- tungen, und diese prägen in den ersten Semestern die Erwartungen an die Hochschule und insbesondere an die Lehre. Diese Stereotype sind es, die im Rahmen der Lehrevaluation die Maßstä- be der Kritik setzen. ... Der eigentliche Sinn und Wert eines Hochschulstudiums, wenn es denn ein bildendes ist, wird in vollem Umfang erst im Rückblick erfahr- und benennbar ...)
   
3. Evaluationsergebnisse sind an der Studierendenmotivation zu relativieren
   (... "Von grundlegender Bedeutung für die Motivation der Studierenden ist die Frage, ob sie ein Fach primär aus persönlicher Neigung, mit intrinsischer Motivation, oder primär aus Kalkül, mit extrinsischer Motivation, wählen. ... Damit ist der Vergleich von Evaluationsergebnissen über Fachgrenzen hinweg problematisch einzuschätzen. )
   
4. Die Evaluationsergebnisse sind an der Beurteilungsfähigkeit der Studierenden zu relativieren
   ("Aus den Argumentationslinien der Abschnitte 4.1 bis 4.3 folgt, dass der Beurteilungsfähigkeit der Studierenden wie auch der anderer Gruppen Grenzen gesetzt sind. Dies muss man bei der Interpretation von Evaluationsergebnissen berücksichtigen.)
   
5. Evaluation muss mehr sein als Fragebogenerhebungen
   (... "Die angewandte Erhebungsmethode, nämlich anonyme Fragebögen mit standardisierten Fragen zu verwenden, enthält Risiken. So können manche Fragen unbemerkt normativ wirken. Wenn beispielsweise nach einem differenzierten Medieneinsatz gefragt wird, muss jeder noch so qualifizierte mündliche Vortrag schlecht bewertet werden.")
   
6. Man kann mit Evaluation nicht alle Ziele gleichzeitig erreichen
   (Über die Folgen der W-Besoldung nach Evaluationsergebnissen: "Die Studierenden wollen gute Noten, sollen sie gute Noten bekommen ... damit entfällt für Studierende wie für Lehrende die Förderung durch Forderung ... Bereits jetzt lassen die einschlägigen Übersichten des Wissenschaftsrates in vielen Fächern eine Noteninflation erkennen")
   

Studierendenbefragung online

• Schroer, Joachim: Studentische Lehrveranstaltungsevaluation im Internet. Diplomarbeit an der Universität Trier, 2003 (Gutachter und Betreuer: Dr. Ewald Naumann / Prof. Dr. Dieter Bartussek). Online-Quelle

In dieser Studie wurde die Äquivalenz zwischen der studentischen Lehrveranstaltungsevaluation per Internet und Papier- und Bleistiftverfahren geprüft. Gleichzeitig wurden weitere mögliche Einflussgrößen berücksichtigt, die diese Äquivalenz gefährden könnten, nämlich die Vertrautheit mit Computern und dem Internet sowie mögliche systematische Selektionseffekte durch unterschiedliche Beteiligungsquoten in den beiden Medien. Darüber hinaus wurden generelle, vom Medium unabhängige Selektionseffekte beim Einsatz der studentischen Lehrveranstaltungsevaluation untersucht, indem Teilnehmer und Nicht-Teilnehmer an der Evaluation hinsichtlich ihrer Prüfungsnoten verglichen wurden. Die Literatur zur studentischen Lehrveranstaltungsevaluation (per Papierfragebogen) zeigt die generelle Robustheit der studentischen Beurteilungen der Lehre gegenüber einer Reihe von denkbaren Störvariablen. Neben der klassischen Kontrollvariable der Sympathie für den Dozenten wurden insbesondere die eigene Vorbereitung der Studierenden und die momentane Befindlichkeit beim Ausfüllen der Fragebögen berücksichtigt.

Untersucht wurden zwei Methodenvorlesungen im Fach Psychologie an der Universität Trier über das Sommersemester 2002 hinweg. Die Ergebnisse der beiden Medien erwiesen sich als äquivalent, obwohl weniger Studierende an den Befragungen im Internet teilnahmen. Die individuelle Vertrautheit mit Computern und dem Internet hatte darüber hinaus keinen Einfluss auf die Teilnahmehäufigkeit. Die Sympathie für den Dozenten wies eine geringe Korrelation mit verschiedenen Beurteilungsmaßen auf, wobei über die Richtung des Zusammenhangs keine Aussage möglich ist; dagegen zeigte die momentane Befindlichkeit keinen Zusammhang mit den Beurteilungen. Das Muster der Zusammenhänge zwischen eigener Vorbereitung auf die Vorlesung und den Urteilen über ihre Qualität sprach für die Validität dieser Urteile. Studierende, die nicht an der Evaluation (und vermutlich auch nicht an der Vorlesung) teilnahmen, erzielten im Mittel schlechtere Prüfungsnoten.

Die Durchführung der studentischen Lehrveranstaltungsevaluation im Internet gefährdet nicht ihre Validität. Stattdessen erleichtert sie die Erfassung, Auswertung und Interpretation der Beurteilungen. Diesen Vorteile wiegen umso schwerer, je mehr Vorlesungen beurteilt werden.

Wissenschaftsrat 2008: Empfehlungen zur Qualitätsverbesserung von Lehre und Studium

Aus der Presseerklärung

Der Wissenschaftsrat hat sich mit Vorschlägen zur Verbesserung der Lehre an die Politik, die Hochschulen, Lehrende und Studierende gewandt und fordert von allen eine "gemeinsame Anstregung für mehr Qualität in Studium und Lehre". Fortbildungen nicht nur für Nachwuchswissenschaftler sollen gute Lehre befördern. Studierende sollen Verantwortung für ihren Studienerfolg übernehmen. Hochschulen sollen ein umfassendes System der Qualitätsentwicklung aufbauen und Leistungsanreize für gute Lehre setzen. Dafür müssen belastbare Verfahren der Bewertung von Lehrleistung entwickelt werden.

Quelle: Newsletter des CHE

Auszug aus den Empfehlungen des Wissenschaftsrates

Quelle: Empfehlungen des Wissenschaftsrates zur Qualitätsverbesserung von Lehre und Studium, Drs. 8639-08, 2008

Ausrichtung der Hochschullehre (S. 8)
Die Studierenden in ihrem Lernen bestmöglich zu unterstützen, steht im Mittelpunkt aller Anstrengungen der Lehrenden und der Hochschulen in Studium und Lehre. Lehrende sollten selbstorganisiertes Lernen fördern und die Studienprozesse auf die Aneignung von fachlichen sowie überfachlichen Kompetenzen ausrichten. Eigeninitiative und Eigenverantwortung der Studierenden sollten gleichermaßen gefördert und eingefordert werden. Ein solches Rollenverständnis von Lehrenden und Lernenden ist zu flankieren mit Veranstaltungsformen, die förderliche Lehr- und Lernsituationen schaffen und das aktive Lernen unterstützen.

Qualitätsmanagement und Personalentwicklung (S. 10 f.)
Eine der zentralen Voraussetzungen für eine gezielte und kontrollierte Qualitätsentwicklung im Bereich Lehre und Studium ist der Aufbau eines systematischen und integrierten hochschulinternen Qualitätsmanagements. Der Wissenschaftsrat empfiehlt, dass alle Hochschulen innerhalb der nächsten drei bis fünf Jahre ein internationalen Standards entsprechendes Qualitätsmanagement aufbauen sollten. Dazu gehört es, im Zuge der Profilbildung ambitionierte Ziele festzulegen, Verantwortlichkeiten klar zuzuordnen und Anreize für ein verstärktes Engagement in der Lehre zu setzen. Das unter möglichst breiter Beteiligung aller Statusgruppen organisierte Qualitätsmanagement sollte als strategisches Steuerungsinstrument der Hochschulleitung die Stetigkeit eines definierten Leistungsniveaus sichern, Veränderungsprozesse fördern und mögliche Fehlentwicklungen frühzeitig identifizieren helfen.

Leistungstransparenz und Qualitätsbewertung (S. 11)
Der Wissenschaftsrat empfiehlt, im gesamten Hochschulsystem eine umfassende Praxis der Rechenschaftslegung und der Transparenz der Leistungsfähigkeit im Bereich Studium und Lehre zu entwickeln und zu etablieren. Dies stellt eine Grundvoraussetzung einer gezielten qualitätsorientierten Binnensteuerung der Hochschulen dar. Alle Bewertungsverfahren sollten außer den erbrachten Leistungen (Output) systematisch auch die jeweiligen Voraussetzungen (Input) berücksichtigen. (Hervorhebung ergänzt)

Zentrale Empfehlungen, Abschnitt B.III.: Qualitätsbewertung von Studium und Lehre (S. 82, Umrahmung im Original)

• Aufbau verlässlicher Bewertungsinstrumente für die Qualität der Lehrleistungen und zur differenzierten Erfassung des Kompetenzgewinns im Studium.

• Berücksichtigung des Verhältnisses zwischen Input- und Output-Faktoren in Bewertungsverfahren der Qualität von Lehre und Studium.

• Herstellung von Transparenz über zentrale Indikatoren, die Rückschlüsse auf die Qualität von Studienangeboten zulassen.