Die Oberfläche des Lernportals soll sich auf maßgebliche Prinzipien des Informationsdesign stützen und die unter 3.2 beschriebene Taxonomie für Social Software berücksichtigen. Wichtige formale Kriterien für das Portalgerüst wurden bereits unter 3.3 näher beschrieben. Ein Usability Testing wird aufgrund der zur Verfügung stehenden Zeit nicht möglich sein. Da aber bei der Umsetzung des Portalgerüsts und seinen Funktionalitäten grundsätzlich auf vorhandene Technologien zurückgegriffen wird, die für eine Praxistauglichkeit bereits diverse Tests ihrer Anbieter durchlaufen mussten und ganz klar ein inhaltlicher Schwerpunkt auf dem integrierten Einsatz von Social Software und deren Konsequenzen für den Lernenden und für das Lehren liegt, kann diese Qualitätskontrolle vernachlässigt werden. Darüber hinaus sollen die beschriebenen inhaltlichen Kriterien eines Lernportals 2.0 nach Prof. Kerres (siehe 3.3) im Lernportal Anwendung finden.

Für den Einsatz des Lernportals in den Lehrveranstaltungen soll auf die Methodik des oben beschriebenen Konzeptes von Blended Learning (siehe 2.2) und die unter 2.1 ausgeführten Ideen des E-Learning 2.0 in Verbindung mit den Prinzipien des Konnektivismus (siehe 2.3) zurückgegriffen werden. Ein erstes didaktisches Grobkonzept wurde unter 3.4 vorgestellt. Die detaillierte Konzeption der Lehrveranstaltungen kann aber erst im Entwicklungsprozess auf Basis genannter theoretischer Erkenntnisse erschlossen werden und ist damit eine der zentralen Schwerpunkte der Diplomarbeit.

Auch die geeigneten Methoden zur Evaluation eines möglichen Lernerfolges und des Umgangs mit den neuen Technologien sowie die Bewertung der Studierenden innerhalb der zu untersuchenden Lehrveranstaltungen lassen sich erst im Laufe des Entstehungsprozesses unseres Lernportals erschließen. Denn hierfür ist zunächst auch die Klärung oben genannter konzeptioneller Feinheiten notwendig. Daraus können induktiv konkrete Hypothesen und eine zentrale Forschungsfrage zum Umgang mit dem Lernportal entwickelt werden, die anschließend Aufschluss auf die Methodik geben. Fraglich bleibt zunächst auch, ob bisherige Evaluationsmethoden erfolgreichen Einsatz finden können, denn das Magazin der Österreichischen Computergesellschaft (OCG) schreibt in dem Ergebnisbericht des Arbeitskreises Human Computer Interaction und Usability Engineering (HCI & UE) zu einem Workshop über Web 2.0-Usability an der Technischen Universität Graz im September 2006, dass tatsächliche experimentelle Befunde bisher sehr rar sind, Lernerfolg noch nicht erforscht wurde und konventionelle Methoden, wie das klassische Kontrollgruppendesign nur sehr eingeschränkt geeignet seien, um „[…] das vielschichtige Lernen in zum Beispiel projektbasierten Szenarien nachzuweisen. Zu hoch ist die Anzahl der Einflussgrößen, zu stark spielen die Persönlichkeit des Lehrenden und deren jeweils spezielle Beziehung zu den Lernenden mit. Neue Frameworks und eine gut durchdachte Methodentriangulation werden daher gesucht, um die oft starken subjektiven Eindrücke in Lehr-/Lernszenarien zu objektivieren und Erfolgsfaktoren zu erkennen. […]“ (OCG-Journal 2006: 20) Und da bei solchen Lernformen eine möglichst hohe Autonomie im Wissenserwerb, kurz ein selbstgesteuertes Lernen, im Vordergrund steht, erscheint es auch entsprechend komplizierter, Kenntnisse, die im Lernprozess erworben werden, zu zertifizieren (vgl. OCG-Journal 2006: 22). Gerade deshalb bedarf es bei diesem weiteren Schwerpunkt unserer Diplomarbeit noch erheblichen kommunikativen Austausches mit dem Kolloquium (insbesondere Betreuer und Hochschullehrer) und mit Kontaktpersonen an anderen Hochschulen, bei dem unser seit Oktober 2006 eingerichteter E-Learning 2.0-Blog sicherlich sehr hilfreich sein kann.

An dieser Stelle soll nun trotzdem ein erster Überblick über mögliche Evaluationsmethoden im E-Learning gegeben werden. Das Qualifizierungsportal für Hochschullehrende „e-teaching.org“, welches ein umfassendes Wissen im Bereich E-Teaching und E-Learning vermittelt und auch der „Evaluationsraum“ des „House of E-Learning“ am E-Learning-Center der Universität Zürich unterscheiden grundsätzlich zwei Formen von Evaluation im E-Learning. Die formative Evaluation „[…] geschieht prozessbegleitend, also während des gesamten Semesters. Ziel ist hierbei die laufende Verbesserung des Seminars.“ (House of E-Learning 2006). Sie kann aber auch bereits vor Beginn des Blended Learning-Seminars ansetzen. Es werden Maßnahmen ergriffen, die wiederum direkt zur Verbesserung des Lehrangebotes eingesetzt werden können und damit vorrangig einer Qualitätssicherung dienen. Dafür sind im Normalfall weniger aufwendige, flexible und informelle Methoden notwendig. Zudem wird nur eine geringe Anzahl an Versuchspersonen benötigt und es ist lediglich eine Evaluation bestimmter Teile des Lehrmaterials, die besonders wichtig sind oder kritisch erscheinen, erforderlich. Ein Anwendungsbeispiel wäre die Bereitstellung eines Lehrtextentwurfes an Studierende, die schwierige Textstellen herausfiltern sollen, damit der Text optimiert werden kann. (vgl. E-teaching.org 2006, House of E-Learning 2006). Als typische und für unser Vorhaben relevante Fragestellungen lassen sich untersuchen: „[…]

• Wie sieht die Interaktion zwischen Beteiligten (Verhalten bei Mailverkehr und in Diskussionsforen, bei Support etc.) aus?
• Welche Lernwege (Nutzung von Softwarefunktionen, Kommunikationsverhalten) schlagen die Lernenden ein?
• Wie sieht das Verhalten, die Zufriedenheit und Einstellung bezüglich des Lernens über das bisherige Seminar aus? […]“

(House of E-Learning 2006)

Weiterhin werden folgende in Frage kommende Instrumente empfohlen: „[…]

• Beobachtung (Hospitation, Videoaufnahme, Beschreibung und Beurteilung)
• Selbstreflexion der Studierenden über den Kurs (Lernjournal, Lerntagebuch)
• Laufende Befragung (Offenes Feedback, Fragebogen, Gruppeninterview etc.)
• Gespräche im Rahmen von Coaching, Supervision oder Intervision“

(House of E-Learning 2006)

Die summative Evaluation wird am Ende eines Kurses oder Modules eingesetzt, um ein Gesamtbild zu erhalten. Dabei geht es um eine abschließende Bewertung des Lehrangebotes im Hinblick auf dessen Wirkung und Nutzen. Es kann nachgewiesen werden, ob eine Maßnahme tatsächlich so erfolgreich wie erwartet war und dient daher eher einer Qualitätskontrolle und längerfristigen Weiterentwicklung. Bei dieser Evaluationsform ist ein aufwendiges Vorgehen mit expliziter und systematischer Anwendung empirischer, sozialwissenschaftlicher Forschungsmethoden erforderlich, um Wissenszuwachs, Lernerfolg oder Lerntransfer im Umgang mit dem Lehrangebot möglichst eindeutig nachweisen zu können. Beispielhaft sind hier die Lehrveranstaltungsfragebögen am Ende eines Semesters zu erwähnen. Als typisches Motto lässt sich fragen, wo die Stärken und Schwächen des Kurses lagen und im Hinblick auf für uns relevante Elemente verfeinern: „[…]

• hinsichtlich der Leistung (Prüfungsergebnisse, Nutzungsintensität, etc.)
• hinsichtlich der Einstellungen der Lernenden (Einschätzung und Zufriedenheit bez. Methoden und Support, Nutzungsabsichten) […]“

(House of E-Learning 2006)

Als Instrumente werden vorgeschlagen: „[…]

• Befragungen (schriftlich und mündlich, Einzel- und Gruppeninterviews, etc.)
• Dokumenten- und Datenanalyse (Logfiles, Lernerfolgskontrollen etc.)“

(House of E-Learning 2006)

E-teaching.org empfiehlt als zusätzliches Instrument für beide Formen der Evaluation und im Hinblick auf die Messung von Lernerfolg insbesondere für die summative Form den Test, sei es im Rahmen einer abschließenden Klausur oder eines speziell erarbeiteten und in das Lehrangebot integrierten Tests (vgl. E-teaching.org 2006).

Für die Evaluation eines Blended Learning-Konzeptes muss besonders beachtet werden, dass sie sich nicht nur auf die Bewertung des Online-Kurses beschränken darf (Medienevaluation), sondern auch die Qualität des didaktischen Konzeptes beurteilt werden muss (Lehrevaluation) (vgl. House of E-Learning 2006).

Speziell für die Messung von Lernerfolg schlägt das E-Learning-Center der Universität Zürich in seinem Kriterienkatalog folgendes vor. Zunächst sollte nach dem Objekt der Messung (Was?) gefragt werden. Geht es also um Lernprozesse, um das Lernergebnis und damit das Erreichen der erforderlichen Lernziele, um die Medieneffekte, also den Mehrwert gegenüber anderen Lehrmedien, oder um den Lernerfolg im engeren Sinne und damit die gewünschten Lernprozesse. Anschließend muss die Methodik (Wie?) geklärt werden. Hierbei wird zwischen Selbstbeurteilung, die in einem Lerntagebuch oder in einer Befragung per Interview oder Fragebogen ermittelt werden kann, und Fremdbeurteilung unterschieden. Letzteres ist im Rahmen einer Beobachtung, eines Tests oder einer Dokumentenanalyse durchführbar. Während die Beobachtung durch ein Experten- oder ein Peerurteil realisiert wird, kann der Test mündlich oder schriftlich sowie online oder als Fallarbeit erfolgen. Die Dokumentenanalyse wird durch Serverprotokolle, eine Aufgabenbearbeitung oder E-Mails und Foren ermöglicht (vgl. ELC-UNIZH 2006).

Folgende erste Überlegungen für ein Gruppendesign sollen als Impulse für eine eingehende Diskussion dienen: Es wird verstärkt darum gehen, wie die Studenten mit dem Portal ihre Zusammenarbeit organisieren, um ihr Lernziel zu erreichen. Eine interessante Fragestellung hierzu könnte natürlich sein, inwiefern das “virtuelle” Lernen mit Web 2.0-Tools das reale Lernen abbilden bzw. in das Internet übertragen kann? Können sich also Studenten z.B. über den Weblog i.V.m. Skype-Chat genauso effektiv austauschen, wie sie es in einem realen Gruppentreffen könnten? Und was sind entscheidende Beschränkungen (weniger Mimik und Gestik, räumliche Distanz usw.)? Daraus könnten sich erste interessante Hypothesen ableiten.

Vorstellbar ist hierbei, dass menschliches Lernen durch die eingesetzten Web 2.0-Tools im Lernportal entscheidend gefördert werden kann, auch wenn eine reale Gruppensituation ab der zweiten Phase des Lehrkonzeptes ausbleiben sollte, da Ideen und Impulse innerhalb der Learning Community durch die jederzeit abrufbare Vernetzung mit dem Internet sofort auf ihre Nachhaltigkeit überprüft und mit Hintergrund- und Zusatzwissen bereichert werden können.

Unsere bisherige Überlegung zielt deshalb darauf ab, zwei verschiedene Gruppenarten im Seminar zu etablieren: Eine Gruppe, bei denen reale Gruppentreffen neben den Online-Aktivitäten gewährt bzw. auch ausdrücklich erwünscht werden. Und eine Gruppe, die dazu angehalten wird, sich außerhalb der üblichen Präsenztreffen nur über das Lernportal mit ihrer Online-Learning Community auszutauschen.

Für die Studierenden mit realen Gruppentreffen könnte dies aber wiederum zusätzlich organisatorische Belastungen bedeuten, da sie sich neben ihrer Aktivität in ihrer Learning Community auch in der Realsituation mit den Gruppenmitgliedern treffen müssten, obwohl sie in ihrem Studiums-Alltag natürlich noch andere Aufgaben und Seminartermine zu erfüllen haben. Denkbar wäre, dass die Studenten die realen Gruppentreffen ihren virtuellen wahrscheinlich vorziehen werden. Ein Ansatzpunkt für weitere Hypothesen.

Darüber hinaus geht es auch darum, Rückschlüsse auf mögliche Kooperationen mit anderen (ausländischen) Universitäten ziehen zu können, bei denen ein Seminar aus gemischten Gruppen von Teilnehmern beider Universitäten besteht und reale Präsenztreffen maximal zu Beginn und Ende des Semesters möglich sind.

Für die Lehrveranstaltung „Elektronische Dokumente“ im Bachelor-Studiengang AMW ist ein Kontrollgruppendesign vorgesehen. Hierbei ist noch nicht festgelegt, wie sich die Gruppen zusammensetzen sollen. Mögliche Szenarien sind zum einen das Angebot an zwei Gruppen mit je 15-20 Studenten, an dieser Testphase aus reinem Interesse teilnehmen zu können, wobei man hiermit möglicherweise vorrangig E-Learning affine Studenten zum Test hätte, die dann aufgrund ihrer Affinität ein verfälschtes Ergebnis hervorbringen. Zum anderen wäre die rein zufällige Selektion denkbar. Bei Portal-Testern und -Kontrollgruppe (jeweils 15-20 Studenten) sollen Pretests und Posttests durchgeführt werden. Somit könnte man zusätzlich ausschließen, dass ein mögliches besseres Ergebnis nicht aus der ohnehin schon besseren Leistung eines Teilnehmers resultiert.

Für die tiefergehende Erschließung des wichtigen Methodenwissens sollen u.a. folgende Literaturquellen gesichtet werden:

Bremer, Claudia (2006): Qualitätssicherung und eLearning: Implementierungsansätze für die Hochschule. In: Sindler, Alexandra et al. (Hrsg.): Qualitätssicherung im E-Learning. Waxmann, Münster, S. 185–202. (auch speziell für Evaluation von Blended Learning)

Ehlers, Ulf-Daniel (2004): Qualität im E-Learning aus Lernersicht. Grundlagen, Empirie und Modellkonzeption subjektiver Qualität. VS Verlag für Sozialwissenschaften, Wiesbaden.

EVA: Evaluationsnetz (2006): Evaluationsmethoden.
http://www.evaluationsnetz.de/index.php?cat=3&id=32&

Fricke, Reiner (2002): Evaluation von Multimedia. In: Issing, Ludwig J. / Klimsa, Paul (Hrsg.), Information und Lernen mit Multimedia und Internet. 3., vollständig überarbeitete Auflage, Verlagsgruppe Beltz, Weinheim, S.445 – 463.

Friedrich, Verena (2006): Evaluation von eLearning-Projekten und -Programmen [Wiki mit Online-Handbuch].
http://elbanet.ethz.ch/wikifarm/vfriedrich/index.php?n=Main.Lernergebnis (Methoden zur Evaluation des Lernergebnisses und vieles mehr)

IZHD: Interdisziplinäres Zentrum für Hochschuldidaktik – Hamburg (2006): E-Didakt-Lernmodul. Evaluationsformen.
http://www.izhd.uni-hamburg.de/edidakt/modul/nonflash/index.php?id=142&open=142&offen_ string=/127/124/58/142/143

Jelitto, Marc (2004): Evaluations-Server. Evaluation im Bereich digitaler Medien. Evaluationsmethoden.
http://www.evaluieren.de/evaluat.ion/methoden.htm

Krapp, Andreas / Weidenmann, Bernd (Hrsg.) (2001): Pädagogische Psychologie. Ein Lehrbuch. 4., vollständig überarbeitete Auflage, Verlagsgruppe Beltz, Weinheim.

Kristöfl, Robert / Sandtner, Heimo / Jandl, Maria (Hg.) (2006): Qualitätskriterien für E-Learning. Ein Leitfaden für Lehrer/innen, Lehrende und Content-Ersteller/innen [PDF]. FH Joanneum, Wien.
http://www.bildung.at/filedb/Qualitaetskriterien_E-Learning.pdf [Zugriff am 10.12.2006]

Meister, Dorothee M. / Tergan, Sigmar-Olaf / Zentel, Peter (Hrsg.) (2004): Evaluation von E-Learning. Zielrichtungen, methodologische Aspekte, Zukunftsperspektiven. Waxmann, Münster.

Niegemann, Helmut et al. (2003): Kompendium E-Learning. X.media.press, Berlin.

Tergan, Sigmar-Olaf / Schenkel, Peter (Hrsg.) (2004): Was macht E-Learning erfolgreich? Grundlagen und Instrumente der Qualitätsbeurteilung. Springer, Berlin.

Zur Bewertung der Aktivität in Weblogs wurden bereits Schemata erarbeitet, an denen wir uns orientieren könnten:
City University Hong Kong
http://admin-vm4.iwi.unisg.ch/wordpress/index.php/2006/03/01/weblogs-in-der-lehre-2/

San Diego University
http://webquest.sdsu.edu/webquestrubric.html

Weiter mit Risikofaktoreneinschätzung oder zurück zur Gliederung.