Fallbeispiel: SuperGrade

Christina Class & Debora Weber-Wulff

SuperGrade ist ein Unternehmen, das seit vielen Jahren elektronische Lerninhalte und Lernsoftware erfolgreich vertreibt. Verschiedene Kurse von SuperGrade werden durch elektronische Prüfungen abgeschlossen. SuperGrade hat nicht nur gut funktionierende Multiple-Choice-Fragen-Auswerter, sondern ist als einziges System am Markt dazu in der Lage, auch Freitext-Antworten auf offene Fragen angemessen und automatisch zu korrigieren.

Die Bewertung basiert auf state-of-the-art semantischen Analysen und Abstandsmessungen der Antworten zu vorgegebenen Musterantworten. Das entsprechende Modul verwendet parallel mehrere Methoden, unter anderem neuronale Netze, statistische Analysen der Texte und verschiedene Abstandsmetriken, um zu einer Gesamtbewertung zu gelangen. Das Verfahren wird als großer Durchbruch im Bereich der Künstlichen Intelligenz bezeichnet, allerdings hängt die Zuverlässigkeit der Bewertung davon ab, dass (a) die vorgegebenen Musterantworten mit Sorgfalt gewählt sind und ein möglichst breites Spektrum korrekter Antworten vorgeben und (b) dass die zu bewertenden Antworten, die im Kurs verwendete Terminologie verwenden, und keine Konzepte umschreiben, ohne die Fachtermini zu verwenden. Auch wirken sich größere Rechtschreibfehler negativ aus.

Die Hochschulleitung an der Universität Fresenhagen hat SuperGrade angeschafft, weil sie vom Ministerium angehalten sind, StudienbewerberInnen ECTS-Credits für vor dem Studium erworbene Kenntnisse zu geben.  Martina Mayer arbeitet im Rechenzentrum und muss jetzt erste Erfahrungen mit Supergrade sammeln. Sie soll später die ProfessorInnen dabei unterstützen, erste Prüfungen für Grundkurse einzurichten. Studierende, welche die Prüfungen bestehen, würden die Credits für die entsprechenden Kurse erhalten. Als erstes hat sie sich, zusammen mit Hans Heller, Professor für Informatik, den Kurs Informatik 1 vorgenommen.

Die Bedienung von SuperGrade ist recht einfach und Hans und Martina haben schnell einige Musterantworten eingegeben. Um das System genauer zu überprüfen, testet Martina unterschiedlichste Formulierungen richtiger Antworten. Mit einiger Mühe schafft sie es, zwei Antworten so umständlich zu formulieren, dass das System sie nicht als richtig erkennt. Es ist schwer, Musterantworten zu definieren, die alle möglichen Fälle abdecken können. Insbesondere bei Fragen in Bezug auf Programmierung, wo es sehr viele Varianten für korrekte Lösungen geben kann, ist es nicht leicht, die Antworten zu entwickeln.

Hans ist von dem System begeistert – die Korrektur von Aufgaben findet er sowieso lästig. Sie kostet seinen wissenschaftlichen MitarbeiterInnen sehr viel Zeit, die sie lieber in die Forschung stecken sollten. Er will SuperGrade auch gerne in seinem eigenen regulären Unterricht einsetzen.

Martina hat Bedenken, ob die Software allen Prüflingen gerecht wird. Es ist allerdings zu erwarten, dass in den meisten Fällen keine Probleme auftreten werden, sofern die Musterantworten mit Sorgfalt entwickelt werden. Auch hat die Hochschulleitung bereits eine Pressekonferenz gegeben, die ersten Tests mit SuperGrade sollen nächste Woche abgenommen werden.

Fragen

• Ist es ein ethisches Problem, dass menschliche Leistungen zunehmend automatisch bewertet werden?
• Wie beurteilen Sie die schwere Nachvollziehbarkeit der Bewertungen bei offenen Fragen?
• Wie werden  Neuronale Netze trainiert? Gibt es Beispiele für solche Bewertungen?
• Wäre es unterschiedlich, wenn es nur Multiple-Choice-Fragen gäbe?
• Wie misst man die Qualität von so einem System?
• Auch Menschen machen in der Beurteilung von Prüfungsleistungen Fehler. Sind Fehler durch automatische Beurteilungen schwerer zu gewichten? Oder können solche Programme wie SuperGrade auch inhärente Probleme der Leistungsbewertung lösen?
• Noten und Zertifikate spielen in der Ersteinschätzung von Menschen auf dem Arbeitsmarkt eine zunehmend große Rolle. Wird das verschärft, wenn Programme es erleichtern, Prüfungen abzunehmen und automatisch zu bewerten? Oder könnte diese Tendenz auch dazu führen, dass der Mensch wieder mehr beachtet wird hinter all den Zahlen?

Erschienen in Informatik-Spektrum 34(4), 2011, S. 421–422