Otto Obert, Stefan Ullrich
Welcher KI-Agent prüft eigentlich den KI-Checker, der in Texten nach KI-generiertem Material sucht? Ein Fallbeispiel, das – wie immer – zum Nachdenken anregt.
Anna und Behrang kommen aus dem gleichen kleinen Ort und kennen sich schon seit dem Kindergarten. Sie sind bis heute sehr gut befreundet und haben sich nicht ganz zufällig im gleichen Unternehmen namens Progressus erfolgreich für ein duales Studium beworben. Bedingt durch ihre unterschiedlichen Ausbildungsschwerpunkte erfolgt der akademische Teil der Ausbildung an verschiedenen Hochschulen. Wie im dualen Studium üblich, sind beide jeweils für drei Monate im sogenannten Praxisblock bei Progressus und anschließend für den Studienblock an ihrer jeweiligen Hochschule. Anna studiert dabei an der Mistral-Hochschule, Behrang an der Luminous-Hochschule.
Progressus erschien beiden besonders attraktiv, nicht nur, weil der Firmensitz in einem eher beschaulichen Ort in der Nähe ihrer Familien und genau zwischen zwei als „Innovative Universities of Applied Sciences“ ausgezeichnete Hochschulen liegt. Auch die Verbindung von einem klassischen Betrieb mit gleichzeitiger Offenheit gegenüber innovativen Technologien und Arbeitsweisen, darunter dem Einsatz von Assistenzsystemen, die auf generativer KI basieren, zeichnet Progressus in den Augen der beiden besonders aus. Zudem schätzen Anna und Behrang die Möglichkeit des mobilen Arbeitens und die positive Fehlerkultur. Auch die Kolleg*innen und Vorgesetzten sind sehr wertschätzend und zudem bekommen die beiden jederzeit Hilfe von Gabriele, ihrer Betreuerin aus der Progressus-Personalabteilung.
Beide haben bereits einen Praxis- und einen Hochschulblock absolviert und stehen aktuell vor dem zweiten Praxisblock. Sie haben festgestellt, dass Anna in Behrangs alte Abteilung und Behrang wiederum in Annas bisherige Abteilung wechselt. Das schreit doch nach einem Erfahrungsaustausch im Lieblingscafé!
Natürlich geht es zuerst um die menschlichen Aspekte der Zusammenarbeit, aber schnell dreht sich das Gespräch um die unliebsamen Dokumente, die die ganze Zeit geschrieben werden müssen. „Behrang, du hast total Glück, deine neue Leiterin Angela ist total pragmatisch“, sagt Anna. „Ihr Motto lautet: ‚Whatever works!’ Genau wie bei mir an der Hochschule habe ich LLMs praktisch im Dauerbetrieb gehabt. Natürlich weiß sie, dass alle Texte mittlerweile mit KI geschrieben werden, aber sie sieht unsere Leistung im Prompting und Kuratieren der Lösung.“ Behrang wundert sich: „Ihr durftet in der Hochschule LLMs einsetzen? Das hätte ich von Mistral gar nicht erwartet.“ Anna zwinkert ihm zu: „Na ja, offiziell dürfen wir es nicht, ich hatte sogar schon mal eine Androhung von Exmatrikulation in der Inbox, weil ich mich etwas dämlich angestellt hatte. Im Praxisblock habe ich dann gelernt, die generierten Texte als Steinbruch für eigene Arbeiten zu nehmen, ein bisschen wie Bastelmaterial für Kreativworkshops. Niemand würde doch Notizzettel und Flipcharts verbieten!“
Behrang hingegen hat bisher weder bei Progressus noch an der Luminous-Hochschule LLMs zu Hilfe genommen, um seine Aufgaben zu bewältigen – und dabei ist seine ehemalige (und Annas zukünftige) Fachbereichsleitung Sam total verrückt nach KI und disruptiver Innovation.
In seinem ersten Praxisblock bekam er von Sam leider keine guten Bewertungen, da er durch seine konventionelle Arbeitsweise seine Aufgaben deutlich langsamer erledigt hat als das gesamte restliche Team, von denen fast alle auch noch das Intranet mit oft auch unqualifizierten und inhaltlich fehlerhaften LLM-generierten Outputs regelrecht fluteten. „Weißt du, wie viel Arbeit ich reinstecken musste, um das Intranet aufzuräumen?“, empört sich Behrang. „Aber das war doch gar nicht deine Aufgabe, oder? Warum verbringst du damit so viel Zeit? Niemand schaut in das Intranet, alle nutzen LLMs!“ – „Nicht alle, Anna, ich eben nicht!“
„Ach, ich hab dir noch gar nicht das unfairste Erlebnis erzählt, das mir in den letzten Jahren passiert ist. Bei der Bearbeitung einer Hausarbeit zu meinem Lieblingsthema wurde mir!“, Behrang zeigt auf sich selbst, „ausgerechnet mir der Einsatz einer KI in 89 Prozent meines Textes vorgeworfen. Zu diesem Thema schreibe ich dir nachts einen Essay! Ich setze KI nie ein.“ Anna versucht, es besser zu verstehen: „Wie kommt denn die Dozentin auf diese krude Zahl von 89 Prozent? Da wurde doch sicher ein KI-Tool eingesetzt zur Bewertung.“ Behrang bestätigt: „Der Dozent hat in der Tat das Hochschul-KI-Checker-System genutzt. Darüber hinaus meinte er aber auch, dass die Hausarbeit ungewöhnlich eloquent und inhaltlich nahezu perfekt sei – was so gar nicht meinen restlichen Leistungen entspräche. Ich brauche den Schein und möchte auch aus Prinzip nicht stehen lassen, dass ich betrogen habe.“
„Und was sagt Gabriele dazu?“, fragt Anna. „Progressus ist noch nicht informiert, das Einspruchsverfahren mit der Vertrauensdozentin läuft noch. Was soll ich denn jetzt tun?“ Behrang ist sichtlich aufgewühlt. Anna schiebt die leere Tasse zur Seite und klappt ihr Notebook auf, öffnet eines ihrer mächtigen LLM-Tools, tippt flink und geübt mit dem Zehnfingersystem einen ausführlichen Prompt ein, PDF-Upload aller prüfungsrelevanten Hochschulverordnungen der Luminous-Hochschule inklusive, und sagt: „Ich werde dir jetzt zeigen, wie dir ein Legal-LLM aus der Patsche helfen kann …“
Fragen:
- Wie ist der Einsatz von KI-Software zur Überprüfung auf KI-generierte Inhalte zu bewerten?
- Wenn erwartet wird, dass für bestimmte Aufgaben LLMs genutzt werden, ist es dann nicht unklug, auf die Nutzung von LLMs zu verzichten?
- Wie könnte der zurzeit im Entstehen zu beobachtende Digital Divide beim Zugang zu und Nutzung von KI-Anwendungen (Nutzungs-Credits, Rechnerressourcen, Bandbreite …) vermieden oder zumindest minimiert werden?
- Welchen Einfluss hat der Effizienzgewinn durch Zentralisierung von Prozessen und Konzentration auf wenige umfangreiche Systeme auf die Resilienz der IT-Landschaft hinsichtlich der Abhängigkeit von Herstellern und Verwundbarkeit?
- Sind klassische Textmuster und Gliederungsvorgaben, die wir in Schule und Studium gelernt haben, möglicherweise den Templates von LLMs sehr ähnlich? Und was bedeutet das für die Funktionalität eines KI-Checkers?
- Wie könnte das Unternehmen Progressus, vertreten etwa durch Gabriele, Angela oder Sam, Behrang helfen, wenn er LLMs partout nicht nutzen möchte?
- Darf das Unternehmen Behrang dazu zwingen, LLMs zu nutzen, genauso wie andere Unternehmen bestimmte Betriebssysteme oder Office-Lösungen erzwingen können?
- Wie ist der Einsatz einer KI zu bewerten, die mögliche Angriffsflächen, Lücken und Inkonsistenzen in einem Gesetzestext aufspürt und Gesetze oder Verordnungen für spezifische Nutzerinteressen, die nicht notwendigerweise ehrenhaft oder im Sinne des Gesetzes sind, auslegt und umdeutet?
Erschienen in .inf 10, Das Informatik-Magazin, Sommer 2025, https://inf.gi.de/10/gewissensbits-ki-checkt-ki-checkt-ki
Kommentare