|
||||
|
Christina B. Class & Gudrun Schiedermeier Fragen:
Erschienen in .inf 14, Das Informatik-Magazin, Sommer 2026. https://inf.gi.de/14/gewissensbits-gut-gemeint doi: 10.18420/inf-2026-14-30 Carsten Trinitis & Stefan Ullrich Generiert? Oder doch gefälscht? KI-Bilder tummeln sich nicht nur auf persönlichen Blogs, sondern auch auf behördlichen Websites und Profilen. Dieses Fallbeispiel zeigt, wie schnell dies negative Reaktionen hervorrufen kann. Alexander hat gerade seinen Master in Informatik mit Schwerpunkt Bildverarbeitung abgeschlossen. In einer Vorlesung zu Informatik und Gesellschaft wurde ein Künstler vorgestellt, der bereits in den 1960er-Jahren mithilfe von Computern generative Bilder erzeugte. Schon damals gab es daraufhin Diskussionen über mögliche Folgen für den Kunstmarkt und die Arbeitswelt. Diese Vorlesungsreihe war ausschlaggebend für seinen Wunsch, mithilfe seiner im Studium erworbenen Fähigkeiten der Gesellschaft etwas zurückzugeben. Wenn der Computer das Leben schon massiv verändert, dann doch zum Guten hin, sagte er sich. Diesem Wunsch folgend schlägt er eine Laufbahn im höheren Dienst einer Landespolizei ein. Weil er ja „was mit KI“ studiert habe, wird er dort beauftragt, ein neu lizenziertes Transkriptionssystem für Berichte zu verbessern. Die früher eingesetzte Software war zwar passabel, jedoch wurde ein neues Softwaresystem eingesetzt, das endlich „KI“ habe, wie man Alexander mitteilt. Es funktioniere „quasi magisch“. Ein Blick auf die neue Software zeigt, dass sie lediglich ein Web-Interface für freie Sprachmodelle darstellt, wie Alexander es auch als Hobby an einem Wochenende aufgesetzt hat. Der Vorteil dieses neuen Systems ist die Erweiterungsmöglichkeit. So programmiert Alexander einen „Kritzel-Assistenten“, der Absätze von Polizeiberichten und Pressemitteilungen als Prompt für eine Bildgenerierung nimmt, wobei der Stil an Bleistiftzeichnungen und Phantombilder erinnern soll. Dieser Assistent ist es auch, der die Neugier seiner Kollegin Nancy weckt. Alexander wird eingeladen, in eine Social-Media-Gruppe namens „Freunde der Polizei“ einzutreten, wo er mit Nancy und anderen Kolleg*innen zusammen die Öffentlichkeit für Belange der Sicherheitskräfte sensibilisieren soll. Zuletzt häuften sich bei Einsätzen leider immer mehr Übergriffe gegen Kolleg*innen, die zum Teil in gewalttätigen Auseinandersetzungen enden. Nancy schlägt daher vor, eine Kampagne ins Leben zu rufen, um die Öffentlichkeit aufzurütteln. Die beiden suchen nach Berichten mit Fotos des letzten gewaltvollen Einsatzes und werden fündig. Auf dem dazugehörigen Bild sitzt ein offensichtlich verletzter Kollege in einem Einsatzwagen und hält sich eine Kompresse an die Wange. „Das ist für Social Media total ungeeignet“, meint Nancy, „das klappt als Share Pic nicht und wirkt auch irgendwie …“, sie sucht nach einem richtigen Wort, „unemotional. Aber vielleicht können wir den Bericht in deine Software geben?“ Der „Kritzel-Assistent“ von Alexander generiert mit dem Prompt des Einsatzberichts eine Bleistiftzeichnung von Polizisten in Helmen auf der einen und vermummten Personen auf der anderen Seite. „Okay, das taugt auch nicht so viel“, gibt Alexander zu, „aber ich kann an der Temperatur schrauben und einen fotorealistischen Filter drüberlegen.“ Gesagt, geklickt – und so erstellen sie schließlich ein Bild eines im Einsatz verletzten Polizeibeamten, der mit Platzwunde am Kopf von Kollegen gestützt weggetragen wird. Mit einem Grafikprogramm platzieren sie die Zeile „KI-generiertes Symbolbild“ – fertig ist das Bild zum Bericht. „Ein angenehmer Nebeneffekt ist der Datenschutz“, freut sich Alexander, „da müssen wir nicht erst um Erlaubnis fragen“. „Ja, und außerdem funktioniert es wirklich viel besser“, bestätigt Nancy. Sie nutzen dieses Bild als Aufhänger für die Social-Media-Kampagne, die erfreulicherweise viral geht. Nach kurzer Zeit kommen die ersten Rückmeldungen aus der Bevölkerung über das Kontaktformular der Pressestelle der Polizei, nicht nur über die Social-Media-Kanäle der „Freunde der Polizei“. Viele begrüßen die Aktion, da sie eindringlich auf ein reales Problem hinweist. Es kommen jedoch auch sehr kritische Rückmeldungen, insbesondere, da das Bild KI-generiert, also gefälscht sei. „Ach Quatsch, gefälscht“, meint Nancy, „die Berichte sind echt. Das Bild ist klar als Symbolbild gekennzeichnet.“ Alexander stimmt ihr zu, er hatte bei seinem „Kritzel-Assistenten“ die Phantomzeichner der Polizei als Vorbild, die ja auch aufgrund von echten Beschreibungen eine fiktive Zeichnung anfertigen, die einer real existierenden Person möglichst ähnlich sehen soll. Für die offizielle Pressemitteilung tauschen sie schließlich das Bild aus, behalten es aber für den Social-Media-Kanal. Mit dieser Lösung sind alle zufrieden. Am Abend schaut Alexander noch die Nachrichten und sieht in einem Bericht, wie staatstreue Medien in autokratischen Ländern politische Gegner mithilfe von KI-generierten Bildern lächerlich machen. Der Folgebericht zeigt den bewaffneten Einsatz in einem solchen Land, wo die Gewalt angeblich von den Demonstrierenden ausging, das leidende Opfer aufseiten der Sicherheitskräfte war jedoch ganz klar KI-generiert. Alexander kann sogar das Wasserzeichen der KI-Software erkennen. „Was für eine manipulative Unverschämtheit dieses Unrechtsregimes!“, sagt er zu sich selbst, fertigt einen Screenshot an und postet genau dies im Social-Media-Kanal der „Freunde der Polizei“. „Wenn es keine echten Opfer gibt, muss man sich wohl welche KI-generieren“, schreibt er und erntet trotz später Stunde ein paar augenrollende Emojis als Reaktion. Fragen:
Erschienen in .inf 13, Das Informatik-Magazin, Frühjahr 2026., https://inf.gi.de/13/ein-bild-luegt-mehr-als-tausend-worte, doi: 10.18420/inf-2026-13-24. Constanze Kurz & Debora Weber-Wulff Mit KI-Werkzeugen ist Code schnell erstellt. Aber wessen Aufgabe ist es, beim Vibe Coding die Qualität im Blick zu behalten? Dieses Fallbeispiel zeigt, wie sich die Verantwortung im Team verschieben kann. Heinz, Lemar und Thomas arbeiten in einem größeren Software-Unternehmen. Heinz ist Chef der Entwicklungsabteilung, Lemar ist eine erfahrene Softwareentwicklerin in einem Team von sieben Leuten. Thomas ist der jüngste Kollege im Team, frisch von der Universität. Nächste Woche ist Messe, da soll das neueste Produkt präsentiert werden. Beim Teamtreffen Anfang der Woche fragt Heinz nach der mobilen App für das Produkt. Die Teammitglieder schauen sich alle gegenseitig an. Lemar sagt: „Davon war bislang nie die Rede, dass wir noch eine App brauchen.“ Heinz widerspricht: „Doch, steht im Pflichtenheft. Das muss bis Samstag fertig werden, wir fahren Sonntag zur Messe!“ Thomas ist bei KI-Werkzeugen ganz groß dabei. Er nutzt mehrere solcher Werkzeuge und ist sehr stolz darauf, wie viel Quellcode er in kürzester Zeit generieren kann. „Das schaffe ich schon mit der KI“, sagt Thomas, nicht ohne Stolz. „Dann leg mal los“, sagt Heinz. Lemar weiß um die Stärken und Schwächen der KI-Werkzeuge, entsprechend setzt sie einige der Werkzeuge ein, wenn auch sparsam. Thomas hat hingegen an nur einem Tag eine App für das Projekt erzeugt. Tests, die ebenfalls teilautomatisiert mit den KI-Werkzeugen erzeugt und durchgeführt wurden, hätten keine Fehler gefunden, freut sich Thomas. „Das gibt bestimmt eine Gehaltserhöhung“, jubelt er. Lemar entdeckt darin sofort etliche Fehler und bekommt von der Teamleiterin Flynn den Auftrag, diese Fehler zu beseitigen. Thomas sei unerfahren, er könne das noch nicht. Lemar ist genervt, sie muss nun den generierten Quellcode aufräumen, Fehler ausmerzen, Tests laufen lassen und dabei sogar generierten Quatsch entfernen, alles per Hand. Und was das für Quellcode-Mengen sind! Denn ganz typisch für KI-generierten Quellcode ist, dass vieles doppelt oder sogar dreifach enthalten ist. Damit wird sie bestimmt noch bis Samstag voll beschäftigt sein. Aber sie schafft es, die App wird auf der Messe stolz vorgeführt. Eigentlich war sie nicht dafür angestellt worden, quasi als „AI slop cleaner“ zu fungieren. Im Retrospektiv-Teammeeting merkt sie an, dass die Fehlerbeseitigung sehr zeitaufwendig gewesen sei. Sie stellt direkt die Frage in den Raum, ob das jetzt der neue Normalzustand sei, dass sie große Mengen von generiertem Code aufräumen müsse. Lemar sagt, auch sie nutze die neuen Werkzeuge, denn sie seien oft praktisch. Aber sie besteht darauf, dass derjenige, der den Code erzeugt, schon noch überblicken und verstehen müsse, was da rauskommt. Sonst entstehe nämlich genau die Situation: Lemar oder andere erfahrene Leute müssten langwierig nachbearbeiten, was Thomas per Klick und Prompt erzeugt habe. Flynn äußert sich verständnisvoll. Sie sagt aber, dass die Anweisung, diese KI-Werkzeuge zu benutzen, von Heinz käme, was nicht in ihre Verantwortung falle. Fragen:
Erschienen in .inf 12, Das Informatik-Magazin, https://inf.gi.de/12/vibe-pruefung, Winter 2025, doi: 10.18420/inf-2025-12-26 Carsten Trinitis, Stefan Ullrich, Christina B. Class, Otto Obert, Gudrun Schiedermeier & Debora Weber-Wulff New tools, new rules? Ist es nötig, die ethischen Leitlinien der Gesellschaft für Informatik in Zeiten generativer KI zu überarbeiten? Eine Bestandsaufnahme. Wie wollen wir als Gesellschaft für Informatik (GI) agieren? Auf welche Werte können wir uns verständigen? Diese Frage treibt den Verein schon seit Jahren um. Zuletzt überarbeitete die Fachgruppe Informatik und Ethik der GI 2017/2018 die ethischen Leitlinien der GI unter der Leitung von Stefan Ullrich, dem damaligen Sprecher der Fachgruppe. Um allen Interessierten eine Beteiligung zu ermöglichen, wurde eine Diskussionsseite eröffnet. Etwa 150 Anregungen und Kommentare gingen ein, die in der Gruppe eingehend diskutiert wurden. Eine wichtige Frage war, ob in dieser aktualisierten Version der Leitlinien konkrete Techniken und Teilgebiete der Informatik wie etwa KI genannt werden sollen – man entschied sich klar dagegen. Konsens war, die Leitlinien allgemein zu halten. Man muss und sollte daher keine Technologie gesondert herausgreifen, um den allgemeinen Anspruch nicht zu verwässern. Heute sind Diskussionen rund um KI, insbesondere in ihrer generativen Form, in allen Feuilletons und auf jeder Social-Media-Plattform zu verfolgen. Nur logisch also, auch die Leitlinien der GI einer erneuten Prüfung zu unterziehen und dabei die Fragen zu stellen, die sich speziell um den Einsatz und die Entwicklung von KI-Lösungen drehen. Wer sich mit der Geschichte der Informatik auseinandersetzt, weiß zudem, dass diese Fragen die Fachleute schon deutlich länger beschäftigt haben. Am Ende des Kapitels „Künstliche Intelligenz“ seines Buches „Die Macht der Computer und die Ohnmacht der Vernunft“ schreibt Joseph Weizenbaum: „Der Schluß, der sich mir aufdrängt, ist hier, daß die relevanten Probleme weder technischer noch mathematischer, sondern ethischer Natur sind. Sie können nicht dadurch gelöst werden, daß man Fragen stellt, die mit ‚können‘ beginnen. Die Grenzen in der Anwendung von Computern lassen sich letztlich nur als Sätze angeben, in denen das Wort ‚sollten‘ vorkommt.“ Bereits heute beinhalten die ethischen Leitlinien der GI viele Aspekte, die direkt auf KI-Systeme anwendbar sind. Schon in der Präambel verpflichten sich die Mitglieder der GI dazu, die Menschenwürde zu achten und zu schützen und das Recht auf informationelle Selbstbestimmung zu befördern. Bereits hieraus ergeben sich Fragen, die sich Informatikfachleute vor Entwicklung und Einsatz von IT-Systemen stellen müssen. Insbesondere dürfen diese soziotechnischen Systeme und aktuellen Entwicklungen nicht isoliert betrachtet werden, sondern mit Blick auf Einsatz und Auswirkungen auf Menschen und Umwelt. Artikel 1 fordert, sich den Stand von Wissenschaft und Technik anzueignen und zu berücksichtigen. Aus Artikel 2 ergibt sich, „Auswirkungen von IT-Systemen im Anwendungsumfeld“ zu beurteilen und „geeignete Lösungen“ vorzuschlagen, daneben die „einschlägigen rechtlichen Regelungen“ zu kennen und zu beachten, und die Bereitschaft, „das eigene und das gemeinschaftliche Handeln im gesellschaftlichen Diskurs kritisch zu hinterfragen und zu bewerten sowie die Grenzen der eigenen Urteilsfähigkeit zu erkennen“. Artikel 10 fordert, „zur Verbesserung der lokalen und globalen Lebensbedingungen“ beizutragen, „Verantwortung für die sozialen und gesellschaftlichen Auswirkungen“ zu tragen und zu „sozial verträglicher und nachhaltiger Verwendung [von IT-Systemen]“ beizutragen. Artikel 11 fordert dazu auf, „die von IT-Systemen Betroffenen an der Gestaltung dieser Systeme und deren Nutzungsbedingungen angemessen zu beteiligen. Dies gilt insbesondere für Systeme, die zur Beeinflussung, Kontrolle und Überwachung der Betroffenen verwendet werden können“. Wenn die Leitlinien auch technologieneutral gehalten sind, so werden im Hinblick auf KI neue Fragen aufgeworfen. „Von IT-Systemen betroffen“ sind ausnahmslos alle, deren Daten im Internet gelandet sind, ob sie es wollten oder nicht, ohne jedoch ausreichende Möglichkeiten zur Mitgestaltung eingeräumt zu bekommen. Zudem droht ein Kontrollverlust durch Delegieren von Aufgaben an eine KI, deren interne Arbeitsweise möglicherweise nur noch von wenigen Fachleuten durchschaut wird. Die ethischen Leitlinien der GI verpflichten Informatikfachleute in diesem Fall, den Entwurf von KI-Systemen besonders aufmerksam zu beobachten, um zu verhindern, dass wichtige Entscheidungen automatisiert und ohne ausreichende menschliche Aufsicht getroffen werden. Klarer Schluss: Die ethischen Leitlinien der GI sind genauso spezifisch auf KI-Systeme anwendbar wie allgemein auf IT-Systeme auch. Sie sind keine Checkliste, sondern erfordern eine ständige Auseinandersetzung mit der Materie. Dazu sind umfassende Bildungs- und Informationsinitiativen nötig, die darauf abzielen, das Verständnis für KI und ihre Auswirkungen in der breiten Bevölkerung zu fördern. Die Werte hinter den Leitlinien und die geforderte Haltung geben eine klare Orientierung. Nun ist nur noch der eigene Mut erforderlich, um Systeme kritisch zu hinterfragen. Im Feld der KI beobachten wir, dass auch solche Systeme entwickelt und mit Wagniskapital versorgt werden, die Menschen diskriminieren, entmündigen oder das soziale und menschliche Miteinander infrage stellen. Besonders Informatikfachleute sind daher dazu aufgerufen, „Stop!“ zu sagen zur Entwicklung von Systemen, die die Auswirkungen auf Mensch, Gesellschaft und Umwelt nicht beachten. Dies betrifft potenziell alle informationstechnischen Systeme – auch und gerade diejenigen, die auf KI basieren und deren zugrunde liegenden Techniken, Methoden und Lösungsstrategien erst noch entwickelt werden. Erschienen in .inf 11, Das Informatik-Magazin, Herbst 2025, https://inf.gi.de/11/update-fuer-die-ethik, DOI: 10.18420/inf-2025-11-21
Über die Autorinnen und Autoren Carsten Trinitis ist Professor für Rechnerarchitektur und Betriebssysteme an der TU München, Campus Heilbronn und stellvertretender Sprecher der Fachgruppe Informatik und Ethik der GI. Stefan Ullrich ist promovierter Informatiker und Philosoph, der sich kritisch mit den Auswirkungen der allgegenwärtigen informationstechnischen Systeme auf die Gesellschaft beschäftigt. Christina B. Class ist seit 2017 Professorin für Informatik an der EAH Jena und stellvertretende Sprecherin des Fachbereichs Informatik und Gesellschaft der GI. Otto Obert ist auf den Gebieten der Digitalethik und KI-Folgenabschätzung tätig – sowohl in seinen Ehrenämtern, etwa seit 1986 in der GI, als auch im Hauptberuf. Gudrun Schiedermeier bietet neben der Mitarbeit in verschiedenen Fachgruppen der GI auch Seminare an der HAW Landshut zu KI und Ethik an. Debora Weber-Wulff ist pensionierte Professorin für Medieninformatik und noch an der HTW Berlin aktiv.
Dominik Pataky & Gudrun Schiedermeier Mit Sensoren und Drohnen Waldbrände vermeiden? Das klingt erst mal nach einer großen Errungenschaft. Aber wenn die Technik plötzlich auch zur Überwachung von Menschen genutzt werden soll, flammen schnell Diskussionen auf. Michael und Daana kommen aus einem Meeting. Sie sind begeistert, dass ihr Produkt zur Früherkennung von Waldbränden vom Nationalpark Eldertree Sanctuary als Gewinner ausgewählt wurde. Der Nationalpark beherbergt seltene und auch besonders alte Bäume und ist sowohl bei den Menschen in der Umgebung als auch bei Besucher*innen beliebt, die von weiter her anreisen. Ihr Produkt, ForestWatch.AI, war eines von vielen Bewerbungen für eine Ausschreibung des Nationalparks. Nun sind sie ein ganzes Stück weiter, ihre technologische Lösung in der Praxis einzusetzen. Tatsächlich ist es nämlich so: Die meisten Waldbrände entstehen fahrlässig oder absichtlich durch Brandstiftung. Klima, Wetter und Trockenheit beeinflussen das Brandgeschehen, sind aber seltener die ursprünglichen Auslöser für Brandherde. Durch die Waldbrände und den damit verbundenen Waldverlust steigen die Treibhausgasemissionen weiter, was wiederum mehr Brände begünstigt und deren Kontrollierbarkeit erschwert. Nicht selten ist für eine Wiederaufforstung ein Zeitraum von mehreren Jahrzehnten notwendig. Deshalb sind eine frühzeitige Erkennung von Waldbränden und das rechtzeitige Löschen zwei kritische Maßnahmen zum Schutz der Wälder. Gleichzeitig wird der Bekämpfung von Brandstiftung eine hohe Priorität eingeräumt, sodass auch hier Lösungen gesucht und Mittel eingesetzt werden sollen. Die beiden haben in ihrem Projektantrag eine Kombination aus verschiedenen Sensoren und Drohnen vorgeschlagen, die alle unterschiedliche Aufgaben erfüllen. Sie haben mit ForestWatch.AI ein Konzept entwickelt, mit dem ein Waldbrand frühzeitig erkannt und bekämpft werden kann, damit erst gar nicht große verheerende Waldbrände entstehen. Mit neuartigen Sensoren, die billig sind und sich fest montieren und breit im Gebiet verteilen lassen, können sie die Gaszusammensetzungen bei Rauchentwicklung erkennen und so die Brände schon früh bei der Entstehung orten. Die Sensoren können wartungsarm betrieben werden, sind sehr zuverlässig, versorgen sich über kleine Solarpanels mit Strom und sind außerdem mit einem langlebigen Akku ausgestattet. Das Sensornetz wird von einem Schwarm Drohnen unterstützt. Diese sind ausgestattet mit Wärmebildkameras und überwachen das Gelände aus der Luft. Eine KI-Software steuert die Drohnen autonom mithilfe eines Geoinformationssystems, wie es bereits in der Agrarindustrie eingesetzt wird. Es führt die Daten aller Sensoren und der Kamerabilder zusammen, wertet sie aus und schickt – sobald ein Brandherd entdeckt wird – automatisch eine Meldung an das zentrale Brandbekämpfungssystem. In der Premiumversion von ForestWatch.AI kann das System bereitstehende Löschdrohnen, die mit einem Wassertank ausgestattet sind, zum Brandherd schicken. Gleichzeitig wird die nächstliegende Feuerwehr informiert. Dank hochpräziser Geodaten und Kamerabilder können die Einsatzkräfte zielgenau den Ort des Geschehens anfahren. Das Sensornetz wird von einem Schwarm Drohnen unterstützt. Diese sind ausgestattet mit Wärmebildkameras und überwachen das Gelände aus der Luft. Eine KI-Software steuert die Drohnen autonom mithilfe eines Geoinformationssystems, wie es bereits in der Agrarindustrie eingesetzt wird. Es führt die Daten aller Sensoren und der Kamerabilder zusammen, wertet sie aus und schickt – sobald ein Brandherd entdeckt wird – automatisch eine Meldung an das zentrale Brandbekämpfungssystem. In der Premiumversion von ForestWatch.AI kann das System bereitstehende Löschdrohnen, die mit einem Wassertank ausgestattet sind, zum Brandherd schicken. Gleichzeitig wird die nächstliegende Feuerwehr informiert. Dank hochpräziser Geodaten und Kamerabilder können die Einsatzkräfte zielgenau den Ort des Geschehens anfahren. Daana ist zwar von ihrem Konzept überzeugt, aber auch noch skeptisch, was den Umfang des Einsatzes der Kameradrohnen angeht. Bisher haben sie das komplette ForestWatch.AI-System noch nicht im Einsatz gehabt und konnten daher noch keine längerfristigen Erkenntnisse sammeln. In der Bewerbungsphase haben die Verantwortlichen des Nationalparks jedoch auf den Einsatz von Wärmekamerabildern bestanden. Aus ihrer Sicht ist der alleinige Einsatz von Rauchsensoren unzureichend, um die riesige Fläche des Nationalparks zu überwachen. Insbesondere müssen Fehlalarme so gut es geht reduziert werden, um keinen unnötigen Personaleinsatz auszulösen. Michael findet das richtig und verteidigt den Einsatz der Drohnen. Zu Daanas Überraschung schlägt er jedoch ein weiteres, bisher nicht besprochenes Feature vor: „Wenn wir schon fliegende Kameras im Einsatz haben, können wir diese doch auch einsetzen, um mögliche Brandstifter zu erkennen. Wir wissen ja, dass die meisten Brände von Menschen verursacht werden. Vielleicht ist die Abschreckung wirksamer, wenn potenzielle Brandstifter wissen, dass es eine Kameraüberwachung gibt. Und wenn alles optimal läuft, können wir die Drohnen auch noch mit Fotokameras ausstatten und via Gesichtserkennungssoftware den Brandstifter erkennen und die Bilder der Polizei zur Verfügung stellen.“ Daana ist entsetzt: „Also, ich würde keinen Nationalpark besuchen, von dem ich weiß, dass ich dort ständig von Kameras überwacht werde. Was soll denn das für eine Erholung sein, wenn ich mich dauernd beobachtet fühle? Willst du vielleicht auch noch die Gespräche der Besucher aufzeichnen und mit KI auswerten, ob sie ein Verbrechen planen? Du spinnst ja! Komm mal wieder auf den Boden der Tatsachen. Zunächst müssen wir uns um die Sensoren kümmern. Solche, wie wir sie vorgeschlagen haben, gibt es in der Menge ja noch gar nicht. Verwende deine Energie mal lieber darauf.“ Allerdings lässt sich Michael von seiner Idee kaum abbringen: Wenn man mit der zusätzlichen Kameraüberwachung auch nur einen einzigen Waldbrand verhindern kann, sei das doch eine gute Sache, oder? Fragen:
Erschienen in .inf 11, Das Informatik-Magazin, Herbst 2025, https://inf.gi.de/11/gewissensbits-erholung-nur-unter-aufsicht,DOI: 10.18420/inf-2025-11-30 Otto Obert, Stefan Ullrich Welcher KI-Agent prüft eigentlich den KI-Checker, der in Texten nach KI-generiertem Material sucht? Ein Fallbeispiel, das – wie immer – zum Nachdenken anregt. Anna und Behrang kommen aus dem gleichen kleinen Ort und kennen sich schon seit dem Kindergarten. Sie sind bis heute sehr gut befreundet und haben sich nicht ganz zufällig im gleichen Unternehmen namens Progressus erfolgreich für ein duales Studium beworben. Bedingt durch ihre unterschiedlichen Ausbildungsschwerpunkte erfolgt der akademische Teil der Ausbildung an verschiedenen Hochschulen. Wie im dualen Studium üblich, sind beide jeweils für drei Monate im sogenannten Praxisblock bei Progressus und anschließend für den Studienblock an ihrer jeweiligen Hochschule. Anna studiert dabei an der Mistral-Hochschule, Behrang an der Luminous-Hochschule. Progressus erschien beiden besonders attraktiv, nicht nur, weil der Firmensitz in einem eher beschaulichen Ort in der Nähe ihrer Familien und genau zwischen zwei als „Innovative Universities of Applied Sciences“ ausgezeichnete Hochschulen liegt. Auch die Verbindung von einem klassischen Betrieb mit gleichzeitiger Offenheit gegenüber innovativen Technologien und Arbeitsweisen, darunter dem Einsatz von Assistenzsystemen, die auf generativer KI basieren, zeichnet Progressus in den Augen der beiden besonders aus. Zudem schätzen Anna und Behrang die Möglichkeit des mobilen Arbeitens und die positive Fehlerkultur. Auch die Kolleg*innen und Vorgesetzten sind sehr wertschätzend und zudem bekommen die beiden jederzeit Hilfe von Gabriele, ihrer Betreuerin aus der Progressus-Personalabteilung. Beide haben bereits einen Praxis- und einen Hochschulblock absolviert und stehen aktuell vor dem zweiten Praxisblock. Sie haben festgestellt, dass Anna in Behrangs alte Abteilung und Behrang wiederum in Annas bisherige Abteilung wechselt. Das schreit doch nach einem Erfahrungsaustausch im Lieblingscafé! Natürlich geht es zuerst um die menschlichen Aspekte der Zusammenarbeit, aber schnell dreht sich das Gespräch um die unliebsamen Dokumente, die die ganze Zeit geschrieben werden müssen. „Behrang, du hast total Glück, deine neue Leiterin Angela ist total pragmatisch“, sagt Anna. „Ihr Motto lautet: ‚Whatever works!’ Genau wie bei mir an der Hochschule habe ich LLMs praktisch im Dauerbetrieb gehabt. Natürlich weiß sie, dass alle Texte mittlerweile mit KI geschrieben werden, aber sie sieht unsere Leistung im Prompting und Kuratieren der Lösung.“ Behrang wundert sich: „Ihr durftet in der Hochschule LLMs einsetzen? Das hätte ich von Mistral gar nicht erwartet.“ Anna zwinkert ihm zu: „Na ja, offiziell dürfen wir es nicht, ich hatte sogar schon mal eine Androhung von Exmatrikulation in der Inbox, weil ich mich etwas dämlich angestellt hatte. Im Praxisblock habe ich dann gelernt, die generierten Texte als Steinbruch für eigene Arbeiten zu nehmen, ein bisschen wie Bastelmaterial für Kreativworkshops. Niemand würde doch Notizzettel und Flipcharts verbieten!“ Behrang hingegen hat bisher weder bei Progressus noch an der Luminous-Hochschule LLMs zu Hilfe genommen, um seine Aufgaben zu bewältigen – und dabei ist seine ehemalige (und Annas zukünftige) Fachbereichsleitung Sam total verrückt nach KI und disruptiver Innovation. In seinem ersten Praxisblock bekam er von Sam leider keine guten Bewertungen, da er durch seine konventionelle Arbeitsweise seine Aufgaben deutlich langsamer erledigt hat als das gesamte restliche Team, von denen fast alle auch noch das Intranet mit oft auch unqualifizierten und inhaltlich fehlerhaften LLM-generierten Outputs regelrecht fluteten. „Weißt du, wie viel Arbeit ich reinstecken musste, um das Intranet aufzuräumen?“, empört sich Behrang. „Aber das war doch gar nicht deine Aufgabe, oder? Warum verbringst du damit so viel Zeit? Niemand schaut in das Intranet, alle nutzen LLMs!“ – „Nicht alle, Anna, ich eben nicht!“ „Ach, ich hab dir noch gar nicht das unfairste Erlebnis erzählt, das mir in den letzten Jahren passiert ist. Bei der Bearbeitung einer Hausarbeit zu meinem Lieblingsthema wurde mir!“, Behrang zeigt auf sich selbst, „ausgerechnet mir der Einsatz einer KI in 89 Prozent meines Textes vorgeworfen. Zu diesem Thema schreibe ich dir nachts einen Essay! Ich setze KI nie ein.“ Anna versucht, es besser zu verstehen: „Wie kommt denn die Dozentin auf diese krude Zahl von 89 Prozent? Da wurde doch sicher ein KI-Tool eingesetzt zur Bewertung.“ Behrang bestätigt: „Der Dozent hat in der Tat das Hochschul-KI-Checker-System genutzt. Darüber hinaus meinte er aber auch, dass die Hausarbeit ungewöhnlich eloquent und inhaltlich nahezu perfekt sei – was so gar nicht meinen restlichen Leistungen entspräche. Ich brauche den Schein und möchte auch aus Prinzip nicht stehen lassen, dass ich betrogen habe.“ „Und was sagt Gabriele dazu?“, fragt Anna. „Progressus ist noch nicht informiert, das Einspruchsverfahren mit der Vertrauensdozentin läuft noch. Was soll ich denn jetzt tun?“ Behrang ist sichtlich aufgewühlt. Anna schiebt die leere Tasse zur Seite und klappt ihr Notebook auf, öffnet eines ihrer mächtigen LLM-Tools, tippt flink und geübt mit dem Zehnfingersystem einen ausführlichen Prompt ein, PDF-Upload aller prüfungsrelevanten Hochschulverordnungen der Luminous-Hochschule inklusive, und sagt: „Ich werde dir jetzt zeigen, wie dir ein Legal-LLM aus der Patsche helfen kann …“ Fragen:
Erschienen in .inf 10, Das Informatik-Magazin, Sommer 2025, https://inf.gi.de/10/gewissensbits-ki-checkt-ki-checkt-ki, DOI: 10.18420/inf-2025-10-26
Christina B. Class, Carsten Trinitis, Anton Frank Die Digitalisierung kann Prozesse vereinfachen und Kosten einsparen, unter anderem in Hochschulen. Dieses Fallbeispiel zeigt jedoch, dass Veränderung nicht immer Verbesserung heißt. Die Neue Technische Hochschule (NTH) in Neuhausen ist dreißig Jahre alt und hat knapp 5.000 Studierende. Sie leidet, wie auch andere Bildungseinrichtungen, unter stagnierenden Studierendenzahlen und knapp werdenden Finanzen. Wolfram, der neue Präsident der Hochschule, hat eine Antwort: Kosteneinsparung durch eine Vereinheitlichung der Softwaresysteme, durchgängige Digitalisierung und Zentralisierung der Hochschulverwaltung, insbesondere der studentischen Angelegenheiten. Sönke, Vizepräsident für Digitalisierung und Dekan der Informatikfakultät, reagiert recht zurückhaltend. Er ist seit acht Jahren Professor für Sicherheit in der Informationstechnik und stellt das versprochene Einsparpotenzial infrage. Er wird jedoch überstimmt und übernimmt als Vizepräsident die Projektleitung vonseiten der Hochschule. Fatma hat vor drei Jahren zusammen mit Max die Beratungsfirma NurNochDigital GmbH gegründet. Unter dem Motto „Sorgenfrei in die Digitale Zukunft“ begleiten sie Digitalisierungsprojekte mit einem Rundum-sorglos-Paket: von der Planung der Projekte, Evaluation von Angeboten bis zur Beschaffung und Einführung der ausgewählten Software. Mittlerweile haben sie acht Angestellte: Die meisten der betreuten Projekte sind aber eher noch klein und sie brauchen dringend ein oder zwei größere Vorzeigeprojekte. Da kommt die Ausschreibung für die Betreuung des Digitalisierungsprojekts an der NTH gerade recht. Fatma und Max kennen sich nicht wirklich mit den Prozessen einer Hochschule und deren Anforderungen aus, aber nach einiger Recherche und Kontakten mit Anbietern verschiedener Softwarelösungen auf dem Markt erstellen sie ein Angebot. Sie sind zuversichtlich, dass sie eine solide Kalkulation erstellt haben und das Projekt wie beschrieben mit Gewinn durchführen können. So schwer kann das doch nicht sein! Ihr Angebot erhält den Zuschlag. Drei Monate später Das Projekt ist angelaufen. Vonseiten der NurNochDigital hat Fatma die Verantwortung übernommen und ist gerade ziemlich genervt. Heute Morgen hatten sie wieder eine anstrengende Sitzung, diesmal mit Sönke, dem Leiter des Prüfungsamts und zwei Studiendekanen. Sie haben die Vorstellung der Verwaltungssoftware „SmartUniversity“ der Firma SUS AG von letzter Woche ausgewertet. Die Software kam gar nicht gut weg: Ihre spezifischen Prozesse sowie die verschiedenen Studien- und Prüfungsordnungen und unterschiedliche Zeitmodelle für Studierende könnten nicht ausreichend abgebildet werden. Dann hat sich auch noch Sönke gemeldet: „Wie werden denn die Daten im System verschlüsselt? Und wie die Zugriffsrechte verwaltet?“ Und dann hat er auch noch nach den Back-ups gefragt. Als die Sprache auf den kürzlichen, viel diskutierten Vorfall einer Ransomware an einer Universität kam, bei dem prüfungsrelevante Informationen verloren gingen und Klagen eingereicht wurden, wäre Fatma am liebsten einfach gegangen. Darum müssten sich die kümmern, die solche Softwarelösungen anbieten. Sie seien dafür jedenfalls nicht verantwortlich. Weitere acht Monate später Fatma blickt auf die Uhr. In einer halben Stunde beginnt die Krisensitzung mit der Hochschulleitung. Die letzten Monate waren sehr anstrengend. Nach viel Hin und Her und dem finalen Wort des Präsidenten wurde die Entscheidung für „SmartUniversity“ getroffen. Für die beschriebene Funktionalität war die Software unschlagbar günstig und versprach eine durch KI gestützte Optimierung der Prozesse. Anonymisierte und aggregierte Daten werden halbjährlich an die Firma weitergeleitet und zum Training genutzt. Das hat letztlich überzeugt, versprach es doch weiteres Einsparpotenzial. Zu Anfang des Projekts hat Fatma noch alle Betroffenen eingebunden, aber das war irgendwann zu viel. Zusammen mit Volker von der SUS AG hatte sie daher entschieden, dass nur noch ausgewählte Personen eingebunden werden, um die Prozesse zu definieren, die anderen müssten sich dann eben anpassen. Das hat zwar Unmut erzeugt, aber letztlich konnte die Software rechtzeitig zu Semesterbeginn eingeführt werden. Die KI-basierte Optimierung der Prozesse mussten sie allerdings abschalten: Die vorgeschlagene Optimierung änderte Fristen für Studierende, sodass die Prozesse nicht mehr konform mit der Studien- und Prüfungsordnung waren. Zum Glück ist das rechtzeitig vor der Freischaltung aufgefallen, hat aber intern zu Unruhe geführt. Und dann das: Vor zwei Tagen wurde in einer Fachzeitschrift ein Bericht veröffentlicht und in der Presse aufgegriffen. Anonymisierte Daten zweier Kunden der SmartUniversity-Software wurden einem Verein zum Schutz digitaler Daten zur Verfügung gestellt. Im Artikel wurde beispielhaft aufgezeigt, wie leicht Teile personenbezogener Daten wiederhergestellt werden können, sofern der Name der Hochschule bekannt ist. Sönke hat den Bericht umgehend an die Hochschulleitung weitergeleitet. Seine anfängliche Skepsis hat sich damit offensichtlich als begründet erwiesen. Gespannt fragt er sich nun, wie sich Fatma und Volker im Gespräch wohl aus der Affäre ziehen werden. Fragen:
Erschienen in .inf 09, Das Informatik-Magazin, Frühjahr 2025, https://inf.gi.de/09/gewissensbits-alles-wird-besser, DOI: 10.18420/inf-2025-09-24 Fragen:
Erschienen in .inf 08, Das Informatik-Magazin, Winter 2024, https://inf.gi.de/08/meine-beste-freundin-emily DOI: 10.18420/inf-2024-08-26 |
||||
|
Copyright © 2026 GI-Fachgruppe Informatik und Ethik - CC-BY-SA
Powered by WordPress & Atahualpa |
||||
Beiträge als RSS abonnieren
Kommentare