Archiv

Neues Buch: Gewissensbisse

Unser zweites Buch, Gewissensbisse – Fallbeispiele zu ethischen Problemen der Informatik, ist 2023 erschienen mit 50 ausgewählten Fallbeispielen. Diese wurden mit Schlagworten indiziert. Die Open Access Publikation wurde durch das Weizenbaum-Institut e. V. unterstützt.

Gewissensbisse: Cover illustration, mit Januskopf Abstrakt:

Die vielfältigen Möglichkeiten moderner IT-Systeme bringen drängende ethische Probleme mit sich. Neben der offensichtlichen Frage nach einer moralisch tragbaren Verwendung von Informationstechnologien sind ebenso die Aspekte des Entwerfens, Herstellens und Betreibens derselben entscheidend. Die Beiträge setzen sich mit dem Konfliktpotenzial zwischen Technik und Ethik auseinander, indem sie lebensnahe Fallbeispiele vorstellen und fragenbasiert zur Diskussion einladen. Damit liefern sie eine praktische Herangehensweise zum gemeinsamen Nachdenken über moralische Gebote und ethischen Umgang mit IT-Systemen und ihren Möglichkeiten. Der Band eignet sich damit in hervorragender Weise zum Vermitteln und Erlernen von ethischer Reflexions- und Handlungskompetenz in der Informatik sowie im Umgang mit IT-Technologien überhaupt.

Class, C. B., Coy, W., Kurz, C., Obert, O., Rehak, R., Trinitis, C., Ullrich, S., & Weber-Wulff, D. (Eds.). (2023). Gewissensbisse—Fallbeispiele zu ethischen Problemen der Informatik. transcript Verlag. https://doi.org/10.14361/9783839464632

Gebundenes Buch: 29. Juni 2023, 240 Seiten, ISBN: 978-3-8376-6463-8
Digitalfassung: 6. Juli 2023, 240 Seiten, ISBN: 978-3-8394-6463-2, Dateigröße: 2.46 MB

 

Fallbeispiel: Im seelsorgerischen KI-Gespräch

Debora Weber-Wulff, Constanze Kurz

In kirchlichen Gemeinden fehlt es heutzutage oft an Menschen, die Seelsorge leisten können. Kann eine KI hier die Lösung sein?

Im ländlichen Raum spitzt sich die Lage immer mehr zu: Es gibt kaum Pastorinnen oder Pastoren, die seelsorgerisch tätig sind. Das Start-up KI-Talks will daher eine KI mit einem besonderen Textkorpus trainieren, sodass diese in der Seelsorge eingesetzt werden kann.

Matthias, der Geschäftsführer von KI-Talks, ist bei einem Team-Meeting voller Enthusiasmus. „Wir können die schon vortrainierte KI LLaMA von Meta nehmen und sie mit bestimmten Texten weiter trainieren. Also nicht nur mit Texten aus der Bibel und viel theologischer Literatur – wir könnten auch gleich alle Predigten, die im Internet auf Deutsch zu finden sind, in die Trainingsdaten geben.“ Er denkt außerdem darüber nach, ob es sinnvoll wäre, ältere Bibelübersetzungen hinzuzunehmen.

Oktay, Senior Engineer bei KI-Talks, fragt in die Runde, warum es denn eigentlich nur christliche Texte sein sollen. Sollte nicht auch der Koran hinein? Und die vielen jüdischen Auslegungen der Tora? Er fragt auch: „Sollten wir nicht gleich mehrere verschiedene LLaMAs trainieren? So können die Leute auswählen, welches sie haben wollen. Vielleicht gibt es sogar einen Vergleichsmodus, wo man sehen kann, was der Iman meint, was der Rabbi oder was die Pastorin?“

Emma, Frontend Engineer bei KI-Talks, schnaubt: „Ihr glaubt wohl, es gibt nur eine Auslegung? Was ist mit feministischer Theologie? Und dann müssen wir auch die ganzen Fundamentalisten mit ihren wortgetreuen Bibelauslegungen beachten: Sollen die auch abgebildet werden? Und kann LLaMA die wirklich alle auseinanderhalten? Es gibt auch weitere Religionsunterschiede: Ich glaube, die Katholiken sehen die Welt ein bisschen anders als die Lutheraner.“

Matthias wirft ein, dass man die Varianten sehr wohl unterscheiden könne. Ähnlich wie beim Segensroboter BlessU-2 [1], bei dem man die Art des Segens (Ermutigung, Erneuerung, Begleitung oder traditionell) auswählen kann, sollte man zum Beginn des Gesprächs einfach auf den gewünschten Religionsknopf klicken.

Emma meint, es sei überhaupt nicht klar, ob man verschiedene Religionsvarianten automatisch auseinanderhalten kann. Gerade bei der Unterscheidung von Fundamentalismus und weniger radikalen Auslegungen werde ein Knopfdruck nicht ausreichen, da brauche man eher einen Schieberegler. Auf jeden Fall müsse man erst einmal ausprobieren, ob so etwas überhaupt möglich sei.

Wo sei da eigentlich die Grenze, fragt sie noch, bevor Matthias versucht zu besänftigen. Er wirft ein: „Leute, mal das alles beiseite, habt ihr im Studium etwa nichts über Eliza von Joseph Weizenbaum gelernt? Das ist doch der erste Chatbot gewesen! Eliza hat Psychoanalytik betrieben – im Grunde ist das nur Zuhören und Gesagtes an den Menschen zurückspiegeln. Mehr ist Seelsorge auch nicht, nur ein bisschen zuhören, so tun, als ob man versteht, und damit die Menschen dazu bringen, selber einzusehen, was sie nun tun sollen.“

Emma kann sich zwar erinnern, dass im Studium auch etwas Kritisches zu Eliza gesagt worden war, aber sie weiß nicht mehr genau, was das war. Sie wirft noch ein, dass die Firma bereits so etwas Ähnliches gemacht hat: Es gibt doch deren KI-gestützten persönlichen Coach. Vielleicht könnten sie auch die Tests von damals verwenden. Aber sie besteht darauf, eine sehr breite Basis an theologischen Texten für das Training zu verwenden.

Oktay möchte viel Zeit in das Testen investieren, denn er glaubt, dass es problematische Gespräche geben kann. Man müsse viel Feedback von Menschen sammeln, die mit dem Chatbot sprechen, um zu verhindern, dass sich jemand nach einem Gespräch vielleicht etwas antut. Das ist schon bei anderen Chatbots passiert. [2]

Matthias sieht keinen Sinn in zu vielen Tests. Das kann man in späteren Versionen nachjustieren. „Wir müssen nur zuerst am Markt sein, dann können wir Zeit in Nachbesserungen stecken“, sagt er. Er entwirft nun einen straffen Zeitplan, denn er ist sich sicher: Auf den Chatbot von KI-Talks hat die Welt gewartet. Man müsse sich schon deswegen beeilen, weil die seelsorgerische Not mit jedem Tag wachse. Und ein gutes Geschäft könne man dabei sicher auch machen. Er wird gleich morgen einen Termin mit der Marketingfirma vereinbaren, die sie bei der Markteinführung unterstützen könnte.  

Fragen:

  • Ist es ein ethisches Problem, dass Matthias, ­Oktay und Emma beruflich einen Chatbot für die Seelsorge trainieren und programmieren wollen, obwohl offenbar niemand plant, Fachleute für Seelsorge oder Religion hinzuzuziehen?
  • Ist es ethisch problematisch, wenn man mit einer bot-basierten Technologie Gewinn aus den seelsorgerischen Nöten der Menschen erzielen will?
  • Müssen technische Systeme für Seelsorge mit besonderer Sorgfalt bedacht werden? Warum oder warum nicht?
  • Ist es ethisch vertretbar, überhaupt einen Seelsorge-Chatbot erstellen zu lassen? Macht es einen Unterschied, ob man mit einem Menschen kommuniziert oder einem Bot?
  • Sollten seelsorgerische Anwendungen ­kontrolliert werden, wenn sie potenziell eine Gefahr für Menschen darstellen könnten? Ist das überhaupt möglich?
  • Wie könnte die Qualität von solchen Chatbots getestet und kontrolliert werden?

Quellen:

[1] https://www.youtube.com/watch?v=XfbrdCQiRvE sowie ein Artikel, der leider nur noch im Internet-Archiv verfügbar ist

[2] https://de.euronews.com/next/2023/04/02/chatbot-eliza-ki-selbstmord-belgien

Erschienen in .inf 04. Das Informatik-Magazin, Winter 2023,  https://inf.gi.de/04/gewissensbits-im-seelsorgerischen-ki-gespraech

Scenario: Knowledge as a Weapon

Carsten Trinitis, Anton Frank

IT can work wonders, but it can also become a weapon of war. This raises difficult moral questions, especially when it comes to choosing an employer.

Johanna is a student at a renowned university in southern Germany, where she has just defended her master’s thesis in computer science. Her thesis deals with automatic image recognition in poor weather conditions using machine learning.

From early childhood on, her parents raised her to handle nature with care, so she is absolutely euphoric over the fact that she is able to apply what she learned at university and in her master’s thesis to environmental protection. She has already been in contact with a start-up that specializes in early detection of forest damage aided by AI-controlled drones.

Recently, however, Johanna received an extremely lucrative job offer from a company in southern Germany that specializes in image recognition and automatic control of military drones. Even though the job sounds very appealing and is closely related to the topic of her master’s thesis, she rejects the offer outright because she hails from a pacifist family. Her parents demonstrated with prominent members of the peace movement back in the 1980s. They certainly would never talk to her again if she took a job in the arms industry!

At the commencement ceremonies for her graduating class, Johanna meets fellow student Volodymyr, who has been studying at the same school for two semesters. He’s really interested in her research because he also wants to specialize in the same field and has already completed an internship working on the military use of drones. Volodymyr had to leave his original university after five semesters because his home country was attacked by a neighboring country and regular instruction was no longer possible. He invites Johanna to come to the weekly get-together of his fellow refugees.

There she meets Julija and Oleksandr, who tell her about their family situations and the dangers they and their compatriots who have fled their homes still face to this day. The unspeakable suffering and dangers of the conflict there become more real and slowly take on names and faces for Johanna. Over the course of the evening, Johanna is increasingly confronted with the accusation that her country is not providing enough support, including in the military sphere. Her pacifist arguments fall on deaf ears, and she is told in detail how much less suffering would be caused if the invaded country were equipped with the appropriate reconnaissance and defense technology.

Johanna is reminded of the offer from the military technology company that she’s already turned down. After much hesitation, Johanna is just about to tell the others about the job offer when Alexei joins the group. He, too, was recently forced to flee his home country because he tried to speak up for the LGBTQ community. His country is the one that attacked Volodymyr’s. He talks about his parents who are living in the border zone and the way a neighbor’s house was recently destroyed in a drone attack that killed the father of the family living there. Following a brief round of goodbyes, Johanna—visibly shaken—makes her way home. She rifles through the mailbox, looking for the job offer, and reads it again. It just leaves her filled with cluelessness and despair.

Authors’ note: We want to make this clear—we know that there are political answers to many of the questions posed here. We, however, are strictly concerned with the ethical dimensions of these questions.

Questions:

  • Should Johanna follow her parents’ lead and dismiss out of hand any job that involves military production?
  • What does it take to have a clear conscience about the environment? Is it enough to place your own personal research in the service of environmental protection?
  • How should Johanna act towards Volodymyr? Should she share with him her research results even if she knows he may use them for military purposes?
  • Is military aid to protect the people in Volodymyr’s homeland justified, even if it potentially endangers Alexei’s parents?
  • In this case, wouldn’t it be better to do everything humanly possible to help the invaded country?
  • How far should this aid go—humanitarian, military, …?
  • How do we assess the ethics of a technology that may be designed primarily for the purpose of protecting human life, but which might also lead to people being killed?
  • Would research into military solutions be justified if Johanna were able to guarantee that such drones were used exclusively for defense purposes and not for attacks?
  • Should research into dual-use goods be dismissed altogether simply because the potential for misuse exists?

Published in .inf 03. Das Informatik-Magazin, Fall 2023, https://inf.gi.de/03/gewissensbits-wenn-wissen-zur-waffe-wird

Translated from German by Lillian M. Banks

Fallbeispiel: Wenn Wissen zur Waffe wird

Carsten Trinitis und Anton Frank

Informatik bewirkt viel Gutes, sie kann aber auch zur Waffe werden. Gerade bei der Wahl des Arbeitgebers stellen sich daher schwierige moralische Fragen.

Johanna studiert an einer renommierten süddeutschen Universität und hat gerade ihre Masterarbeit im Fach Informatik erfolgreich verteidigt. Darin hat sie sich mit dem Thema automatische Bilderkennung unter schlechten Wetterbedingungen mithilfe von maschinellem Lernen beschäftigt.

Weil sie von ihren Eltern seit ihrer Kindheit zu einem sorgsamen Umgang mit der Natur erzogen wurde, freut sie sich voller Euphorie darauf, das in Studium und Masterarbeit erworbene Wissen im Bereich des Umweltschutzes einsetzen zu können. Hierzu ist sie bereits in Kontakt mit einem Start-up, das sich auf die Früherkennung von Waldschäden mithilfe von automatischen, KI-gesteuerten Drohnen spezialisiert hat.

Kürzlich hat Johanna allerdings noch ein äußerst lukratives Jobangebot einer Firma aus dem süddeutschen Raum erhalten, die sich auf Bilderkennung und automatische Steuerung von militärischen Drohnen spezialisiert hat. Auch wenn die Aufgabe sehr reizvoll klingt und inhaltlich sehr eng mit ihrer Masterarbeit verbunden ist, verwirft sie dieses Angebot sofort, da sie aus einem pazifistischen Elternhaus stammt. Ihre Eltern haben bereits in den Achtzigern mit prominenten Mitgliedern der Friedensbewegung demonstriert. Sie würden bestimmt nicht mehr mit ihr reden, wenn sie einen Job in der Rüstungsindustrie annehmen würde!

Auf der Abschlussfeier ihres Semesterjahrgangs lernt Johanna ihren Kommilitonen Volodymyr kennen, der seit zwei Semestern an ihrer Universität studiert. Er zeigt sich sehr interessiert an ihren Forschungen, weil er sich ebenfalls auf dieses Thema spezialisieren möchte und sich in einem Praktikum bereits mit dem militärischen Einsatz von Drohnen beschäftigt hat. Volodymyr musste nach fünf Semestern seine Universität verlassen, da sein Heimatland vom Nachbarland angegriffen wurde und kein regulärer Lehrbetrieb mehr möglich war. Er lädt Johanna ein, zum wöchentlichen Stammtisch seiner geflüchteten Landsleute zu kommen.

Dort lernt sie Julija und Oleksandr kennen, die ihr von der Situation ihrer Familien und den Gefahren, denen die Familien der geflüchteten Landsleute immer noch ausgesetzt sind, erzählen. Das unsägliche Leid und die Gefahren des dort herrschenden Konflikts werden realer und bekommen für Johanna langsam Namen und Gesichter. Im Laufe des Abends sieht sich Johanna zunehmend mit dem Vorwurf konfrontiert, dass ihr Land nicht genügend Unterstützung leiste, auch im militärischen Bereich. Ihre pazifistische Argumentation stößt auf taube Ohren, und man erläutert ihr ausführlich, wie viel weniger Leid doch entstehen würde, wenn das überfallene Land mit entsprechender Aufklärungs- und Abwehrtechnik ausgestattet wäre.

Da kommt Johanna das bereits verworfene Angebot der Militärtechnikfirma wieder in den Sinn. Als sie nach langem Zögern schon darüber nachdenkt, den anderen davon zu erzählen, stößt Alexej zu der Runde. Auch er musste kürzlich aus seinem Heimatland fliehen – dem Land, das das Heimatland von Volodymyr angegriffen hat. Alexej musste jedoch fliehen, weil er versucht hat, der dortigen LGBT-Community eine Stimme zu geben. Er erzählt von seinen Eltern, die im Grenzgebiet wohnen und dass dort erst kürzlich eine abgeschossene Drohne das Haus der Nachbarn zerstört und den Familienvater getötet hat. Nach einer kurzen Verabschiedung geht Johanna sichtlich verstört nach Hause. Sie durchsucht ihr Postfach nach der Mail mit dem Jobangebot und liest es sich noch mal durch. Bei ihr machen sich Ratlosigkeit und Verzweiflung breit.

Anmerkung der Autoren: Wir möchten ­klarstellen, dass viele der gestellten Fragen auch politisch beantwortet werden können. Uns geht es hier aber einzig und allein um die ethische Dimension dieser Fragen.

Fragen:

  • Soll Johanna sich an ihren Eltern orientieren und konsequent ablehnen, an militärischen ­Produkten zu arbeiten?
  • Reicht es aus, die eigene Forschung in den Dienst des Umweltschutzes zu stellen, um ein reines ­Gewissen zu haben?
  • Wie soll sich Johanna ihrem Kommilitonen gegenüber verhalten? Ist es richtig, ihre Forschungsarbeiten mit ihm zu teilen, auch wenn es ihm ermöglicht, sie für militärische Zwecke einzusetzen?
  • Ist die militärtechnische Hilfe zum Schutz der ­Menschen in Volodymyrs Heimatland gerechtfertigt, auch wenn diese Alexejs Eltern potenziell gefährdet?
  • Ist es in diesem Fall doch besser, alles Erdenkliche zu tun, um dem überfallenen Land zu helfen?
  • Wie weit soll diese Hilfe gehen – humanitär, ­militärisch, …?
  • Wie ist eine Technologie ethisch zu bewerten, die zwar primär der Verteidigung und damit dem Schutz von Menschenleben dient, trotzdem aber auch dazu führen kann, dass Menschen getötet werden?
  • Wäre die Erforschung militärtechnischer Lösungen zu rechtfertigen, wenn Johanna sicherstellen kann, dass solche Drohnen ausschließlich zur Verteidigung und nicht zum Angriff genutzt werden können?
  • Ist Forschung an Gütern mit doppeltem ­Verwendungszweck (dual use goods) wegen einer möglicherweise missbräuchlichen Verwendung ­grundsätzlich abzulehnen?

Erschienen in .inf 03. Das Informatik-Magazin, Herbst 2023, https://inf.gi.de/03/gewissensbits-wenn-wissen-zur-waffe-wird

Aktuelles Stichwort: Verantwortung

aus den Ethischen Leitlinien 2004:

Verantwortung

1. Individuell

Ethik befasst sich mit dem vorbedachten Handeln von Menschen, die die Folgen ihres Handelns für andere Menschen, ihre Mitgeschöpfe und die Umwelt reflektieren. Hierbei können die Folgen des Handelns unmittelbar oder über längere Zeiten und größere Räume zu bedenken sein. Was der einzelne Mensch hinsichtlich dieser Handlungsfolgen und der moralischen Bewertung der Handlung selbst bedenken und beeinflussen kann, obliegt seiner individuellen Verantwortung. Eine Definition von Verantwortung beinhaltet mindestens folgende Komponenten:

jemand ist verantwortlich -> Personen, Korporationen etc.
für etwas -> Folgen
gegenüber einem Adressaten -> Betroffene
vor einer Instanz -> Sanktions- und/oder Urteilsinstanzen
in Bezug auf Kriterien -> Normen, Werte
im Rahmen eines bestimmten Kontextes -> Verantwortungs- und/oder Handlungsbereiche

Da Menschen die Folgen ihres Handelns nicht immer abschätzen können, sollten Entscheidungen stets so getroffen werden, dass sie widerrufbar sind und korrigierbar bleiben. Damit wird der Handlungsspielraum aller Beteiligten erweitert und nicht von vornherein alternativlos eingeschränkt.

2. Gemeinschaftlich

Für den einzelnen Menschen sind die Folgen gemeinschaftlichen Handelns in Organisationen, Gruppen, Wirtschaften und Kulturen nicht immer überschaubar. Gemeinschaftliches Handeln bedarf deshalb zusätzlich zur individuellen der gemeinschaftlichen Reflexion. Gemeinschaftliche Verantwortung beruht auf der Möglichkeit, mit Vor-Sicht künftige Handlungen, die sich nicht oder nur teilweise an Erfahrungen und daraus entwickelten Normen orientieren können, gemeinschaftlich zu bedenken. Eine besondere Notwendigkeit solcher Reflexion ergibt sich immer dann, wenn individuelle Ansprüche mit jenen einer Gemeinschaft in Konflikt geraten, die Handlungsmöglichkeiten einzelner Personen nicht ausreichen oder eindeutige Verantwortungszuweisungen nicht möglich sind. Diskurse sind mögliche Verfahren der gemeinschaftlichen Reflexion über Verantwortungsfragen.

Fallbeispiel: Die Rentnerin und der Roboter

Heutzutage gehören moderne Technologien für viele ältere Menschen genauso zum Alltag wie für jüngere. Trotzdem gibt es gerade bei Pflegebedürftigen einige schwierige Fragen zu beantworten.

Thure Dührsen und Gudrun Schiedermeier

Was zunächst vielversprechend klingt, bringt einige Tücken mit sich: Der Einsatz von Robotern in Pflegeeinrichtungen wirft viele Fragen auf, wie dieses Fallbeispiel zeigt.

Clemens hat gerade seinen Bachelorabschluss in Informatik gemacht und sitzt mit ein paar Kommilitoninnen und Kommilitonen in Bierlaune zusammen. Auch Andrea, die Philosophie studiert, ist mit dabei. Gemeinsam überlegen sie, ob sie sich mit dem an der Uni entwickelten Reinigungsroboter selbstständig machen sollen. Andrea merkt an, dass gerade in Pflegeeinrichtungen solche Roboter dringend notwendig seien. „Wenn die Böden verschmutzt sind, müssen sie sofort gereinigt werden. Und nicht immer sind gleich Reinigungskräfte vor Ort. Dann müssen die Pflegekräfte selbst einspringen und haben dadurch weniger Zeit für die Pflegebedürftigen.“ Clemens ist hellauf begeistert. „Das ist die Chance für unseren Reinigungsroboter. Damit fangen wir an.“

Am nächsten Tag gehen die beiden in die örtliche Altenpflegeeinrichtung, die Sonnengarten-Villa. Hier sind sie gut bekannt, denn zu Studienzeiten hatten sie Spielenachmittage mit den Bewohnerinnen und Bewohnern veranstaltet. Aufmerksam gehen sie durch die Räume. In einem Tagesraum beobachten sie eine alte Dame, die hingebungsvoll die Roboter-Robbe Paro streichelt. Sie lächelt glücklich, als Paro leise fiept. Sie schaut auf und sagt zu Andrea, die sie von den Spielenachmittagen kennt: „Wenn sie jetzt noch etwas sprechen könnte: Ach, wäre das schön.“

Ein Herr im Rollstuhl wird von einem Assistenzroboter beim Trinken unterstützt, als ein Saugroboter mit lauten Geräuschen auf ihn zufährt. Er erschrickt und schreit den Roboter an: „Weg, weg!“ Gleich wird er von einer Pflegerin beruhigt, die den Roboter abstellt und in einen anderen Raum bringt. Von ihr erfahren Clemens und Andrea, dass einige alte Pflegebedürftige ängstlich oder gewaltsam, zum Beispiel mit Tritten, auf den Lärm und die Bewegungen des Saugroboters reagieren. Andrea hat spontan einen Lösungsvorschlag. „Dann müsst ihr den Roboter eben nett sprechen lassen, wenn er auf die alten Leute zufährt …“ Clemens findet die Idee gut, kommt aber ins Grübeln und überlegt, wie sie die Geräusche ihres Reinigungsroboters eindämmen können, sodass die Sprachausgabe gut zu verstehen ist.

Am Abend erzählt er seiner Freundin Silke begeistert von den Ideen. Sie ist aber skeptisch: „Ich finde, dass ihr die Alten mit so einem Roboter täuscht. Stell dir mal deine Oma vor, die darauf reinfällt und meint, sich mit einem echten Menschen zu unterhalten.“ Clemens sieht das anders. Er erzählt Silke von Start-ups, die noch viel weiter gehen. „Hast du schon mal was von Deadbots gehört? Das sind Chatbots, durch die du dich mit Verstorbenen unterhalten kannst. Wenn du nur ein paar Audioschnipsel hast, imitieren die perfekt die Toten. (https://www.watson.ch/wissen/digital/446276751-wenn-tote-redenstart-ups-schaffen-digitale-versionen-von-verstorbenen) Stell dir mal das in einem Altenheim vor!“

Silke lässt sich davon nicht beeindrucken: „Ja, in der Tat, lass dir das mal auf der Zunge zergehen! Du willst nun sagen, deine Oma sei angesichts der perfekten Imitation, sagen wir von ihrem geliebten Karli, geradezu verzückt. Ich glaube aber, dass sie das komplett verwirren würde. Sie würde nicht erkennen, ob sie mit einem echten Menschen redet oder ob die Stimme von einer Maschine kommt. Und selbst wenn: dass die Deadbots nur eine arg begrenzte Menge Material gespeichert haben, das wird sie herausfinden und dann sehr enttäuscht sein. Und wenn du sie das nächste Mal besuchst, wird sie dir das vorhalten: ‚Der sagt ja immer nur dasselbe! Das ist langweilig.‘ Und wie wird es erst dir selbst gehen, wenn deine Oma gestorben ist und du auf eine KI-Unterhaltung mit ihr angewiesen bist! Willst du das jahrzehntelang machen? Und angenommen, der Bot kann wirklich überzeugend argumentieren: Ich weiß ja nicht, mit welchen Daten solche Systeme trainiert werden – was, wenn sie auf die falschen zugreifen und dadurch Straftaten in Betracht ziehen? Stell dir mal folgendes Szenario vor: Hans-Jürgen ist ziemlich knapp bei Kasse, damit liegt er seinem Sohn ständig in den Ohren – warum sollte er es nicht auch dem Chatbot erzählen und der schlägt ihm einen nächtlichen Streifzug durch die Räume vor? Ausschließen kannst du das nicht!“

Clemens ist ernstlich bestürzt. Aber Silke kommt jetzt erst richtig in Fahrt: „Die Chatbots werden im Laufe der Zeit jede Menge über das familiäre Umfeld der Menschen im Heim erfahren. Und irgendwann sagt ein Roboter vielleicht zu deiner Oma: ‚Du hast doch schon so lange nichts mehr von deinem Enkel gehört. Ob es ihm gut geht?‘ Und dann ist sie aufgewühlt und kann nicht mehr schlafen. Angenommen, der Bot kennt den Ausdruck ‚sozialverträgliches Frühableben‘. Dann wird er deiner Oma irgendwann nahelegen, dass sie sich die Radieschen von unten angucken soll!“

Obwohl Clemens erkennt, dass hier jede Menge Fragen einer Antwort harren, beschließt er, den Leiter der Sonnengarten-Villa aufzusuchen, der ihn noch in derselben Woche empfängt. „Reinigungs- und Unterhaltungsroboter in einem? Immer her damit! Billig wird das wohl nicht, aber auf lange Sicht: Wenn ich Personalkosten einsparen kann, prima!“

Fragen

  • Darf man alte Menschen mit Chatbots in einer Unterhaltung täuschen, indem man ihnen die Stimmen anderer Personen vorgaukelt? Wie sieht es aus, wenn es sich um demente oder psychisch kranke Menschen handelt?
  • Ist es ethisch vertretbar, Stimmen Verstorbener in einem Altenheim für einen Unterhaltungsroboter zu verwenden?
  • Kann man sicherstellen, dass die Daten, die ein Unterhaltungsroboter in den Gesprächen sammelt, nicht anderweitig verwendet werden, z. B. wenn er sich mit einer anderen pflegebedürftigen Person unterhält?
  • Wie verhindert man, dass ein Chatbot Pflegebedürftige zu unklugen oder gefährlichen Handlungen verleitet?
  • Wie erklärt man Kindern, dass sie einen Deadbot trainieren? Welche langfristigen seelischen Schäden sind hier zu befürchten?
  • Welche Auswirkungen könnte der breite Einsatz von Pflegerobotern auf die Ausbildung von Pflegekräften haben? Auf ihre Motivation?
  • Wie geht man mit versagender Hardware um? Wie überwacht man die Pflegeroboter?Unter welchen Bedingungen ist es zwingend nötig, die Pflege durch einen Roboter abzubrechen und stattdessen einen Menschen übernehmen zu lassen? Was passiert, wenn dann nicht genügend Pflegepersonal zur Verfügung steht?
  • Wie geht man in solchen Fällen mit einem großflächigen Stromausfall um?

erschienen in .inf 02. Das Informatik-Magazin, Sommer 2023, https://inf.gi.de/02/gewissensbits-die-rentnerin-und-der-roboter

13 Jahre Gewissensbits: Wir ziehen um!

Christina B. Class, Wolfgang Coy, Constanze Kurz, Otto Obert, Rainer Rehak, Carsten Trinitis, Stefan Ullrich, Debora Weber-Wulff

Liebe Leserin, lieber Leser,

seit gut 13 Jahren, seit der 4. Ausgabe 2009 des Informatik Spektrums, haben wir 78 Fallbeispiele mit Fragen geschrieben, um uns alle zum Nachdenken zu bringen und mit Ihnen zu diskutieren – in der Kolumne Gewissensbits. Vorangegangen waren einige Jahre, in denen wir Fallbeispiele entwickelten und ein Buch schrieben.

Die Fachgruppe „Informatik und Ethik“ wurde im Dezember 2003 gegründet. Sie entstand aus dem Arbeitskreis „Informatik und Verantwortung“, der die Ethischen Leitlinien von 1994 überarbeitete. Diese zweite Version der Leitlinien wurde 2004 vom Präsidium der GI verabschiedet. Schnell einigten wir uns darauf, dass wir uns als Fachgruppe insbesondere auch um den Diskurs bemühen wollen. Bereits in den Leitlinien stand, dass die GI Diskussionen über ethische Fragen in der Informationstechnik initiieren und fördern wolle. Ausgehend von unseren Erfahrungen in der Lehre und dem Ansatz des Critical Thinking, der in den USA verbreitet ist, entwickelten wir über mehrere Jahre hinweg das Format der Gewissensbits.

2009 kam unser Buch („Gewissensbisse – Ethische Probleme der Informatik. Biometrie – Datenschutz – geistiges Eigentum“, tanscript Verlag) heraus und parallel dazu veröffentlichten wird im August 2009 die ersten Gewissensbits im Informatik Spektrum, ein Fallbeispiel namens „Biometrie“ [1]. Es behandelte die Nutzung von Fingerabdrücken zur Zahlung in einer Schulmensa und deren Nachnutzung, um den Diebstahl zweier Beamer aufzuklären.

In unserem Blog veröffentlichten wir den Fall und luden zur Diskussion ein. Unter anderem wurde die Frage aufgeworfen, ob ein solches Szenario realistisch sei. „Kaum vorstellbar ist jedoch, daß ein Schuldirektor eine solch heikle Maßnahme (schon das Sammeln der Fingerabdrücke) auf seine Kappe nimmt bzw. dazu die Rückendeckung der Schulpolitiker erhält.“ [1]. Eine Recherche ergab, dass an einigen Schulen in Deutschland bereits zwei Jahre zuvor, 2007, die Bezahlung per Fingerabdruck eingeführt wurde (z. B. [2]). Wir schreiben bewusst „Recherche“! Die Fallbeispiele des Buchs wurden über mehrere Jahre entwickelt, getestet und überarbeitet. Als wir uns den Fall „Biometrie“ überlegten, wussten wir nichts davon, dass Schulen bald Fingerabdrücke von Schüler*innen zum Zahlen in Schulmensen in Deutschland einsetzen würden. Die Realität hatte uns eingeholt.

So erging es uns mehr als einmal. Wir entwickelten Fallbeispiele, um Möglichkeiten und die damit verbundenen moralischen Fragestellungen zu diskutieren und stellten immer wieder fest, wie uns die Realität einholte – und manchmal zu überholen schien. Scherzhaft meinten wir in der Gruppe einmal, wir sollten vielleicht aufhören, Fallbeispiele zu entwickeln und die Zukunft „herbeizureden“.

Selbst im Team entstanden ein um das andere Mal intensive Diskussionen: Alle Fallbeispiele werden, nachdem sie entwickelt wurden, in einem Etherpad der Fachgruppe vorgelegt. Hier können Vorschläge zum Text direkt aufgenommen oder bearbeitet werden, und es entstehen dabei häufig Diskussionen im Chat – um Details wie Namen, Begriffe oder Wortspiele, bis hin zu wesentlichen Aspekten oder erweiterten Handlungssträngen des Falls. In einem Fall wurde innerhalb des Teams der Einwand aufgeworfen, dass der Fall gar sehr konstruiert daher käme und wenig realistisch sei. Umso größer die Überraschung, als klar wurde, dass dieses Fallbeispiel auf einem aktuellen anonymisierten und etwas veränderten Fall basierte.

Ja, die Realität hat uns das eine oder andere Mal überrascht und immer wieder deutlich gemacht, wie wichtig die Diskussion dieser Fragen und auch der Beitrag von Fallbeispielen für die Diskussion ist.

Manche Fälle entstanden auch als Reaktion auf ein konkretes Ereignis. So griffen wir den Gesichtserkennungstest am Bahnhof Südkreuz in Berlin direkt auf. Auf Aussagen des damaligen Bundesinnenministers Seehofer in der Presse, der Fehlversuch sei erfolgreich gewesen [3], antworteten wir mit einem abgewandelten Fall, um deutlich zu machen, was diese Zahlen bedeuten, wenn viele Personen betroffen sind (Fallbeispiel „Statistische Irrungen“ [4]). Persönliche Rückmeldungen in Gesprächen zeigten, dass dies ein Fall ist, der sich auch für Kurse zu Statistik oder Data Literacy eignet. In dem Beitrag „Data Literacy: Kompetenzrahmen für Hochschulen“ [5] wird auf diesen Fall hingewiesen, um Daten im Kontext gesellschaftlicher und kultureller Wechselwirkungen zu betrachten.

Nicht alle Fälle beinhalten informatikspezifische Fragen oder haben einen technischen Kern. So haben wir zum Beispiel die Themen Plagiate, Pseudokonferenzen und Ghostwriting mehrfach aufgegriffen.

Die gemeinsame Entwicklung von Fallbeispielen und unsere Diskussionen änderten auch unseren Blick auf die Welt. Immer wieder stellten wir uns die Frage, ob sich daraus ein Fallbeispiel machen lasse. Die Teilnahme an einem Workshop „Teilhabe in der digitalen Transformation“ der Evangelischen Kirche im Rheinland führte dazu, die Frage, inwiefern die zunehmende Digitalisierung arme Menschen ausschließt, aufzugreifen (Fallbeispiel „Abgehängt?“ [6]).

Wir alle können immer wieder in Dilemma-Situationen kommen, die nicht direkt mit Informatik verknüpft sind, als Privatpersonen, im beruflichen oder universitären Umfeld.

Auf einen Fall möchten wir daher besonders hinweisen: „Karins Dilemma“ [7]. Dieser Fall spricht eine solche Situation an. Das Wort „Informatik“ spielt hier kaum eine Rolle und könnte durch eine beliebige andere Disziplin ersetzt werden. Es geht um sexuelle Belästigung im universitären Umfeld und die Ausnutzung der Machtposition eines Professors. Leider kommen solche Fälle in der Realität immer wieder vor. Und leider ist es bei solch ungleichen Machtverhältnissen auch für Personen, die unterstützen wollen, nicht immer folgenlos. Das Fallbeispiel hat nur einen Autor. Als emeritierter Professor und Mann war es der explizite Wunsch von Wolfgang Coy, dass das Beispiel nur unter seinem Namen veröffentlicht wird und nicht zusammen mit jemandem, der oder die noch etwas zu verlieren hat.

Was verdeutlicht dieser Fall? Unser moralisches Urteil ist nicht nur im Zusammenhang mit Informatik gefragt. Zivilcourage braucht es nicht nur, wenn z. B. auf mangelnden Datenschutz hingewiesen wird. Nein! Wir sind in unterschiedlichsten Situationen herausgefordert und müssen Stellung beziehen. Das moralische Urteil zu schärfen, Dilemmata zu diskutieren, sich Lösungsmöglichkeiten zu überlegen und den Blick für den Anderen, die Betroffene zu schärfen hilft in den unterschiedlichsten Situationen des Lebens. Auch darum sind uns die Diskussionen bereits bei der Entwicklung der Gewissensbits, der Fallbeispiele, im Zusammenspiel mit den aufgeworfenen Fragen, wichtig.

Die Fallbeispiele laden alle dazu ein, sich mit Fragen der Ethik auch ohne Philosophie- oder Informatikstudium zu beschäftigen. So behandelt der Fall „Menschenrechte“ Fra- gen der Kooperation mit einer Universität in einem Land, das für gravierende Menschenrechtsverletzungen bekannt ist [8]. Auch dieser Geschichte liegt ein wahrer Kern zugrunde. Aber auch unsere auf den ersten Blick rein „technischen Fälle“ weisen auf tiefer liegende moralische Probleme hin.

Die Fallbeispiele sind für Diskussionen mit Student*innen, im Kollegen- oder Freundeskreis entwickelt. Einige Fallbeispiele eignen sich auch für die Schule. Allerdings muss man hier darauf achten, dass die Fälle einen Bezug zur Lebenswelt der Schüler*innen darstellen. Auch müssen die Fragen bei jüngeren Schüler*innen gegebenenfalls präzisiert und angepasst werden.

Wir wurden immer wieder darauf angesprochen, ob wir nicht Lösungsvorschläge für unsere Fallbeispiele, d. h. Antworten auf unsere Fragen veröffentlichen könnten. Unsere klare Antwort lautet hier: Nein, das wollten wir nie. Das Ziel der Fallbeispiele besteht ja gerade darin, die verschiedenen Aspekte eines Falls zu erkennen und zu diskutieren und dann gemeinsam zu einer Lösung zu gelangen. Hier handelt es sich um einen demokratischen Aushandlungsprozess, und es gibt oft nicht einfach „die“ eine richtige Lösung. Wesentlich ist aber, dass wir lernen, ins Gespräch zu kommen.

Um die Diskussion zu fördern, richteten wir in unserem Blog auch die Kommentarfunktion ein. Und wir haben darauf geachtet, auf alle Einwände und Kommentare zu reagieren und zu antworten. In ganz seltenen Fällen mussten wir leider auch Kommentare löschen, weil sie vollkommen unpassend oder unangemessen waren. Den ein oder anderen, auch etwas grenzwertigen oder „speziellen“ Kommentar haben wir dagegen zugelassen. An dieser Stelle erwähnen möchten wir einen Kommentar von „Gott“ zu unserem Fallbeispiel „Data Mining für Public Health“ [9]: „Totaler scheiss so was schlechtes habe ich noch nie erlebt. Die fragen kann ja ein drei Jähriger beantworten ohne das er denn Text gelesen haben muss“ (man beachte die Orthographie).

Dies ist unser letzter Text der Reihe „Gewissensbits – wie würden Sie urteilen?“ im Informatik Spektrum. Wir danken dafür, dass Sie uns all die Jahre gelesen haben, für Ihr sehr geschätztes Feedback im Blog, aber insbesondere auch für die Gespräche über die Gewissensbits und Ihre Reaktionen, wenn wir uns persönlich begegnet sind. Eine Auswahl von Fallbeispielen wird im Frühjahr 2023 im transcript Verlag in Buchform mit einer Open-Access-Lizenz herauskommen. Wir werden dies in unserem Blog ankündigen.

Dieser Text ist jedoch kein Abschied. Die Gewissensbits, anregende Bits für unser aller Gewissen, werden fortgeführt im neuen Mitgliedermagazin der GI. Wir werden sie auch weiterhin in unserem Blog (gewissensbits.gi.de) veröffentlichen und freuen uns bereits auf zukünftige Diskussionen mit Ihnen.

Bis bald, in einem anderen Kanal.

Auf WiederLESEN!

 

Quellen

[1] https://gewissensbits.gi.de/fallbeispiel-biometrie/. Zugegriffen: 4. Oktober 2022

[2] https://taz.de/Biometrische-Kontrolle-im-Alltag/!5180398/. Zugegriffen: 4. Oktober 2022

[3] https://taz.de/Gesichtserkennung-im-oeffentlichen-Raum/!5540406/. Zugegriffen: 4. Oktober 2022

[4] Informatik Spektrum 42(5). https://gewissensbits.gi.de/fallbeispiel-statistische-irrungen/. Zugegriffen: 4. Oktober 2022

[5] Bush A, de Gruisbourne B, Matzner T, Schulz C (2021) Data Literacy: Kompetenzrahmen für Hochschulen. Arbeitspapier. https://www.campus-owl.eu/fileadmin/campus-owl/dalis/documents/Kompetenzrahmen_Workingpaper210921.pdf. Zugegriffen: 4. Oktober 2022

[6] Informatik Spektrum 45(3). https://gewissensbits.gi.de/fallbeispiel-abgehaengt/. Zugegriffen: 4. Oktober 2022

[7] Informatik Spektrum 34(5). https://gewissensbits.gi.de/fallbeispiel-karins-dilemma/. Zugegriffen: 4. Oktober 2022

[8] Informatik Spektrum 38(3). https://gewissensbits.gi.de/fallbeispiel-menschenrechte/. Zugegriffen: 4. Oktober 2022

[9] Informatik Spektrum 37 (1). https://gewissensbits.gi.de/fallbeispiel-data-mining-fuer-public-health/. Zugegriffen: 4. Oktober 2022

 

Erschienen im Informatik Spektrum 45 (6), 2022, S. 404-406, doi: https://doi.org/10.1007/s00287-022-01501-z

Fallbeispiel: Schutz oder Überwachung?

Wenn Kinder sich ein Smartphone wünschen, stehen Eltern vor vielen schwierigen Entscheidungen. Unser Fallbeispiel stellt einige davon vor – und zeigt auch, wie diese bei Jugendlichen ankommen können.

Marcus Schmidt, Stefan Ullrich und Christina B. Class

Monika und Oliver wussten, dass der Tag kommt, an dem sie ihrer Tochter Lea das Smartphone nicht mehr verweigern können. Lea ist elf und die Schule informiert jetzt online über Hausaufgaben und Änderungen im Stundenplan, ihre Freundinnen verabreden sich fast nur noch über den Messenger und überhaupt sind die besten Videos im Netz zu finden. Glücklicherweise gibt es eine Vielzahl von Apps, die sich mit Funktionen zum Schutz von Jugendlichen rühmen und mit denen Eltern Kontrolle über die Bildschirmzeit haben. Monika und Oliver ist es außerdem wichtig, dass sie jederzeit im Blick haben, welche Apps ihre Tochter installiert und wo sie sich aufhält. Monika will auf keinen Fall, dass Lea sich jetzt schon einen Account zulegt, über den sie Fotos postet und dann Likes hinterherjagt. Oliver findet es beruhigend, dass er sehen kann, wo Lea sich befindet, wenn sie mal zur ausgemachten Zeit nicht zu Hause ist.

Für Lea ist das kein Problem. Sie ist einfach glücklich, dass sie endlich ein Smartphone hat und jetzt immer das Neueste erfährt und mitchatten kann. Zweimal lässt sie sogar ihr Smartphone liegen und kann es durch die eingeschaltete Standortfunktion über die Geräte ihrer Eltern leicht wiederfinden. Die installierten Apps beruhigen Monika und Oliver. So ist der Sprung der Tochter ins kalte digitale Wasser doch einfach ein bisschen sicherer. Sie sagen Lea auch von Anfang an, dass sie immer mal schauen würden, ob bei ihr online alles okay sei. Abends sitzen sie manchmal alle zusammen am Esstisch, schauen neue Apps an oder reden über ein paar grundlegende Gefahren: „Poste keine Bilder von dir. Antworte keinen Fremden. Sei lieber kritisch bei dem, was du online so alles siehst oder liest. Wenn was nicht stimmt, sind wir für dich da.“ Solche Sachen eben.

Nach zwei Wochen entdeckt Monika, als sie mit Lea zusammen deren Nachrichten ansieht, eine sehr seltsame Kontaktanfrage im Messenger. Sie bekommt ein ungutes Gefühl und schärft Lea eindringlich ein, solche Anfragen nicht zu beantworten. Auf dem Elternabend zwei Tage später bringt sie das zur Sprache. Ein Vater erzählt, dass seine Tochter Anna wohl eine solche Anfrage erhalten und angenommen habe. Daraufhin seien einige sehr anzügliche Nachrichten gefolgt und Anna sei etwas verstört gewesen. Eine andere Mutter erzählt, dass auch ihr Sohn eine sehr seltsame Kontaktanfrage erhalten habe. Der Klassenlehrer verweist auf Informationsseiten im Netz und versichert, dass er dies im Unterricht thematisieren werde.

Bei Lea überwiegt die Freude über das Smartphone einige Zeit und bald schon denkt sie gar nicht mehr so oft daran, dass ihre Eltern sie online verfolgen können. Erst als sie und ihre beste Freundin Mia sich heimlich mit der Jungsgruppe um Lukas treffen wollen und dafür in Richtung des alten Sportplatzes gehen, fragt sie sich laut, ob das ihre Eltern jetzt mitbekommen. „Ach“, sagt Mia, „schalt das Ding einfach aus und nachher wieder an und erzähl deinen Eltern, du hättest keinen Empfang gehabt. Klappt bei mir ständig.“ Lea schaltet das Gerät ab. Als sie am Abend am Küchentisch sitzt, fühlt sie sich etwas unsicher. Spürt sie, wie ihre Eltern irgendwie ein bisschen besorgt aussehen? Haben sie ihren Standort verfolgt, der sich lange Zeit nicht mehr bewegt hat? Warum muss das blöde Ding überhaupt so was an ihre Eltern senden? Ist doch ihre Sache, wo sie am Nachmittag ihre Zeit verbringt, oder etwa nicht?

Einige Zeit später liegt Lea träumend auf ihrem Bett. Sie hat sich inzwischen in Lukas verliebt und hat ihm heute ihre Nummer gegeben. Hoffentlich meldet er sich bald bei ihr. Gleich mal nachsehen – aber wo ist eigentlich ihr Smartphone? Sie läuft durchs Haus und sieht im Wohnzimmer ihre Mutter, die es in der Hand hält. Sie hat das Gerät über den Elternzugang entsperrt und scrollt … echt jetzt?? … durch die Nachrichten in ihrem Messenger. Lea fährt sie an: „Mama, was macht du an meinem Handy?“ Ihre Mutter gibt sich entspannt: „Ich wollte nur mal schauen, ob alles in Ordnung ist in deiner Welt.“ „Ohne mich zu fragen?“, entgegnet Lea barsch. „Das ist echt mies von dir! Nur ihr seid so misstrauisch, die Eltern meiner Freundinnen machen so was nicht!“ Monika gerät jetzt auch in Zorn: „Das ist nur zu deinem Schutz! Wenn wir keinen Zugang haben, dann hast du eben kein Smartphone.“ Sie rennt wütend aus dem Wohnzimmer und nimmt Leas Gerät gleich mit. „Zwei Tage Handyverbot, das hast du nun davon!“

Lea ist ebenfalls stinksauer. Wie soll sie frei mit ihren Freudinnen oder mit Lukas schreiben, wenn ihre Eltern einfach mitlesen können? Da fällt ihr ein, was Mia am Sportplatz erzählt hat – und als sie ihr Smartphone endlich zurück hat, öffnet sie ein privates Browserfenster und tippt: „Elternapp umgehen“. Sie bekommt große Augen, als sie die Ergebnisse sieht, und murmelt: „Wow, so einfach ist das?

Fragen

  • Dürfen die Eltern regelmäßig die Nachrichten von Lea lesen, ohne dass Anhaltspunkte für eine Bedrohung vorliegen? Sollte Lea in jedem Fall wissen, dass die Eltern Nachrichten lesen oder beim Lesen immer dabei sein?
  • Wird durch das Lesen der Nachrichten die Privatsphäre derer verletzt, mit denen Lea kommuniziert?
  • Wie wirkt sich die Nutzung einer solchen App potenziell auf das Verhältnis zwischen Lea und ihren Eltern aus?
  • Ist es das moralische Recht von Lea, die Eltern-App zu umgehen?
  • Dürfen Eltern ohne Hinweise auf eine Bedrohung regelmäßig den Standort ihres Kindes überprüfen?
  • Wer ist dafür verantwortlich, die Jugendlichen zu Gefahren im Netz und zum Umgang damit zu informieren – die Eltern oder die Schule?
  • Ist es vertretbar, Jugendlichen, zum Beispiel in der fünften Klasse, den Zugang zu Messengern etc. zu verwehren, wenn sie damit die einzigen in der Klasse sind, die keinen Zugang haben?
  • Wo hören Blödeleien in Chatgruppen auf und wo sind die moralischen und/oder strafrechtlichen Grenzen?
  • Inwiefern setzen Schulen „de facto“ eine Nutzung von Smartphones voraus? Welche Probleme ergeben sich daraus – insbesondere für Jugendliche, die keinen Zugang zu einem Smartphone haben? Müssen Alternativen angeboten werden?
  • Abgesehen von (selten eingehaltenen) offiziellen Altersregelungen: Von welchen Apps sollte man Jugendlichen abraten und warum?

 

Weiterführende Informationen betreffend Mediennutzung für Jugendliche:

 

erschienen in .inf 01. Das Informatik-Magazin, Frühjahr 2023, https://inf.gi.de/01/schutz-oder-ueberwachung

Fallbeispiel: Ausnahmsweise

Rainer Rehak, Debora Weber-Wulff

Zena hat immer schon in der Libera-Position gespielt als Kind auf dem Bolzplatz, später im Fußballverein, im Unisport erst recht und auch jetzt noch. Sie ist richtig gut, also aufmerksam und schnell, kraftvoll und ausdauernd. Dieses körperbetonte Hobby ist ein wunderbarer Ausgleich für die tägliche Arbeit am Bildschirm als wissenschaftliche Mitarbeiterin an der Technischen Uni vor Ort.

Zena hat Informatik studiert und ist fasziniert von künstlichen neuronalen Netzen, insbesondere von Bilderkennung, also dem, was oft „KI“ genannt wird. Dass aus ihrer Teilnahme im Robo-Fußball-Team der TU später ein richtiger Job werden würde, hätte sie niemals gedacht. Inzwischen ist sie PostDoc an der TU geworden und arbeitet immer noch mit den hundeähnlichen Robotern. Bei regelmäßig stattfindenden Turnieren spielen die Roboter in Viererteams eine Art Fußball, technisch gesehen eine große und spannende Herausforderung. Roboter sind immer auch ethisch interessant, doch die TU hat eine Zivilklausel, was Zena und ihrer militärkritischen Grundhaltung sehr entgegenkommt. Schließlich mussten ihre Eltern kriegsbedingt aus deren Heimat nach Deutschland fliehen. Von Kindesbeinen an wurde ihr eingeschärft: Kriege sind furchtbar und Menschen zu töten ist niemals eine Lösung.

Aktuell arbeitet sie an einem Drittmittelprojekt in Kooperation mit dem Hersteller einer der Robo-Hund-Varianten. Diese werden gern als Spielzeug verkauft, aber kommen auch in internationalen Robo-Fußball-Meisterschaften zum Einsatz. Es geht dabei um die technische Implementation von Kooperation, Bilderkennung und motorischer Leistung. Ihr Team hat schon mehrmals internationale Meisterschaften gewonnen und diverse Preise eingeheimst. Mit jedem Sieg wurde sie auch medial als Person bekannter: eine vergleichsweise junge Wissenschaftlerin mit Migrationshintergrund, die fußballspielende Hunde programmiert, das zog immer.

An einem sonnigen Mittwochnachmittag kommen plötzlich drei Uniformierte mit sehr ernsten Mienen in Zenas Büro an der TU. Sie sehen irgendwie nach Polizei aus, aber etwas ist anders. Zena ist verunsichert. Die Gäste bitten um 30Minuten ihrer Zeit, denn sie haben eine besondere Anfrage. Zena willigt ein und hört zu. Dabei wird sie zusehends angespannter: Es geht um eine dramatische Geiselname in einem nahen Einkaufszentrum, die bislang medial geheim gehalten wird, um die Geiseln nicht zu gefährden. Die Anfrage bezieht sich konkret darauf, dass die Robo-Hunde sich als Aufklärungsgeräte im Gebäude bewegen sollen, um die Geiselnehmer im Auge zu behalten. Die Robos sind klein, leise und haben die nötigen Sensoren. Wenn Zena einverstanden ist, würden sie direkt mit fünf Robo-Hunden, drei Laptops und den notwendigen Expert:innen losfahren.

Nach einer Stunde Bedenkzeit, in der sie alle möglichen Szenarien mit ihrer ebenso überraschten Mitarbeiterin durchspricht und ein paar Minuten an der frischen Luft verbringt, stimmt sie zu und alle machen sich auf den Weg.

In dem Einkaufszentrum im Vorort der Stadt hatten drei Personen mehrere Geiseln genommen und verlangten nun die Freilassung eines bekannten Inhaftierten. Keinesfalls wollen die Behörden auf diese Forderung eingehen, und suchen nach Möglichkeiten, dennoch die Geiseln zu befreien. Hier sollen die Robo-Hunde ins Spiel kommen und Echtzeitinformationen zur Beurteilung der Lage bereitstellen. Im Prinzip ist das technisch bekanntes Terrain in einem neuen Einsatzkontext.

Als Zena und die studentische Mitarbeiterin gerade alles aufgebaut haben, kommen ein hochrangiger Beamter des Spezialeinsatzkommandos und zwei Polizeitechniker dazu. Sie wollen die Robo-Hunde nun auch bewaffnen, allerdings nur mit einer kleinen ferngesteuerten Handfeuerwaffe. Alle nötigen Aufbauten, Halterungen und Anschlüsse sind bereits vorhanden, denn schon lange experimentiere man mit den gleichen Robo-Hunden, die auch Zena beforscht. Allerdings haben sie nur einen Roboter und der ist ein etwas älteres Modell. Es wäre sicherlich riskant, aber unter den aktuellen Umständen bislang die erfolgversprechendste Idee.

Zena fühlt sich überfahren und völlig überfordert. Sicherlich ist es ein sinnvolles Ansinnen, eine Geiselnahme zu beenden, aber will sie wirklich ihre Fußball-Robo-Hunde bewaffnen? Sie kann nicht klar denken, doch die Beamten warten ungeduldig. Ginge das vielleicht ausnahmsweise mal – im Einzelfall? Aber steht das nicht eigentlich gegen ihre Überzeugungen? Was würden ihre Eltern dazu sagen, was die Uni und was ihre Studierenden, und wird durch sie so ein Vorgehen dann langsam zum Standard? Und was ist, wenn wirklich ein Mensch stirbt und das alles eskaliert? Ist sie dann die eiskalte „RoboCop“-Forscherin und ihr guter Ruf passé?

So war das alles nicht abgesprochen, aber einfach so nach Hause fahren kann sie auch nicht.

Fragen

  1. Was ist eine Zivilklausel und ist sie eine sinnvolle Sache für Universitäten?
  2. Wozu gibt es Forschung an Roboterfußball? Ist das Ziel davon vereinbar mit einer Zivilklausel?
  3. Ist bei dieser Art von Forschung absehbar, dass sie später von Polizei oder gar Militär verwendet werden wird? Wie ist das zu bewerten?
  4. Ist es überhaupt eine vertretbare Forderung, derartige bewaffnete Systeme quasi ungetestet in den Einsatz zu bringen? Welche Argumente sollten dabei eine Rolle spielen und wie sollten sie gewichtet werden?
  5. Ist Robotik eine sogenannte Dual-Use-Technologie und welche Dual-Use-Technologien gibt es noch? Wie sollten Menschen damit ethisch und gesellschaftlich umgehen, insbesondere im universitären Forschungskontext?
  6. Ist es akzeptabel, „ausnahmsweise“ derartige Zweckentfremdungen von Forschungsarbeit zuzulassen? Kann es so etwas überhaupt „ausnahmsweise“ geben oder werden somit immer Präzedenzfälle geschaffen? Welche Verantwortung trägt Zena in diesem Fall?
  7. Was ist von derartiger Automatisierung von Polizeiarbeit zu halten? Was ist sinnvoll, was nicht und warum?
  8. Ist es anders zu bewerten, wenn Leute tatsächlich angeschossen werden, wenn gar Leute sterben? Ist es ein Unterschied, ob einer der Geiselnehmer oder aber die Geiseln verletzt oder getötet werden?

Erschienen im Informatik Spektrum 45 (5), 2022, S. 323–324, doi: https://doi.org/10.1007/s00287-022-01484-x