Fallbeispiel: Assistenzsystem als Killbot?

Constanze Kurz, Debora Weber-Wulff

Ansgar hat seinen Informatik-Master gerade abgeschlossen und nach einer Probezeit eine wichtige Entscheidung getroffen: Er hat begonnen, Vollzeit in einer Rüstungsfirma zu arbeiten. Es fiel ihm nicht ganz leicht, weil er keine besondere Vorliebe für das Militär hat, doch durch seine Masterarbeit war er mit der Firma bereits vertraut und überzeugt, eine interessante und angenehme Arbeitsatmosphäre für seinen ersten Job gefunden zu haben. Er hofft, mit dem guten Gehalt seine Schulden aus dem Studium schnell zurückzuzahlen.

Sein neuer Arbeitgeber stellt Kettenfahrzeuge mit festmontierten Abwehrwaffen her. Es sind defensive Systeme, die darauf programmiert sind, Zivilisten, aber auch Tiere als Ziele sicher zu vermeiden, jedoch feindliche Fahrzeuge abzuwehren. Die Firma liefert Hard- und Software zwar hauptsächlich an das Militär, hat aber mittlerweile sehr viel mehr Umsatz im zivilen Bereich. Denn die Softwarevarianten der Systeme eignen sich auch hervorragend für alles, was eine treffsichere optische Analyse und Objekterkennung braucht – und verkauft sich blendend.

Ansgar ist durch seine Masterarbeit ein Spezialist für die Auswertung vor allem optischer Signale geworden, in diesem Bereich hat er bereits als Student gearbeitet. Seine Software, die er im Team mit zwei älteren Kollegen, Sabine und Ingo, in vielen Monaten konzeptioniert und programmiert hat, nutzt Techniken der künstlichen Intelligenz. Seine beiden Kollegen haben mehr Erfahrung als Ansgar und konnten ihm viel beibringen.

Mit der von dem Team erstellten Software können vorab bezeichnete Objekte optisch sicher erkannt und klar unterschieden werden von solchen, die nicht mit sehr hoher Wahrscheinlichkeit zugeordnet werden können. Diese Unterscheidung ist besonders für die militärische Anwendung von Bedeutung, denn die Softwareergebnisse liefern den Systemnutzern in Echtzeit Informationen darüber, was für ein Objekt die Sensoren aktuell aufzeichnen. Im Nachtbetrieb erleichtert das den militärischen Nutzern die Entscheidung, wann die Waffen benutzt werden und wann nicht, denn im Dunkeln ist das System den Augen des Menschen haushoch überlegen.

Mit einer neuen Geschäftsentscheidung der Unternehmensleitung aber tun sich Sabine und Ingo schwer: Die schriftlich übermittelte neue Software-Spezifikation enthält die Anforderung, die aus den Sensordaten errechnete Objekterkennung mit der Schussvorrichtung des Waffensystems direkt zu verknüpfen. Sie wissen, was das heißt: Ihre Software wird damit vielleicht die Entscheidung über Leben und Tod treffen – ohne dass ein Mensch den Finger am Abdruck hat. Wird mit sehr hoher Wahrscheinlichkeit ein bestimmtes Objekt erkannt und gleichzeitig errechnet, dass es sich weder um einen Zivilisten noch um ein Tier handelt, soll die Schussvorrichtung selbständig auslösen.

Sabine ist entsetzt. Für sie ist es ein himmelweiter Unterschied, ob ein Soldat sofort die Softwareergebnisse sieht und dann eine besser informierte Entscheidung treffen kann oder ob die Waffe dann selbst auslöst. Damit wird aus dem Softwaresystem ein LAWS (Lethal Autonomous Weapon System), und damit will sie nichts zu tun haben. Sie weigert sich sofort, weiter daran mitzuwirken, und stellt einen Antrag, in die zivile Sparte der Firma zu wechseln

Ingo hingegen könnte sich schon vorstellen, dass man bei ehrlicher Betrachtung der Auswertung vergangener Einsätze gerade im Nachtbetrieb zu dem Ergebnis kommt, dass die Software weit bessere Ergebnisse als ein Mensch liefert und deswegen sehr viel mehr Zivilisten und Tiere schützt als ihnen schadet. Er hat im Grunde genommen wenig Sorgen und kann sich vorstellen, die Software in diese Richtung weiterzuentwickeln. Er sieht allerdings erheblichen Forschungs- und Diskussionsbedarf, um abzuklären, unter welchen Bedingungen ein automatischer Schuss auszulösen ist.

Ansgar hingegen findet die älteren Kollegen irgendwie unmodern. Er ist sich sicher, dass in Zukunft unglaublich viele Echtzeitentscheidungen durch Software getroffen werden, sowohl im zivilen als auch im militärischen Bereich. Man könne doch das Rad nicht zurückdrehen. Er freut sich schon jetzt auf durch Software gesteuerte Autos und wäre einer der ersten Kunden. Gerade wegen der überragend guten Erkennungsleistung ihrer Software versteht er die Bedenken der Kollegen nicht. Wollen sie ernsthaft argumentieren, dass irgendein Soldat mitten in der Nacht mehr sehen könnte als die Kombination ihrer Software mit den Sensordaten?

Fragen

1. Ist es sinnvoll, KI-Methoden von als Assistenzsystemkonzipierter Software auf tatsächlich autonome Schießvorrichtungen anzuwenden? Müssen dazu nicht ganz neue ethische Fragen diskutiert werden? Welche wären das?
2. Wie könnte man überhaupt testen, ob die Methode der Erkennung bei echten Einsätzen wirklich funktioniert?
3. Muss sich Ansgar für einem autonomen Einsatz stärker dafür interessieren, mit welcher Genauigkeit die Software arbeitet? Warum eigentlich? Die Soldaten verlassen sich doch schon heute auf die Ergebnisse der Software.
4. Ändert sich dadurch etwas, dass Ansgar unerfahrener ist als die Kollegen? Sollten oder müssen Sabine und Ingo hier Einfluss auf ihn nehmen?
5. Ist es vertretbar, dass eine KI-Software über Leben und Tod entscheidet, wenn die bisher gemessenen Erkennungsraten weit über menschlichen Fähigkeiten liegen und damit vielleicht Leben von Zivilisten oder Tieren gerettet würden? Kann man bei Waffensystemen überhaupt davon reden, Leben zu retten?
6. Falls sich sowohl Sabine als auch Ingo entscheiden, die gewünschte Weiterentwicklung nicht vertreten zu können: Darf sich Ansgar aus ethischer und zwischenmenschlicher Sicht anmaßen, im Zweifel allein zu entscheiden, ob er die gemeinsam geschaffene Software auch für autonome Waffensysteme weiterentwickelt oder nicht? Muss er Rücksicht nehmen auf die Entscheidung der Teammitglieder?
7. Ansgar ist neu im Job. Er weiß, dass er diese Arbeitsstelle braucht und dass er eine schlechtere Position als die erfahrenen Kollegen hat. Wie beeinflusst das seine Entscheidung?
8. Wäre es anders, wenn die Software zunächst für die Katastrophenschutz entwickelt worden ist und nun militaristisch eingesetzt wird?

Erschienen im  Informatik Spektrum 41(1), 2018, S. 65-66.