Fallbeispiel: „Safety First“

Otto Obert, Debora Weber-Wulff

Zeit: In der nahen Zukunft

Paula und Viktor arbeiten nach ihrem gemeinsamen Studium seit einigen Jahren schon bei der Flying-Bavaria, einem noch recht jungen und aufstrebenden Unternehmen im Bereich Transport- und Passagierdrohnen. Paula ist als Informatikerin in einem interdisziplinären Team eingesetzt, das sich unter Hochdruck mit der Weiterentwicklung von autonomen Flugtaxis hin zur Marktreife beschäftigt. Viktor hingegen ist als Assistent des Vertriebsvorstandes und Schnittstelle zum Produktmanagement eingesetzt. Paula und Viktor sind sehr eng befreundet, können sich alles anvertrauen und treffen sich regelmäßig mindestens einmal pro Woche beim Badminton-Betriebssport, wo auch viele andere Kollegen aus den verschiedensten Unternehmensbereichen mit Freude teilnehmen und sich alle am Rande gerne privat wie beruflich rege austauschen.

Flying-Bavaria und ihr Hauptkonkurrent Air-Hang haben vom Bundesministerium für Verkehr und digitale Infrastruktur einen Millionenzuschuss bekommen, um möglichst rasch Prototypen für Passagierdrohnen zu erstellen. Sie wollen möglichst kostengünstig und vor allem noch vor Air-Hang einen Zweisitzer herausbringen. Laut Prognosen wird dies das mit Abstand umsatzstärkste Marktsegment. Daher leuchtet es ein, dass Flying-Bavaria einfach ihr bei Transportdrohnen bereits verfügbares und bewährtes Antriebsaggregat im Prototypen verwenden soll. Was schon läuft, kann nicht ganz verkehrt sein.

Allerdings ist dieses Antriebsaggregat für die Anwendung in einem Zweisitzer leicht unterdimensioniert. Bei ungünstigen Wetterbedingungen neigt es zur Instabilität. Es werden einfach zwei Aggregate verwendet, die aber miteinander kommunizieren müssen. Daher wurde das Team um Paula damit beauftragt, ein Maneuvering Characteristics Augmentation System (MCAS) zur Koordinierung der Flugstabilisierung zu entwickeln. In der Marketingliteratur wird man den eingeführten Begriff „Künstliche Intelligenz“ verwenden, obwohl das System nur auf Basis der Daten von Lagesensoren und mit dem Einsatz eines einfachen Algorithmus die Flugtauglichkeit garantieren soll. Schließlich sind es einfache, physikalische Zusammenhänge, die hier berechnet werden.

Paula empfindet das geplante Design des Zweisitzers als Fehlkonstruktion. Sie ist sich des Stellenwertes des MCAS bewusst und spricht mit ihrem Team über die Methodenauswahl. Im Scherz meint Andreas, ihr Maschinenbauingenieur: „Lasst uns doch KI einsetzen, wenn die Werbefritzen das schon schreiben!“. Eigentlich ist das keine schlechte Idee, meint Paula, und das Team beginnt, sich mit überwachten, selbstlernenden Verfahren zu beschäftigen. Allerdings brauchen sie noch sehr viel Zeit, sich in das Thema einzuarbeiten und die Algorithmen entsprechend zu trainieren.

Da es noch kein System gibt, das die geeigneten Trainingsdaten erzeugen kann, bietet sich Andreas an, diese zu generieren. Er habe ja im Studium gelernt, wie gut man mit einfachen Prototypen Daten generieren kann und dann mit einem weitverbreiteten Rechensystem durchrechnen lässt, wie die Parameter zu setzen sind. Er macht sich mit Begeisterung auf den Weg, einige neue Modelldrohnen für seine Experimente zu kaufen. Er erstellt „Menschendummys“ für die Drohnen, die vom Gewicht her passend sind, und zeichnet fleißig Flugdaten auf. Dann fragt er beim Team nach, das ein Einsitzermodell baut, ob sie nicht auch Daten haben, damit er überprüfen kann, ob er bei seinen Werten vielleicht einen Overfitting erzeugt hat oder nicht. Bei einer true positive rate von 97% ist er schwer begeistert – es funktioniert!

Aber Paula ist nicht so glücklich über die Lerndatengenerierung. Es gab ein sehr komplexes Umrechnungsmodell, angepasst an die Architektur des Zweisitzermodells, mit den Daten aus dem Transport- und dem Einsitzermodell. Sie ist sich nicht sicher, ob Algorithmen aus Modellen und Einsitzer sich beliebig auf Zweisitzer anwenden lassen. Paula weiß nur zu gut um Verzerrungen (Bias) in den Lerndaten, die man nie ganz in den Griff bekommen kann.

Nach einem Badmintonabend sitzen Paula, Viktor und weitere Kollegen auf ein Bier zusammen und kommen auch auf das aktuelle Thema, den Zweisitzer, zu sprechen. Viktor berichtet aus einer Vorstandssitzung, in der aufgrund des erneut gestiegenen Zeitdrucks weitere Maßnahmen vorgestellt wurden, mit der Bitte um Erarbeitung der Für und Wider. In der nächsten Vorstandssitzung in ein paar Tagen soll dann nach Diskussion und Abwägung entsprechend beschlossen werden.

Unter anderen ist man im Vorstand aktuell der Überzeugung, bei der Meldung für die Zulassung an die Flugaufsichtsbehörde das MCAS als nicht systemrelevant einzustufen. Auch sollen alle Möglichkeiten genutzt werden, die Entwicklungszeit zu verkürzen, was auch Paulas Methodenentscheidung revidieren würde. Viktor berichtet aus Gesprächen mit dem Produktmanagement über technische Konsequenzen aus der Einstufung des MCAS als nicht systemrelevant. Dadurch könnte man nun formal auf die redundante Auslegung des Lagesensors verzichten, um wieder etwas Kosten und besonders Zeit zu sparen. Immerhin waren selbst ein paar Kollegen im Produktmanagement dagegen, sie haben es als unverantwortlich kommentiert. Paula hatte mit mindestens vier Lagesensoren gerechnet, ist insgesamt entsetzt und möchte handeln.

Fragen

1. Sollte Paula mit dem Vorstand über ihre Sorgen sprechen? Sie bringt damit Viktor in eine schwierige Situation, denn die Diskussionen im Vorstand sollen geheim bleiben, bis eine Entscheidung getroffen worden ist.
2. Sollte der Vorstand bei technischen Fragen nicht besser direkt mit den Fachabteilungen sprechen?
3. Hätten Paula und ihr Team bei der Methodenauswahl schon aus ethischen Gründen maschinelles Lernen ablehnen sollten?
4. Als Maschinenbauer hat Andreas nicht besonders viel Erfahrung mit den Algorithmen, die sein Rechensystem anwendet. Er vertraut einfach auf die Ergebnisse, die geliefert werden. Hat er die Verantwortung für die Ergebnisse oder das gesamte Team?
5. Ist eine true positive rate von 97% bei Systemen, die Menschenleben tangieren, wirklich ein guter Wert?
6. Sollte Viktor seine Rollen als Direktreport zumVertriebsvorstand und Schnittstellenkoordinator nutzen, um auf Vorstandsebene auf das Risiko des Gesamtkonstruktes aufmerksam zu machen?
7. Wie bewerten Sie die Art und Weise der Lerndatengenerierung?
8. Welche Einzelaspekte führen zu der Gesamtsituation und wie würden Sie diese vom Gewicht ihrer negativen Auswirkung aus betrachtet bewerten?
9. Welche Gegenmaßnahmen entsprechend dieser Einzelaspekte würden Sie vorschlagen? Wie beurteilen Sie deren Wirksamkeit, um die Gesamtsituation zu verbessern?

Erschienen im Informatik Spektrum 43(1), 2020, S. 59-60, doi : 10.1007/s00287-020-01236-9