Fallbeispiel: Der Albtraum

Christina B. Class, Debora Weber-Wulff

Andrea, Jens und Richard sitzen in ihrer Lieblingspizzeria in Hamburg und feiern bei Bier und Pizza den erfolgreichen Abschluss der Softwaretests des Projekts ,,SafeCar“. Das Projekt wird morgen in Hamburg zum TÜV-Test gehen und sie sind schon fertig. Sie müssen nicht die Nacht durcharbeiten!

Sie arbeiten im Unternehmen SmartSW GmbH in Hamburg und sind für die Entwicklung einer Softwaresteuerung für die Sicherheitskomponente des neuen Automodells KLU21 des Autoherstellers ABC verantwortlich.

Der Autohersteller ABC stand in letzter Zeit wirtschaftlich ziemlich unter Druck, da er sich zu sehr auf die klassischen Antriebssysteme statt auf Elektromotoren konzentriert hat. Die Skandale um Dieselfahrzeuge in den letzten Jahren haben ihm zunehmend zu schaffen gemacht.

Das aktuelle sparsame Hybridmodell KLU21 soll durch eine neue intelligente Fahrsteuerung und ein erweitertes Sicherheitssystem ergänzt werden. Dieses soll eine intelligente Fahrunterstützung mit Hilfe von Echtzeitdaten anbieten. Durch Verwendung der neuesten Kommunikationstechnologien
will ABC das angeschlagene Image verbessern. ABC möchte als modernes Unternehmen und Pionier wahrgenommen werden und hofft, dadurch etwas Marktanteil zurückgewinnen zu können und Arbeitsplätze zu erhalten.

Im Rahmen des Projekts SafeCar wurde ein Sicherheitssystem für KLU21 mit künstlicher Intelligenz entwickelt. Zum einen verhindert die Software, dass ein Auto von der Fahrspur abkommt. Hierzu werden Informationen der externen Kameras verknüpft mit der Lokalisation des Fahrzeugs und aktuellen Verkehrsdaten über den Straßenzustand und Satellitendaten, die in Echtzeit von einer gesicherten Cloud geladen werden. Das Auto nimmt auch die anderen Autos auf der Straße wahr und erzwingt die Einhaltung des Sicherheitsabstands.

Zum anderen soll eine auf den Fahrer gerichtete Kamera feststellen, wenn sich die Augen des Fahrers schließen. Das könnte bedeuten, dass er in einen Sekundenschlaf fällt oder ohnmächtig geworden ist. Ein Alarmton soll den Fahrerwecken. Kann das System keine sofortige Reaktion des Fahrers beobachten, übernimmt es die automatische Steuerung und bringt das Fahrzeug unter Beachtung der Straßensituation und des Verkehrs am Straßenrand zum Stehen. Die maximale Reaktionszeit des Fahrers bis die Software die Steuerung übernimmt, hängt von der Straße, dem Straßenzustand sowie der Verkehrssituation ab, um das Risiko für alle Verkehrsteilnehmer zu minimieren.

Andrea, Jens und Richard haben dem Projektleiter vorgeschlagen, zu erkennen, wenn der Fahrer mit dem Mobiltelefon hantiert, und eine Warnung auf dem Display anzuzeigen und ein Warnsignal zu senden. Jens und Richard haben sich ferner den Spaß gemacht, automatisch zu erkennen, wenn eine Fahrerin Lippenstift appliziert. Das Auto soll dann pfeifen – aber auch nicht immer, nur durchschnittlich jedes sechste Mal. Natürlich soll dieses Feature nicht aktiviert werden.

Es war ja so einfach, die Bilder via den 5G-Netzwerk zum Cloud Cluster zu schicken, und dort die Bilder zu zerlegen und zu schauen, ob sie was erkennen können. Um den Sekundenschlaf und Ohnmacht möglichst genau zu erkennen, haben sie das Programm mit vielen Daten, die sie eigens dafür erhalten haben, trainiert. Handy oder Lippenstift zu erkennen war dagegen eine einfache Fingerübung. Es gab ja ausreichend freie „Trainingsdaten“ (Bilder und Videos) im Internet zu finden.

Sollte das Auto eine technische Panne haben, der Fahrer das Bewusstsein verlieren oder ein Unfall passieren, wird ein automatischer Notruf an die Polizei abgesetzt mit den relevanten Daten betreffend des Autos, der Art der Panne oder des Unfalls, Information betreffend des Bedarfs nach einer Notarzt und der genauen Angabe, wo das Auto steht.

Nachdem sie viele Überstunden gemacht haben, feiern Andrea, Jens und Richard den erfolgreichen Abschluss der Tests ausgelassen. Nach vielen erfolgreichen In-House Tests sind sie in den letzten beiden Tagen mit einem auf der Beifahrerseite installierten System durch die Straßen der Stadt und der näheren Umgebung gefahren, und haben alle Informationen und Befehle des Systems protokolliert. Die Auswertung hat gezeigt, dass alle gestellten Situationen korrekt erkannt wurden. Sie haben heute von ihrem Teamleiter schon ein dickes Kompliment erhalten. Sie klönen miteinander bis weit nach Mitternacht.

Als Andrea mit dem Taxi nach Hause gefahren ist, fühlt sie sich plötzlich ziemlich durstig. Mit einer Flasche Mineralwasser setzt sie sich auf das Sofa und schaltet den Fernseher ein. Es kommt eine Wiederholung einer Talkshow, bei der es, wie seit Monaten schon, um den aktuellen Stand des 5G Netzausbaus geht. Es wird wieder einmal diskutiert, wie viele Funklöcher in ländlichen Gebieten existieren, die immer noch nicht geschlossen wurden. Dazu kommen unzureichende Regeln für nationales Roaming.

Ein Firmenvertreter behauptet, es werde nur noch wenige Funklöcher geben, wenn der 5G-Ausbau fertig ist. Eine Zuschauerin beklagt sich dagegen heftigst darüber, dass sie trotz des neuen Netzes nur im Garten Empfang hat. Ihre neu hinzugezogene Nachbarin, die noch einen Vertrag mit einem anderen Netzanbieter hat, hat nur auf dem Friedhof am Ende des Ortes Empfang, da das Roaming nicht verpflichtend ist. Eine heftige Diskussion entbrennt…

Andrea ist sehr müde. Sie lehnt sich zurück. Die Augen fallen ihr zu …: Sie fährt Auto. Die Strecke ist kurvenreich und dasWetter ist sehr neblig, sie hat kaum Sicht. Sie ist froh, dass sie einen KLU21 fährt, er unterstützt sie dabei, auf der rechten Spur zu bleiben. Doch plötzlich merkt sie, wie die Lenkunterstützung des Autos ausfällt. Sie ist nicht darauf vorbereitet und bevor sie recht reagieren kann, hat ihr Auto die Fahrbahn verlassen und kracht seitlich gegen einen Baum. Sie wird schräg nach vorne geschleudert, so dass sie unglücklich auf den Airbag auftrifft. Sie verliert das Bewusstsein.

Sie beobachtet wie sie bewusstlos im Auto sitzt. Gleich wird Hilfe kommen, zum Glück hat KLU21 einen Notruf abgesetzt. Sie sieht sich im Auto um, die Notfall-Leuchte blinkt nicht, warum wurde kein Notruf abgesetzt? Sie blutet! Warum kommt keine Hilfe? Plötzlich weiß sie es! Ein Funkloch … Die Lenkunterstützung konnte so nicht ausreichend funktionieren, da Echtzeitdaten fehlten, genauso wenig die Benachrichtigung der Notrufzentrale … Hallo? Hört mich jemand? Warum kommt kein Auto vorbei? Warum hilft mir niemand? Hilfe, ich blute! Ich verblute!

Schweißgebadet wacht Andrea auf! Sie braucht einen Moment, um sich zu beruhigen und zu begreifen, dass es nur ein Traum war, sie sich in ihrer Wohnung befindet und es ihr gut geht.

Und dann erinnert sie sich an die erfolgreichen Softwaretests von heute und die Sendung mit den Beschwerden über unzureichende Netzabdeckung in manchen ländlichen Gebieten. Auch da führen Straßen durch. Warum haben sie nie darüber nachgedacht, als sie die Software für KLU21 entwickelt haben? Warum haben sie nie ihren Auftraggeber darauf angesprochen? Ihre Tante wohnt ja in Sankt Peter-Neustadt und hat schon öfters über ihre schlechte Verbindung geklagt. Sie muss unbedingt mit ihrem Chef sprechen …

Fragen

1. Tests zu gestalten ist sehr schwer. Im vorliegenden Beispiel sind die Entwickler maßgeblich an den Tests beteiligt. Ist dies gerechtfertigt? Wie kann sichergestelltwerden, dass die Tests nicht verzerrt werden und zu falschen Ergebnissen führen? Wie stark sind Anforderungen an Tests in Abhängigkeit von der Sicherheitsrelevanz der Software zu definieren? Wie stark beeinflussen Deadlines und wirtschaftlicher Druck die Durchführung von Softwaretests?
2. Tests können die Fehlerfreiheit von Software nicht nachweisen. Noch weniger ist es möglich, nachzuweisen, dass die Software nichts macht, was nicht gefordert ist. In dem Beispiel wurde mit der Lippenstifterkennung ein sogenanntes Easter Egg (Osterei) eingefügt, das nicht aktiviert wird. Welche Probleme können sich durch ein solches Easter Egg ergeben? Wie ist ein solches Easter Egg zu beurteilen, wenn die Entwickler es in ihrer „Freizeit“ entwickelt haben?
3. Es handelt sich im Beispiel um eine sicherheitskritische Anwendung, die mit Trainingsdaten trainiert wird. Wie kann man die Qualität der Trainingsdaten sicherstellen? Welche Richtlinien sollte/kann es hierfür geben? Wann und unter welchen Umständen sollte erzwungen werden, dass ein System mit neuen Daten lernt? Wie müssen erneute Tests aussehen, wenn das System weitere Trainingsdaten erhalten hat? Müssen alle bisherigen Tests erneut wiederholt werden? Dürfen sich Personen, die Trainingsdaten definieren, auch an der Entwicklung von Tests beteiligen? Wenn nicht, warum nicht?
4. Im Internet sind viele Bilder und Videos „frei“ zu finden. Dürfen diese einfach als Trainingsdaten verwendet werden? Wenn nicht, warum nicht? Wenn ja, gibt es Einschränkungen für die Art von Anwendungen, für die man sie verwenden darf?
5. Für gewisse Anwendungsbereiche oder auchWettbewerbe im Bereich von Data Mining und KI gibt es frei verfügbare, anwendungsspezifische Datensets (open data). Ist es erlaubt, diese für andere Arten von Anwendungen/Fragestellungen zu verwenden? Welche Anforderung muss an die Dokumentation solcher Datensets gestellt werden, in Bezug auf Datenquelle, Auswahl der Daten und getroffenen Annahmen? Wie groß ist die Gefahr, falsche Schlussfolgerungen zu ziehen, wenn man solche Daten verwendet?
6. In den aktuellen Diskussionen über 5G wird häufig über die Notwendigkeit einer flächendeckenden Abdeckung sowie von National Roaming gesprochen.Wie wichtig ist eine solche? Ist es vertretbar, sicherheitskritische Anwendungen zu erstellen, so lange nicht sichergestellt ist, dass die Infrastruktur flächendeckend zur Verfügungsteht? Ist es vertretbar, Anwendungen zu schreiben, die nur lokal genutzt werden können/dürfen, also z. B. nur in der Stadt? Wenn der Nutzer nach einem Umzug ein Systemnicht mehr benutzen kann, sollte er dann eine Entschädigung erhalten?
7. Funklöcher betreffen heute schon viele Regionen, in denen mit einem Handy z. B. keine Rettungskräfte oder Polizei gerufen werden kann oder in denen Rettungskräfte keinen Kontakt mit der Leitstelle aufnehmen können.Wie stark ist die Politik gefordert, hier regulierend einzugreifen? Wie stark ist diese Digital Divide wirklich in Deutschland? Können wir es uns als Industrienation leisten, dass diese weiterhin bestehend bleibt, bzw. u.U. mit dem 5G Ausbau verstärkt wird?

Erschienen im Informatik Spektrum, 42(3), 2019, S. 215-217, DOI: 10.1007/s00287-019-01171-4