|
|
Christina B. Class, Carsten Trinitis, Nikolas Becker
Lisa und Martin haben sich im Studium kennengelernt und sind seitdem unzertrennlich. Beide haben Informatik auf Lehramt studiert, Martin mit Biologie, Lisa mit Physik im Nebenfach. Nun, fünf Jahre später, arbeiten sie zusammen beim Start-up-Unternehmen SchoolWithFun, das der gemeinsame Studienkollege Andreas gegründet hat. SchoolWithFun hat sich auf die Entwicklung von digitalen Unterrichtsmaterialien für Gymnasien spezialisiert. Die Materialien sind für den Einsatz während des Unterrichts gedacht und entworfen. In naturwissenschaftlichen Fächern kommen auch Simulationen zum Einsatz. Die Materialien sind für Tablets optimiert, welche den Schülerinnnen und Schülern von den Schulen zur Verfügung gestellt werden.
Die Gründer von SchoolWithFun haben von Anfang an großen Wert darauf gelegt, den ökologischen Fußabdruck ihrer Tätigkeit so gering wie möglich zu halten. SchoolWithFun hat daher Büros in einem Neubau von ÖkOffice angemietet, der mit neuester energieeffizienter Haustechnik ausgestattet ist. Neben energieeffizienter Dämmung, Dreifachverglasung und Solarzellen für Heizung und Warmwasser verfügt das Haus über allerlei „smarte“ Technologien, die sich mittels einer maßgeschneiderten App bequem vom Mobiltelefon aus steuern lassen.
Damit ist es möglich, Verbrauchskomponenten wie Heizung oder Licht automatisch nur dann zu aktivieren, wenn sich Personen im Haus befinden. Dies kann beliebig feingranular justiert werden, so dass jedes Gerät, das an der Steckdose hängt, wirklich nur dann aktiv ist, wenn es benötigt wird. Die Miete für die Büroräume zahlt SchoolWithFun in Kryptowährung, da dies für den Eigentümer ÖkOffice, der zahlreiche smarte Büroräume weltweit vermietet, wesentlich einfacher ist. ÖkOffice möchte gerne digitale Währungen fördern, die das Bezahlen mit Bargeld, also anonymes Bezahlen, nachahmen.
Lisa und Martin sind beide Vegetarier, meist vegan lebend, und versuchen auch privat, ihren ökologischen Fußabdruck klein zu halten. Es ist für sie selbstverständlich, jeden Freitag – wann immer möglich – an den regelmäßigen Demonstrationen der Fridays-for-Future-Bewegung teilzunehmen.
Im Anschluss an die letzte Demonstration kommen sie mit einem Vertreter des Bund Naturschutz (BUND) ins Gespräch, der ihnen ein Flugblatt mitgibt, das den Energieverbrauch digitaler Technologien thematisiert. Insbesondere geht es hier um Smart Homes und Internet of Things. Im Flugblatt ist eine Studie des Bund Naturschutz (BUND) erwähnt, die auch vom Bundesumweltministerium unterstützt wurde. In dieser heißt es: „Die Vernetzung von bisherigen Produkten kann zu erheblichen Mehrverbräuchen von Energie und Ressourcen führen – europaweit könnten so Mehrverbräuche von bis zu 70TWh im Jahr entstehen; pro Gerät bis zu 26kWh. Hierfür ist insbesondere der Standby-Stromverbrauch im vernetzten Bereitschaftsbetrieb verantwortlich“ [1].
Interessiert laden sich die beiden die Studie herunter. Sie möchten herausfinden, inwieweit dies auch auf ihr vermeintlich ressourcen-schonendes Büro zutrifft. Um die Betriebszeiten zu minimieren, müssen ja alle energieverbrauchenden Geräte vernetzt und permanent im Empfangsmodus sein.
Lisa und Martin setzen sich mit einem Glas Bier auf den Balkon und beginnen, den Energieverbrauch ihrer Büroräumlichkeiten mit Daten, die sie im Netz finden, abzuschätzen. Die Zahlen sind erschreckend … sie blicken sich verwundert an. Ob sie einmal mit Andreas darüber sprechen sollten? Er hatte sich ja so gefreut, die Räumlichkeiten bei ÖkOffice zu finden. Plötzlich schlägt sich Martin die Hand vor den Kopf und sagt: „Die Miete! Wir zahlen die Miete bei ÖkOffice doch mit Kryptowährung! Hast du eine Idee, wie energieintensiv das ist?“ Sie werden schnell fündig und finden Informationen zum Energieverbrauch von Kryptowährungen. Schweigend blicken sie sich an …
Ein Jahr später sitzen die beiden wieder auf ihrem Balkon und reden erneut über die Smart-Home-Ausstattung ihres Büros. Nachdem sie im letzten Sommer zu dem Entschluss gekommen waren, dass sie Andreas ausschließlich auf die Problematik der Kryptoüberweisung ansprechen würden, ist die Smart-Home-Technik heute unerwartet zum Thema in der Firma geworden: Durch einen Zufall ist Andreas darauf aufmerksam geworden, dass „EasySmart“, der chinesische Hersteller ihrer Komponenten, vor einem Monat Bankrott ging. Anders als ihnen in der Werbung versprochen wurde, können sie daher nicht davon ausgehen, dass ihre Geräte in den nächsten Jahren mit den nötigen Sicherheitsupdates versorgt werden.
Andreas macht sich daher große Sorgen um die IT-Sicherheit von SchoolWithFun. Er beabsichtigt, bereits nächste Woche alle Smart-Home-Komponenten durch neuere Modelle eines anderen Herstellers austauschen zu lassen. Lisa, die sich in ihrem Studium intensiv mit IT-Sicherheit beschäftigt hat, unterstützt Andreas’ Vorhaben. Um jeden Preis müssen sie verhindern, dass Angreifer Zugriff auf ihr internes Firmennetz erlangen, in dem unter anderem auch die Kundendaten der Firma gespeichert sind. Martin jedoch ist dagegen. Er denkt beim Austausch der gerade einmal ein Jahr alten Geräte an den wachsenden Müllberg aus Elektroschrott. Welcher Angreifer hat es schon auf ihre kleine Firma abgesehen? So dringend wird der Austausch doch wohl nicht sein. Nachdem die beiden über eine Stunde diskutiert haben, gießt sich Lisa resigniert noch ein Glas Bier ein. „Nur Ärger mit diesem Smart-Home-Zeug“, seufzt sie.
Fragen
- Sowohl die Produktion als auch die Nutzung von elektrischen Geräten verbraucht Rohstoffe und Energie. Inwiefern muss man sich als Anwender damit auseinandersetzen?
- Das Smart Home verspricht unter anderem, Energie einzusparen, indem nur bei Bedarf geheizt, beleuchtet etc. wird. Gleichzeitig setzt das Smart Home auf Sensoren und Steuerungselemente, die Strom benötigen. Wie soll eine Nutzenabwägung erfolgen? Wer soll daran beteiligt sein?
- Neue Versionen von Betriebssystemen und Software mit steigenden Performance- und Speicheranforderungen machen es oft notwendig, neue Geräte zu kaufen, obwohl die alten noch funktionsfähig sind. Gibt es Möglichkeiten, hier gegenzusteuern, um Ressourcen zu schonen? Wie stark basiert unser Wirtschaftskreislauf auf dem regelmäßigen Austausch von Geräten? Sind Alternativen denkbar, die auch bei längeren Produktlebenszyklen Arbeitsplätze erhalten?
- Smart-Home-Geräte sind kleine Computer. Genauso wie unsere Smartphones und Laptops benötigen auch sie von Zeit zu Zeit Sicherheitsupdates. Doch wer kümmert sich darum, die Geräte auf dem neuesten Stand zu halten? Wie viel Vertrauen können wir in die Hersteller setzen?
- Digitale Währungen sind eigentlich ganz praktisch, weil sie ähnlich wie Bargeld anonymes Bezahlen erleichtern. Sie erleichtern aber auch Steuerhinterziehung. Sollten sie deshalb verboten werden?
- Zum Energieverbrauch der Kryptowährung Bitcoin: https://www.tum.de/nc/die-tum/aktuelles/pressemitteilungen/details/35498/. Ist es in Anbetracht des Energieverbrauchs jeder Transaktion einer Kryptowährung überhaupt vertretbar, diese aufgrund der besseren Privatsphäre zu verwenden? Was wiegt hier höher – Privatsphäre oder Energieeffizienz?
Literatur
1. Hintemann R, Hinterholzer S (2018) Smarte Rahmenbedingungen für Energie- und Ressourceneinsparungen bei vernetzten Haushaltsprodukten. Borderstep Institut für Innovation und Nachhaltigkeit gGmbH, Berlin (gefördert durch das Umweltbundesamt
und das Bundesministerium für Umwelt, Naturschutz und nukleare Sicherheit)
Erschienen im Informatik Spektrum 43(2), 2020, S. 159-161, doi : 10.1007/s00287-020-01256-5
Dominik Pataky, Christina B. Class
Noah is co-founder and CTO of a small, but ambitious Startup, SmartEcoTours. The company offers environmentally sustainable vacation and excursion packages on its internet platform. Trips are curated from carefully selected partners and can be booked by clients through the platform. All packages use mostly sustainability-certified businesses and partners. The SmartEcoTours platform is financed by brokerage fees from online bookings.
Over the course of the startup’s six-year history, Noah has been responsible for various reconfigurations and expansions of the platform, working to guarantee the sustainability of online offerings on the one hand, and keeping up with the steady increase in consumer demand and attendant offers on the other. In recent years, increased interest in sustainable travel has led to a substantial boost in visitors and bookings on the platform. While this has brought with it tremendous sales growth, it’s also meant that Noah and his colleagues have had to provide timely technical support. The stability of the platform is essential to retaining clientele. Even though they aren’t exactly swimming in capital surplus, Noah is satisfied with the current situation and confident that the company will continue to hold its own in this highly competitive market.
One reason for the company’s success is that the platform has added more functionalities and new technologies to the platform over the years. The initial prototype consisted of a website with underlying scripts and a databank. It has developed into a complex software landscape uniquely tailored to the platform’s applications. Noah now coordinates multiple departments: for example, one that specializes in data interfaces, one that manages the distributed server cluster, and a machine learning team that uses artificial intelligence to increase offers on the platform. Unfortunately, because there has never been enough time to properly migrate all components, various legacy issues from the original version of the platform remain and must be tended to.
SmartEcoTours not only offers sustainable excursions and trips, it has set many sustainability goals for long-term positive environmental and social outcomes. Every year in January, Noah and his colleague Freya, also a co-founder and CEO of SmartEcoTours, revisit and reformulate the company’s guidelines for Corporate Social Responsibility (CSR Guidelines) which are audited for compliance by a third party at the end of each year. This guarantees that SmartEcoTours practices what it promises. It is also a member of a social entrepreneurship network that allows them to exchange ideas with like-minded organizations and lends credence to their own convictions.
One of Noah’s responsibilities in the context of climate goals is to monitor the energy sources of their data centers. He conducts site visits at each operator’s facilities and obtains certification that all of the data center’s electricity is supplied by renewable energy sources. The company’s own hardware is also kept in use for as long as possible and then disposed of in an environmentally friendly manner. The auditors consistently attest to SmartEcoTours‘ excellent results in this area.
However, reports from the last two years have mentioned that employees are under a great degree of pressure, particularly in the technical teams. Concern that the competition could challenge SmartEcoTours‘ market position has repeatedly led to stressful periods with little sleep and a lot of frustration for the whole team. Noah knows there’s room for improvement in this regard, but there has never been enough revenue to fund another staff position. They still haven’t been quite able to achieve their goal of creating employee-oriented working conditions and reducing overtime. This is one of the top priorities for next year.
Above and beyond these existing challenges, the two founders now face a decision that will have long-term consequences:
At this year’s trade fair, SmartEcoTours established contact with another firm, AdventureLive. AdventureLive has expressed interest in acquiring shares of SmartEcoTours. After preliminary talks with AdventureLive, Freya calls a meeting with Noah. Noah is taken aback. While he knows that they don’t have an overabundance of reserves, he’s not enthusiastic about having shareholders. Freya, on the other hand, explains that they need to develop new ideas and products if they hope to maintain their market position and, as it stands, existing funds are insufficient for making investments. If they don’t act now, they could run into problems retaining customers in the medium term. It’s not necessarily urgent, and she didn’t want to worry Noah, but this surely looks like a prime opportunity: AdventureLive only wants to acquire 15% of the company, and with its expertise in live video streaming, it could be a promising partner.
What had emerged from the talks between Freya and Adventure Live was that together, they could develop a new and highly attractive product that combined platform uses with video. Freya presented the idea to Noah: With live streaming services on the SmartEcoTours platform, clients could broadcast their adventures live on the platform. They could rent a camera to mount on their backpack or gear and use it to record and stream in real-time. They could make the recordings visible to the public or only to a limited audience of friends and family. They could also connect their own cameras or cellphones to the service. Integrating streaming services could generate revenue from equipment rental fees and open a whole new marketing channel by bringing in viewers as potential clients for the platform.
But what Noah sees in the proposal is a huge wave of technical challenges crashing over his team: What about scalability? Will we need to hire new staff to connect the platforms? What are we going to do about incompatible software, and how long should the merger take? How will the video data be delivered, and is the infrastructure needed even verifiably sustainable? Who’s going to take on the maintenance and disposal of equipment? Where are we going to get the cameras and how do we get them to the consumers? Are SmartEcoTours’s CSR guidelines still feasible with this larger group of decision-makers?
Freya and Noah don’t really agree on how to assess the offer, but they must nevertheless decide within a few days whether to enter negotiations. On one hand, the financial involvement of a high-volume partner is a good way to secure the future by making crucial expansions to their product offerings and platform, maintaining their standards for quality, and continuing to live up to their ideals. On the other hand, they might lose their reputation in the partnership, should they be forced to deviate from their own corporate philosophy. And that would threaten their market position and competitive advantage in ecotourism.
Questions:
- Should they just go ahead with the merger?
- Sustainability also requires that people travel less in the interest of protecting the environment. The question is, which comes first: demand or supply? Couldn’t you contend that the availability of products on SmartEcoTours in itself increases demand? How does this question relate to the potential new options for video streaming? Is there a risk that video streaming—itself a resource-intensive offering—will eventually do more damage than anticipated?
- SmartEcoTours has externally audited CSR guidelines. How can customers determine the degree to which these guidelines are adhered to? How are customers to know whether these guidelines aren’t simply a marketing gimmick? How can Freya and Noah inform the public about their CSR guidelines without being suspected of formulating them solely for marketing purposes?
- All the trips and excursions offered by SmartEcoTours are stamped with environmentally responsible certificates. But it’s often hard for non-initiates to determine the value of such environmental certificates. They’re often just marketing gimmicks, or ploys to evade legal regulations. Certification usually costs money. What criteria should any firm use to decide what certificates to apply for? How can the consumer even check to see what any given certificate is worth? What happens if an environmental certificate loses its value over time, due to forgeries or fraud, for example? How does this reflect on companies and services that have already been certified? Is it best to have multiple certificates if possible?
- Are any other models for “certification” feasible, based on reviews by many different users, for example? What form of quality control is possible here?
- What should Noah do about the CSR audits criticizing the working conditions in his team?
- In addition to monitoring the energy sources, should Noah also consider the impact of running inefficient legacy components and the overhead costs of distributed systems on energy consumption? Could increased reliance on more sophisticated, optimization-free software—much of which has been developed as open-source source software jointly by competitors and users—make a difference in this regard?
- Machine learning algorithms could become available to support the sorting and filtering of new offers. How can sustainability be guaranteed when using automated processes such as these, where there is no human being to monitor in a timely fashion whether the platform’s offerings are still the most sustainable?
- Is it even possible to monitor the sustainability of infrastructure beyond renting cabinets in data centers? What options does Noah have, for example, to check for environmental standards on the content delivery network required for video streaming?
Published in Informatik Spektrum 43(4), 2020, S. 302–304.
—Translated from German by Lillian M. Banks
Otto Obert, Debora Weber-Wulff
Zeit: In der nahen Zukunft
Paula und Viktor arbeiten nach ihrem gemeinsamen Studium seit einigen Jahren schon bei der Flying-Bavaria, einem noch recht jungen und aufstrebenden Unternehmen im Bereich Transport- und Passagierdrohnen. Paula ist als Informatikerin in einem interdisziplinären Team eingesetzt, das sich unter Hochdruck mit der Weiterentwicklung von autonomen Flugtaxis hin zur Marktreife beschäftigt. Viktor hingegen ist als Assistent des Vertriebsvorstandes und Schnittstelle zum Produktmanagement eingesetzt. Paula und Viktor sind sehr eng befreundet, können sich alles anvertrauen und treffen sich regelmäßig mindestens einmal pro Woche beim Badminton-Betriebssport, wo auch viele andere Kollegen aus den verschiedensten Unternehmensbereichen mit Freude teilnehmen und sich alle am Rande gerne privat wie beruflich rege austauschen.
Flying-Bavaria und ihr Hauptkonkurrent Air-Hang haben vom Bundesministerium für Verkehr und digitale Infrastruktur einen Millionenzuschuss bekommen, um möglichst rasch Prototypen für Passagierdrohnen zu erstellen. Sie wollen möglichst kostengünstig und vor allem noch vor Air-Hang einen Zweisitzer herausbringen. Laut Prognosen wird dies das mit Abstand umsatzstärkste Marktsegment. Daher leuchtet es ein, dass Flying-Bavaria einfach ihr bei Transportdrohnen bereits verfügbares und bewährtes Antriebsaggregat im Prototypen verwenden soll. Was schon läuft, kann nicht ganz verkehrt sein.
Allerdings ist dieses Antriebsaggregat für die Anwendung in einem Zweisitzer leicht unterdimensioniert. Bei ungünstigen Wetterbedingungen neigt es zur Instabilität. Es werden einfach zwei Aggregate verwendet, die aber miteinander kommunizieren müssen. Daher wurde das Team um Paula damit beauftragt, ein Maneuvering Characteristics Augmentation System (MCAS) zur Koordinierung der Flugstabilisierung zu entwickeln. In der Marketingliteratur wird man den eingeführten Begriff „Künstliche Intelligenz“ verwenden, obwohl das System nur auf Basis der Daten von Lagesensoren und mit dem Einsatz eines einfachen Algorithmus die Flugtauglichkeit garantieren soll. Schließlich sind es einfache, physikalische Zusammenhänge, die hier berechnet werden.
Paula empfindet das geplante Design des Zweisitzers als Fehlkonstruktion. Sie ist sich des Stellenwertes des MCAS bewusst und spricht mit ihrem Team über die Methodenauswahl. Im Scherz meint Andreas, ihr Maschinenbauingenieur: „Lasst uns doch KI einsetzen, wenn die Werbefritzen das schon schreiben!“. Eigentlich ist das keine schlechte Idee, meint Paula, und das Team beginnt, sich mit überwachten, selbstlernenden Verfahren zu beschäftigen. Allerdings brauchen sie noch sehr viel Zeit, sich in das Thema einzuarbeiten und die Algorithmen entsprechend zu trainieren.
Da es noch kein System gibt, das die geeigneten Trainingsdaten erzeugen kann, bietet sich Andreas an, diese zu generieren. Er habe ja im Studium gelernt, wie gut man mit einfachen Prototypen Daten generieren kann und dann mit einem weitverbreiteten Rechensystem durchrechnen lässt, wie die Parameter zu setzen sind. Er macht sich mit Begeisterung auf den Weg, einige neue Modelldrohnen für seine Experimente zu kaufen. Er erstellt „Menschendummys“ für die Drohnen, die vom Gewicht her passend sind, und zeichnet fleißig Flugdaten auf. Dann fragt er beim Team nach, das ein Einsitzermodell baut, ob sie nicht auch Daten haben, damit er überprüfen kann, ob er bei seinen Werten vielleicht einen Overfitting erzeugt hat oder nicht. Bei einer true positive rate von 97% ist er schwer begeistert – es funktioniert!
Aber Paula ist nicht so glücklich über die Lerndatengenerierung. Es gab ein sehr komplexes Umrechnungsmodell, angepasst an die Architektur des Zweisitzermodells, mit den Daten aus dem Transport- und dem Einsitzermodell. Sie ist sich nicht sicher, ob Algorithmen aus Modellen und Einsitzer sich beliebig auf Zweisitzer anwenden lassen. Paula weiß nur zu gut um Verzerrungen (Bias) in den Lerndaten, die man nie ganz in den Griff bekommen kann.
Nach einem Badmintonabend sitzen Paula, Viktor und weitere Kollegen auf ein Bier zusammen und kommen auch auf das aktuelle Thema, den Zweisitzer, zu sprechen. Viktor berichtet aus einer Vorstandssitzung, in der aufgrund des erneut gestiegenen Zeitdrucks weitere Maßnahmen vorgestellt wurden, mit der Bitte um Erarbeitung der Für und Wider. In der nächsten Vorstandssitzung in ein paar Tagen soll dann nach Diskussion und Abwägung entsprechend beschlossen werden.
Unter anderen ist man im Vorstand aktuell der Überzeugung, bei der Meldung für die Zulassung an die Flugaufsichtsbehörde das MCAS als nicht systemrelevant einzustufen. Auch sollen alle Möglichkeiten genutzt werden, die Entwicklungszeit zu verkürzen, was auch Paulas Methodenentscheidung revidieren würde. Viktor berichtet aus Gesprächen mit dem Produktmanagement über technische Konsequenzen aus der Einstufung des MCAS als nicht systemrelevant. Dadurch könnte man nun formal auf die redundante Auslegung des Lagesensors verzichten, um wieder etwas Kosten und besonders Zeit zu sparen. Immerhin waren selbst ein paar Kollegen im Produktmanagement dagegen, sie haben es als unverantwortlich kommentiert. Paula hatte mit mindestens vier Lagesensoren gerechnet, ist insgesamt entsetzt und möchte handeln.
Fragen
- Sollte Paula mit dem Vorstand über ihre Sorgen sprechen? Sie bringt damit Viktor in eine schwierige Situation, denn die Diskussionen im Vorstand sollen geheim bleiben, bis eine Entscheidung getroffen worden ist.
- Sollte der Vorstand bei technischen Fragen nicht besser direkt mit den Fachabteilungen sprechen?
- Hätten Paula und ihr Team bei der Methodenauswahl schon aus ethischen Gründen maschinelles Lernen ablehnen sollten?
- Als Maschinenbauer hat Andreas nicht besonders viel Erfahrung mit den Algorithmen, die sein Rechensystem anwendet. Er vertraut einfach auf die Ergebnisse, die geliefert werden. Hat er die Verantwortung für die Ergebnisse oder das gesamte Team?
- Ist eine true positive rate von 97% bei Systemen, die Menschenleben tangieren, wirklich ein guter Wert?
- Sollte Viktor seine Rollen als Direktreport zumVertriebsvorstand und Schnittstellenkoordinator nutzen, um auf Vorstandsebene auf das Risiko des Gesamtkonstruktes aufmerksam zu machen?
- Wie bewerten Sie die Art und Weise der Lerndatengenerierung?
- Welche Einzelaspekte führen zu der Gesamtsituation und wie würden Sie diese vom Gewicht ihrer negativen Auswirkung aus betrachtet bewerten?
- Welche Gegenmaßnahmen entsprechend dieser Einzelaspekte würden Sie vorschlagen? Wie beurteilen Sie deren Wirksamkeit, um die Gesamtsituation zu verbessern?
Erschienen im Informatik Spektrum 43(1), 2020, S. 59-60, doi : 10.1007/s00287-020-01236-9
Christina B. Class, Stefan Ullrich
Alex hat vor etwas mehr als einem Jahr seine Masterarbeit im Bereich Künstliche Intelligenz und Gesichtserkennung abgeschlossen. Sein adaptiertes selbstlernendes Verfahren konnte die bisherigen Ergebnisse der Echtzeit-Gesichtserkennung deutlich verbessern. Als er seine Abschlussarbeit auf einer Tagung vor einem Jahr vorgestellt hat, inklusive Proof-of-Concept auf der Bühne, wurde er vom Leiter der KI Forschungs- und Entwicklungsabteilung der EmbraceTheFuture GmbH angesprochen. Diese wurde vor drei Jahren gegründet, mit Schwerpunkt auf der Entwicklung angepasster Softwaresysteme, insbesondere im Bereich der intelligenten Systeme sowie Sicherheitssysteme. Nach einem kurzen Urlaub nach Ende seines Studiums nimmt Alex eine Stelle bei EmbraceTheFuture GmbH an.
In einem kleinen Team arbeitet er zurzeit imAuftrag der Bundespolizei an Gesichtserkennungssoftware für ein neues Sicherheitssystem namens ,,QuickPicScan“ an Flughäfen. In Echtzeit werden die Gesichter der Passagiere an der Sicherheitskontrolle mit Fahndungsbildern verglichen, um verdächtige Personen zur Seite zu nehmen und extra zu kontrollieren. Die Behörden erhoffen sich so, gesuchte Personen bei Flügen innerhalb des Schengenraums identifizieren zu können, da dort keine umfassenden Passkontrollen vorgenommen werden.
Zudem soll der Durchsatz der kontrollierten Personen gesteigert werden. Das System wurde mit Millionen von Bildern umfassend trainiert. Bilder von gesuchten Personen, Fahndungsbilder, sind in einer Datenbank gespeichert, auf die bei einem Bildabgleich zugegriffen wird. Dadurch kann das System leicht an aktuell gesuchte Personen angepasst werden. Am Flughafen werden Bilder aller Passagiere in niedriger Qualität aufgenommen, sobald die Sicherheitsschleuse durchschritten wird.
Wenn die Software anschlägt, wird der übliche ,,Metall gefunden“-Alarm ausgelöst. In der darauffolgenden Durchsuchung wird das Gesicht in höherer Auflösung unter besseren Lichtverhältnissen fotografiert und erneut mit den Bilddaten verglichen. Erst wenn dieser zweite Test auch positiv ist, erfolgt eine tiefergehende Kontrolle im Nebenraum mit Abgleich der Personalien. Das Ergebnis des zweiten Tests wird an einem Kontrollterminal angezeigt. Die Fotos der Passagiere werden nicht gespeichert, ein eigenes Team stellt sicher, dass die aufgenommenen Bilder wirklich aus dem Hauptspeicher gelöscht werden und nicht von außen ausgelesen werden können. QuickPicScan wurde in Simulationen sowie in einem eigens dafür gebauten Studio mit einer nachgebauten Sicherheitskontrolle und Schauspielern umfangreich getestet.
Basierend auf den Tests geht das Team von einer False Negative Rate von 1 % aus, d. h. von 100 gesuchten Personen wird eine nicht gefunden. Die False Positive Rate – Personen, die zu Unrecht als verdächtig eingestuft werden – ist kleiner als 0,1 %. Sabine, die Marketingleiterin, ist von dem Ergebnis begeistert. Nur 0,1 % Fehlerrate für unschuldige Personen, das sei ein Riesenerfolg!
Um das System unter realen Bedingungen zu testen, wird es in Abstimmung mit der Bundespolizei während zweier Sommermonate in einem kleineren Flughafen mit einem Passagieraufkommen von ca. 400.000 Passagieren pro Jahr getestet. Das Kontrollterminal wird von einem Angestellten des Auftraggebers überwacht. Von 370 Darstellern wurden ,,Fahndungsbilder“ in unterschiedlich guter Qualität und verschiedenen Positionen aufgenommen und ins System gespeist.
Während der zwei Testmonate gehen die Darsteller zu vorher zufällig festgelegten Zeiten insgesamt 1.500 Mal durch die Sicherheitskontrolle. Sie geben sich nach Durchgang der Person am Kontrollterminal zu erkennen, damit das System getestet werden kann. Aufgrund der Ferienzeit werden in den zwei Testmonaten 163.847 Passagiere kontrolliert. Bei 183 Passagieren leuchtet die Lampe fälschlicherweise auf. Bei 8 der 1.500 Sicherheitskontrollen der Darsteller wurde die Übereinstimmung nicht erkannt.
Der Gesamtprojektleiter Viktor ist begeistert. Zwar war die False Positive Rate mit 0,11% etwas schlechter als ursprünglich erhofft, die False Negative Rate mit 0,53 % aber deutlich besser als angenommen. Mit diesen Zahlen und der Fehlerrate von 0,11 % geht EmbraceTheFuture GmbH an die Presse. Die Bundespolizei kündigt den baldigen Einsatz in einem Terminal eines großen Flughafens an.
Am Abend trifft Alex seine alte Schulfreundin Vera, die zufällig in der Stadt ist. Sie arbeitet als Geschichts- und Mathematiklehrerin. Nachdem sie sich über das neueste aus ihrem Alltag und Liebesleben aufs Laufende gebracht haben, berichtet Alex Vera begeistert von dem Projekt und erzählt von der Pressekonferenz. Vera reagiert ziemlich kritisch, automatische Gesichtserkennung behagt ihr irgendwie gar nicht. Darüber hatten sie schon während Alex’ Master häufiger diskutiert. Alex berichtet begeistert von den geringen Fehlerraten, der erhöhten Sicherheit und der Möglichkeit, untergetauchte Personen zu identifizieren. Vera schaut ihn skeptisch an. Sie findet die Fehlerrate überhaupt nicht gering. 0,11 % – bei einem großen Flughafen sind das doch Dutzende Personen, die für weitere Kontrollen beiseite genommen werden. Das findet sie gar nicht lustig.
Auch fragt sie sich, wie viele Personen, von denen es Fahndungsfotos gibt, tatsächlich mit dem Flugzeug fliegen. Alex will darüber nicht wirklich was hören und beginnt, ihr den Algorithmus, den er im Rahmen der Masterarbeit weiterentwickelt hat, genauer zu erläutern…
EinigeMonate später ist das System im AirportCityTerminal fertig installiert, Beamte wurden geschult und die Presse meldet den erfolgreichen Start.Wenige Tage später fliegt Alex vom AirportCityTerminal ab und freut sich schon darauf, an QuickPicScan vorbeizugehen und sich in dem Gefühl zu sonnen, dass er einen Beitrag zu erhöhter Sicherheit leisten konnte. Doch als er in die Sicherheitsschleuse getreten ist, piepst der Metall-Alarm. Er wird gebeten, die Arme auszustrecken, die Füße abwechselnd auf einen Hocker zu stellen und zu guter Letzt geradeaus zu schauen. Er schielt nach rechts auf denMonitor der Sicherheitsbeamten und sieht, wie die kleine Kontrollleuchte am QuickPicScan-Terminal leuchtet. Hoffentlich geht das schnell, es wird knapp mit seinem Flug. Da er kein Gepäck eingecheckt hat, würden sie nicht auf ihn warten.
Er wird in einen separaten Raum geführt wo man ihn bittet, seine Papiere bereitzuhalten. Ein Beamter steht ihm gegenüber. Alex will ihm seinen Personalausweis reichen, dieser meint jedoch, dass die zuständige Kollegin gleich kommen würde, sie müsse noch jemand anderen überprüfen. Alex wird langsam ungeduldig.
Er bittet darum, dass seine Identität überprüft wird. Nein, das ginge nicht, der postierte Sicherheitsbeamte habe noch keine Einweisung für das neue System bekommen. Erst acht Minuten später taucht die verantwortliche Beamtin auf. Nach der Identitätsfeststellung ist klar, dass es sich bei Alex nicht um eine gesuchte Person handelt.
Sein Gepäck wird dennoch minutiös untersucht. ,,Ist Vorschrift“, sagt die Beamtin knapp. Alex wird unruhig, den Flieger wird er wohl verpassen. Plötzlich kommt ihm das Gespräch mit Vera wieder in den Sinn. ,,Passiert das öfter?“, fragt er mit gespielter Freundlichkeit. ,,Ach, ein paar Dutzend sind es schon am Tag“, sagt die Beamtin, als sie ihn wieder zurück ins Terminal geleitet.
Fragen
- Alex wurde fälschlicherweise vom System als ,,Verdächtiger“ identifiziert und hat in Folge seinen Flug verpasst. Dies bezeichnet man als false positive. In welchen Fällen muss hingenommen werden, dass es false positive gibt? Welche Folgen sind für die Betroffenen hinnehmbar? Wie müssten Entschädigungen geregelt werden?
- Auch Menschen können Fehleinschätzungen vornehmen. In einer ähnlich gelagerten Situation wie in der geschilderten könnte Alex auch von einem Sicherheitsbeamten zur Seite genommen werden, um genauer kontrolliert zu werden. Gibt es hier einen prinzipiellen Unterschied?
- Menschen haben Vorurteile. Es ist bekannt, dass ausländisch aussehende Männer zum Beispiel häufiger kontrolliert werden. Welche Chancen bestehen, solche Diskriminierungen durch Menschen mithilfe von Softwaresystemen zu verringern?
- Selbstlernende Algorithmen benötigen Trainingsdaten. Die Ergebnisse der Algorithmen hängen damit stark von den Trainingsdaten ab. Dies kann zu im Algorithmus manifestierter Diskriminierung führen.
- Denkbar ist auch, dass z. B. Gesichter einer bestimmten Personengruppe weniger genau erkannt werden, wenn weniger Trainingsdaten zur Verfügung stehen.Dies kann sich auf Hautfarbe, Alter, Geschlecht, Vorhandensein eines Barts etc. beziehen. In einem System wie dem beschriebenen könnte dies dazu führen, dass Personen mit bestimmten äußerlichenMerkmalen schneller beiseite genommen werden, um sie zu kontrollieren.Wie kann man Trainingsdaten sinnvoll wählen, umdiskriminierende Systeme nach Möglichkeit zu verhindern? Wie kann man Systeme mit Blick auf solche Diskriminierungen testen?
- Gibt es einen konzeptionellen Unterschied zwischen im System manifestierter Diskriminierung und Diskriminierung durch Menschen? Welche ist einfacher zu identifizieren?
- Menschen tendieren dazu, Antworten, die von einer Software gegeben wird, schnell zu vertrauen und Verantwortung abzugeben. Macht dies Diskriminierung durch technische Systeme besonders gefährlich? Welche Möglichkeiten der Sensibilisierung gibt es? Sollte, und wenn ja in welcher Form, eine Sensibilisierung in den Schulen erlernt werden? Ist sie Teil notwendiger digitaler Kompetenzen für die Zukunft?
- Zahlen für die false positive und false negative Rate werden oft in Prozent angegeben. Fehlerraten von unter 1 % klingen zuerst mal gar nicht so schlecht. Oftmals fällt es Menschen schwer, sich vorzustellen, wie viele Personen in realen Anwendungen davon betroffen wären, welche Folgen dies haben könnte und was das bedeutet. Oft werden auch beide Zahlen nebeneinander gestellt, ohne das Verhältnis zwischen Positives (in unserem Fall die Personen, die per Fahndungsbild gesucht werden) und Negatives (in unserem Fall alle anderen Passagiere) abzubilden. Oft ist dieses Verhältnis sehr unausgeglichen. Beim beschrieben Testlauf sollten 1.500 Personen (Positives) von 163.847 Passagieren identifiziert werden, also ein Verhältnis von ca. 1:100. Ist ein solcher Vergleich irreführend? Dürfen solche Zahlen in Produktbeschreibungen bzw. Marketingbroschüren genutzt werden? Handeln die Verantwortlichen von EmbraceTheFuture GmbH unethisch, wenn Sie an die Presse gehen? Gibt es andere Fehlermaße? Wie kann man Fehlerraten realistisch darstellen, sodass Systeme realistisch eingeschätzt werden?
Erschienen im Informatik Spektrum 42(5), 2019, S. 367-369, doi : 10.1007/s00287-019-01213-x
Stefan Ullrich, Debora Weber-Wulff
Nach dem Unfall mit Galene, dem so genannten selbstfahrenden Auto [1], bei dem ein Kind mit seinem Drachen zwischen zwei parkenden Autos auf die Straße gerannt ist und von Galene erfasst wurde, ist viel Aufwand in die Ausbesserung der Gefahrenerkennung gesteckt worden. Das Kind, das damals bewusstlos zu Boden gestürzt ist, ist zum Glück genesen. Die Firma hat ihm sogar für sein Schülerpraktikum einen Platz in der Firma gegeben. Jürgen, der Hauptverantwortlicher für Galene, hat damals die Pressekonferenz mit Vorführung abgesagt und nur ein kurzes Statement abgegeben, in dem mitgeteilt worden ist, dass noch einiges an Feinjustierung notwendig sei.
Es hat dennoch damals ein aufgeregtes Presseecho gegeben. Es wurde vorgeschlagen, hochautomatisierte Autos gleich gänzlich aus der Innenstadt zu verbannen. Manche wollten sogar alle SUVs verbieten, obwohl der Unfall wirklich glimpflich ausgegangen ist. Um ein Autoverbot zu vermeiden, hat damals die Politik angekündigt, dass Innovationen auf dem Gebiet der Verkehrssicherheit gezielt gefördert werden sollen. Außerdem sollen die Fahrer solcher Autos jährlich ein Training absolvieren müssen, in dem sie zeigen, dass sie jederzeit in der Lage sind, in Gefahrensituationen die Kontrolle über denWagen wieder zu erlangen. Das fand die Firma zwar problematisch, weil sie gerne damit wirbt, dass man während der Fahrt mit Galene einen Film anschauen oder Kaffee trinken kann. Wenn man den Verkehr immer im Auge halten muss, kann man eigentlich genau so gut selber fahren!
Jürgen und seine Teams haben dennoch an der Erkennung von Gefahrensituationen weitergearbeitet. Es ging darum, sich bewegende Gegenstände im Umfeld zu erkennen und deren Laufrichtung und Geschwindigkeit einzuschätzen. Es gab etliche trainierte Maschinelles- Lernen-Modelle, die einigermaßen gut die Bewegungsrichtungen erkennen könnten. Aber es gab auch einige Randfälle, die richtig knifflig waren. Große Menschenmassen waren problematisch, und die neu zugelassenen E-Scooter haben alle Modelle über den Haufen geworfen, weil sie so schnell und wendig waren.
Es gab immer wieder Fälle, in denen ein sich bewegendes Objekt nicht erkannt worden ist. Renate, eine Entwicklerin in Jürgens Abteilung und Leiterin der Bewegungserkennungsgruppe, hat sich in der letzten Zeit viel mit der Theorie von Edge Computing auseinandergesetzt. Sie schlägt vor, dass Kameras in die Lichtmasten eingebaut werden könnten, die permanent die Bewegungsrichtungen der Objekte in ihrer Nachbarschaft überwachen. Sie sind aus Datenschutzgründen nicht an einen zentralen Computer angeschlossen, aber versenden permanent Informationen über sich bewegende Objekte. Die autonomen Fahrzeuge können diese Daten in ihren Berechnungen berücksichtigen, müssen es aber nicht. Gerade auf dem Land gibt es nicht so viele Lichtmasten wie in der Stadt.
Die Gruppe schafft es, in Berlin eine Teststrecke auf einem Abschnitt der Straße des 17. Juni (eine lange, gerade Straße mit vielen Lichtmasten) genehmigen zu lassen und aufzubauen. Sie können recht große Recheneinheiten in die Lichtmasten einbauen, daher klappt die Richtungserkennung der bewegten Objekte sehr gut. Renates Teammuss diese gesendeten Daten interpretieren. Sie haben leider sehr große Probleme. Metall und feuchte Blätter beeinflussen die Signale, außerdem können die Sensoren praktisch nur dort in den Autos angebracht werden, wo sich die Kameras befinden. Es müssen daher besondere Geräte entwickelt werden, die die Kamera und unterschiedliche Sensoren kombinieren. Damit werden die Autos noch teurer als sie sowieso sind. Renate erstattet Bericht über die Auswirkungen an Jürgen, aber er wiegelt ab. Ist nicht so schlimm, da hat er eine bessere Idee.
Jürgen ist Techniker und wusste daher sehr gut, dass viele Probleme grundlegender Natur und nicht einfach zu beheben waren. Da kam ihm der Vorschlag eines seiner Teams genau richtig, vielleicht besser das Verhalten der Fußgänger zu regeln als das der Autos. In einigen Städten gab es schon Straßenschilder, die auf dem Boden gemalt wurden, um die zu Boden blickenden Smartphone- Nutzer vor dem Verkehr zu warnen. Außerdem sollte man dem Bezirk vorschlagen, auf der Teststrecke die E-Scooter zu verbieten. Während der Testphase wurden für Fußgänger Hinweisschilder auf Englisch und auf Deutsch angebracht, die über den Testbetrieb informieren. Im Bordstein eingelassene LEDs leuchten rot und blinken, wenn ein Fußgänger außerhalb der Signalanlagen auf die Fahrbahn treten möchte. Während des Testbetriebs wird dann auch ein Signal an die Mobilgeräte der eigens dafür eingesetzten Beamten des Ordnungsamtes gesendet.
Bei der anschließenden Auswertung ergab sich trotz der erheblichen technischen Mängel, dass viele potenzielle Unfälle verhindert wurden. Fachleuten war bewusst, dass dies eher auf den massiven Personaleinsatz, das E-Scooter-Verbot auf der Teststrecke und die Gängelung der Fußgänger zurückzuführen war, das Projekt wurde dennoch als ein technischer Erfolg gefeiert. Auf der anschließenden Pressekonferenz willigt die Kommune des Firmensitzes öffentlichkeitswirksam ein, die komplette Kleinstadt für autonome Fahrzeuge umzurüsten. Und auch das Bundesverkehrsministerium zieht mit: Die Einwohner können ihre alten Fahrzeuge gegen Galene quasi tauschen; zumindest bekommen sie einen beträchtlichen Zuschuss zum Einkaufspreis.
Renates Team ist nach wie vor damit beschäftigt, die gesammelten Daten auszuwerten. Sie und ihr Team kommenzu demSchluss, dass sich die Gefahrenerkennung nicht wesentlich verbessert hat, ein ähnlicher Unfall könnte jederzeit wieder stattfinden. Jürgen beruhigt sie, sie müsse doch das Gesamtsystem betrachten. Und zusammen mit denWarnungen für die Fußgänger hat sich die Situation ja tatsächlich verbessert. Vielleicht sollte die Firma über autonome Poller nachdenken, die sich Leuten in den Weg stellen, scherzt Renate. Zu ihrer Überraschung schweigt Jürgen ein paar Sekunden. Keine schlechte Idee, meint er schließlich.
Galene geht in Produktion, und wird erstaunlicherweise von knapp der Hälfte der Bürger in der Testkommune angeschafft. Die Anzahl von Blechunfällen geht stark zurück, sie passieren eigentlich nur noch im Mischverkehr, wenn ein autonomes mit einem nicht-autonomem Fahrzeug verschiedene Strategien zur Vermeidung von Unfällen anwendet.
An einem feinen Herbsttag sind Kinder auf der Herbstwiese dabei, ihren Drachen steigen zu lassen. Es ist ein sehr windiger Nachmittag, und die Drachen können sehr hoch fliegen. Peter ist mit seiner Mutter auf der Wiese, sie hat ihn überschwänglich gelobt, wie gut er den Drachen hinbekommen hat. Sie fotografiert ihn und ist dabei, das Bild online zu teilen. Sie bekommt nicht mit, dass der Drachen jetzt über die Straße zieht. Peter stemmt sich dagegen, wird mitgezogen, hält an, geht weiter in eine leicht andere Richtung, bleibt stehen, versucht, die Kontrolle über seinen Drachen wieder zu bekommen. Er will ihn nicht loslassen, den Drachen, das Geschenk seines Vaters. Er ist gefährlich nah an der Straße, seine Mutter schaut immer noch auf ihr Handy. Er kann die Straße nicht einsehen, weil ein Transportfahrzeug in der zweiten Reihe parkt. Galene setzt zum Überholen an.
Fragen
- Ist es moralisch gesehen in Ordnung, lauffähige Fahrzeuge umzutauschen,
um einen technischen Test durchzuführen?
- Hätte man sich nicht schon denken können, dass die Probleme prinzipieller Natur sind?
- Haben die Entwickler eine Verantwortung dafür, darauf hinzuweisen, dass sie nicht grundsätzlich Gefahren erkennen können?
- Ist es problematisch, wenn Lichtmasten solche Daten erfassen und aussenden? Besteht auch noch Diebstahlgefahr für die Rechenelemente?
- Wer trägt die Verantwortung, wenn es einen Unfall mit Peter und Galene gibt? Peter, seineMutter, der Fahrer des Lieferwagens, die Hersteller von Galene, Renates Team?
- Autos und Fußgänger stehen in starker Konkurrenz zueinander. Ist es problematisch, das Verhalten der Fußgänger beeinflussen zu wollen, damit die Autos es leichter haben? Siehe hierzu auch [2].
- Reicht es aus, Warnungen in der Landessprache und auf Englisch anzubringen – in einer Gegend, in der sich viele Touristen aufhalten?
- Müssen Eltern besser auf ihre Kinder aufpassen und sich nicht immer mit dem Handy beschäftigen?
Literatur
1. Informatik Spektrum (2015) 38(6):575–577, online unter https://gewissensbits.gi.de/fallbeispiel-das-selbstfahrende-auto/
2. Novak M (2013) The Invention of Jaywalking Was a Massive Shaming Campaign, 22 July 2013, https://paleofuture.gizmodo.com/the-invention-of-jaywalking-was-a-massive-shaming-campa-858926923
Erschienen im Informatik Spektrum 42(6), 2019, S. 448-450, doi : 10.1007/s00287-019-01218-6
Jennifer Schmautzer, Carsten Trinitis
Emily ist mit ihrem Informatik-Bachelor an der TU fast fertig. Im vergangenen Semester hat sie ein Praktikum im Ausland gemacht, um ihre Fremdsprachenkenntnisse sowie ihre Schlüsselqualifikationen zu verbessern. Dabei hat sie sich für eine Firma aus den USA entschieden, die sich vor allem auf die Entwicklung autonomer Autos spezialisiert hat. Denn Emily war schon als Kind von Autos und deren Technik sowie Funktionsweise fasziniert. Seitdem sie außerdem selbst eine begeisterte Autofahrerin ist, hat sie angefangen, sich näher mit der fortschreitenden Technologie im Bereich der Automobilindustrie auseinanderzusetzen. Insbesondere autonome Autos haben ihr Interesse geweckt, weshalb sie in ihrem Praktikum mehr über die verschiedenen KI-Technologien und Werkzeuge in autonomen Autos lernen wollte.
Ihr damaliger Praktikumsbetreuer Tom hat ihr erklärt, dass Deep Learning als Teilbereich des Machine Learnings eine wichtige Methode und Grundlage für die Entwicklung autonomer Autos darstellt. Denn über sogenannte neuronale Netze, die ähnlich wie ein menschliches Gehirn aufgebaut sind, können die Autos eine Verbindung mit der Umgebung herstellen. Außerdem müssen die Autos in der Lage sein, viele verschiedene Daten zu verarbeiten, Muster auf Basis von Bild- und Sensordaten zu erkennen und Entscheidungen auf Grundlage von KI-Algorithmen zu treffen.
Toms Aufgabe besteht unter anderem darin, genau solche KI-Algorithmen zu implementieren. Im Laufe des Praktikums, in dem sie Tom über die Schulter schauen und kleine Implementierungen unter seiner Aufsicht selbst durchführen durfte, ist ihr klar geworden, dass bereits kleine Fehler im Code und damit in der Software zu einer Vielzahl von Unfällen führen können. Emily wird auch jetzt noch mulmig bei dem Gedanken, dass sie für den Tod von anderen Menschen verantwortlich sein könnte.
Zudem fragt sie sich, wer bei einem Unfall, an dem ein autonomes Auto beteiligt ist, im generellen Fall die Haftung übernehmen müsste. Der Fahrer, der Hersteller, der Konstrukteur oder doch etwa der Software-Entwickler? Sie stellt fest: Toms Job bringt auf jeden Fall viel Verantwortung mit sich!
Auch in der Personalabteilung, die sie, während Tom auf einer Fortbildung war, besuchen durfte, sind ihr verschiedene Anwendungen von Künstlicher Intelligenz begegnet. So wendet die Firma unter anderem sogenanntes Roboter Recruiting zur Personalauswahl an. Es werden jedoch nicht nur Lebensläufe und weitere Bewerbungsunterlagen anhand bestimmter Kriterien voranalysiert, sondern sogar das Bewerbungsgespräch wird von einem Computer durchgeführt.
Emily war sofort begeistert, wie diese KI-basierte Software dabei Mimik, Stimme und Inhalt genau analysieren kann, um anschließend zu ermitteln, ob sich der Bewerber für den Job eignet oder nicht. Sie hat erfahren, dass die Firma mithilfe von Roboter Recruiting bereits erfolgreich Mitarbeiter einstellen konnte, und dass die Trefferquote ebenfalls sehr hoch sei. Der Computer hat eben im Gegensatz zum Menschen keine Vorurteile und ist somit diskriminierungsfrei, denkt sich Emily. Somit ist Roboter Recruiting nicht nur eine Erleichterung für die Personalabteilung, sondern bringt auch noch Vorteile für die Bewerber mit sich.
Als Emily wieder zurück in Deutschland ist und ihr Praktikum Revue passieren lässt, wird ihr erst bewusst, in wie vielen Bereichen und Anwendungen KI heutzutage nicht mehr wegzudenken ist. Inspiriert von ihrem Praktikum beschließt sie, sich tiefgehender mit den Methoden und Werkzeugen der KI zu beschäftigen. Auf der Suche nach Kommilitonen, die sich ebenfalls für KI interessieren, entdeckt sie an ihrer Universität eine Projektgruppe zur KI. Da das Semester gerade erst begonnen hat, kann sich Emily noch ohne Probleme anmelden.
In der darauffolgenden Woche besucht sie das erste Treffen der Gruppe, an dem festgelegt werden soll, an welchem KI-basierten Projekt man dieses Semester arbeiten wird. Emily überlegt, welche KI-Verfahren sie in ihrem Praktikum am meisten begeistert haben, und inwiefern man diese in einem eigenen Projekt erforschen und realisieren könnte.
Schließlich erzählt sie den restlichen Teilnehmern von dem Verfahren des Roboter Recruitings, das die Firma aus den USA bereits erfolgreich eingesetzt hat. Im Zuge dessen kommt ihr die Idee, dieses oder ein ähnliches Verfahren auch für das Eignungsfeststellungsverfahren (EFV) im Bewerbungsprozess bei Studierenden anzuwenden. Die erste Stufe des EFV ist hierbei bereits digitalisiert: Anhand der eingesendeten Bewerbungsunterlagen wird digital festgestellt, welche von den Fakultäten definierten Punktegrenzen jeweils erreicht sind. Anschließend sendet die Universität dem Bewerber, abhängig von seiner Punktezahl, automatisch eine E-Mail zu, die ihm mitteilt, ob er direkt für einen Studienplatz zugelassen wird, keinen Studienplatz erhält oder in das EFV-Gespräch muss. Die zweite Stufe des EFV, also das Gespräch mit dem Professor, ist derzeit allerdings noch nicht digitalisiert.
Der Projektleiter und die anderen Teilnehmer sind begeistert von ihrer Idee, dieses Gespräch auch zu digitalisieren, weshalb sie sich schließlich für dieses Projekt entscheiden. In den nächsten Wochen beginnen sie, die verschiedenen notwendigen KI-Techniken hierfür zu erarbeiten und umzusetzen. So beschäftigen sie sich intensiv mit dem Verfahren des Deep Learnings, das Emily bereits in ihrem Auslandspraktikum im Bereich der autonomen Autos kennenlernen durfte. Damit die KI am Ende sinnvolle Ergebnisse liefert, ist es besonders wichtig, die künstlichen neuronalen Netze mit möglichst vielen qualitativ hochwertigen Daten zu trainieren.
Deshalb sammeln Emily und die anderen Gruppenmitglieder über das gesamte Semester Daten von erfolgreichen Studienabsolventen, um die KI damit zu trainieren und zu verfeinern. Nach einem Gespräch des Computers mit einem Studienbewerber vergleicht die KI schließlich die gespeicherten Daten erfolgreicher Studienabsolventen mit den im gesamten EFV gesammelten Daten, um basierend darauf eine Entscheidung zu treffen. Emily verbringt jede freie Minute an der Verfeinerung dieses Deep Learning Prozesses.
Eines Abends, als Emily bei ihrer Tante und ihrem Onkel zu Besuch ist, berichtet sie ihnen begeistert von ihrem Projekt und seinem stetigen Fortschritt. Ihre Tante, die sich kaum mit Technik und Informatik auskennt, ist skeptisch und fragt sich, ob die Entscheidung über einen Studienplatz wirklich von einer Maschine getroffen werden kann. Sollte nicht ein Mensch über eine so wichtige Entscheidung bestimmen? Denn woher soll die Maschine wissen, wer für einen bestimmten Studienplatz geeignet ist und wer nicht? Emily versucht, ihrer Tante das grundlegende Verfahren von selbstlernenden Maschinen zu erklären und ihre Bedenken zu widerlegen, doch sie kann die Befürchtungen ihrer Tante nicht vollkommen ausräumen.
Auch ihr Onkel, der sich als GI-Mitglied an der TU sehr wohl mit Informatik auskennt, sieht das Projekt teilweise kritisch. Er erzählt Emily von einem Fall bei Amazon, bei dem die KI Frauen bei der Personalauswahl benachteiligt hat. Schuld waren die Trainingsdaten für die KI, die auf den Bewerbungen der letzten zehn Jahre basierten. Denn die meisten Bewerbungen stammten von Männern, weshalb das KI-System daraus folgerte, dass das Unternehmen bevorzugt Männer einstelle.
Emilys Onkel macht ihr deutlich, dass die Menschenwürde in diesem Fall nicht gewahrt und geschützt wurde, wie es klar im Artikel 9 “Zivilcourage“ der neuen ethischen Leitlinien, welche das Präsidium der GI am 9. Juni 2018 verabschiedet hat, gefordert wird.
Als Emily an diesem Abend nach Hause geht, wird ihr bewusst, dass ihr Projekt eventuell auch Schattenseiten besitzt, über die sie sich bis jetzt keine Gedanken gemacht hat. Was ist, wenn auch bei ihnen die Trainingsdaten Vorurteile enthalten, weil Jungs beispielsweise eher technische Studiengänge wählen als Mädchen? Daheim recherchiert Emily über ähnliche Fälle und fängt an, ihr Projekt kritisch zu hinterfragen. Doch so kurz vor dem Ziel möchte sie natürlich nicht aufgeben und schiebt die Gedanken beiseite.
Zwei Wochen später ist die Arbeit an ihrem Projekt fertiggestellt, und erste Tests mit freiwilligen Studienbewerbern werden durchgeführt. Nach dem Gespräch mit dem Computer füllen die Testpersonen außerdem einen Fragebogen aus, in dem ihre persönliche Meinung über das geführte Gespräch erfasst wird. Als die Projektgruppe die Fragebögen auswertet, stellt sie fest, dass viele auch Kritik enthalten. So wird beispielsweise kritisiert, dass man eine von einem KI-basierten System getroffene Entscheidung nicht nachvollziehen könne. Schließlich trifft die KI die Entscheidung auf Grundlage von verknüpften Daten und von Wissen, über das kein direkter Zugriff besteht. Außerdem geben einige Testpersonen an, dass sie sich bei dem Gespräch unwohl gefühlt haben und nicht wussten, wie sie sich verhalten sollen. Vielen fehlte auch einfach das Persönliche, das so ein Gespräch doch irgendwie ausmache.
Obwohl Emily mit Kritik gerechnet hat, ist sie nun doch etwas schockiert. Als schließlich auch noch ihre Befürchtungen wahr werden und die Testergebnisse zeigen, dass nur Jungs im Informatikstudiengang zugelassen worden wären, ist ihr klar, dass ihr Verfahren noch lange nicht ausgereift ist.
Fragen
- Inwie vielen und welchen Lebensbereichen begegnet KI uns tatsächlich? Ist KI aus unseremLeben überhaupt noch wegzudenken? Inwiefern unterstützen uns die verschiedenen KI-Technologien? Können sie uns auch in irgendeinerWeise schaden?
- Was sind qualitativ hochwertige Daten für das Training der neuronalen Netze im Hinblick auf die Digitalisierung der zweiten Stufe des EFV? Sollten die Trainingsdaten nur Daten von Studienabsolventen mit einem Studienerfolg nach X Semestern enthalten, oder sollte der Studienerfolg insgesamt zählen? Welche Daten sind überhaupt von Relevanz, wenn es um den Abschluss eines erfolgreichen Studiums geht? Woran kann man festmachen, ob jemand ein Studium schaffen wird? Gibt es hierfür überhaupt irgendwelche Kriterien?
- Inwieweit kann man sicherstellen, dass die Daten frei von Vorurteilen sind bzw. ist das überhaupt möglich?
- Kann man das Verfahren von Roboter Recruiting also einfach auf Bewerbungsverfahren von Studierenden anwenden?
- Was ist mit den Befürchtungen der Tante? Kommt der Computer bei Menschen wie Emilys Tante, die eine Ablehnung und Unsicherheit bei solchen Verfahren aufweisen, zu anderen Ergebnissen als bei Menschen, die sich mit der Technologie auskennen und diese für gut heißen? Wenn ja, ist dies gerechtfertigt?
- Wie sieht es bezüglich des Datenschutzes aus?
- Inwiefern ist eine Dokumentation der Daten, die für das Training der KI verwendet werden, notwendig? Wie kann man diese dokumentierten Daten im Falle eines Einspruchs von einem Studienbewerber bei Ablehnung berücksichtigen? Kann eine Entscheidung nachträglich aufgrund dieser Dokumentation geändert werden?
Erschienen im Informatik Spektrum, 42(4), 2019, S. 304-306, doi: 10.1007/s00287-019-01189-8
Christina B. Class, Debora Weber-Wulff
Andrea, Jens und Richard sitzen in ihrer Lieblingspizzeria in Hamburg und feiern bei Bier und Pizza den erfolgreichen Abschluss der Softwaretests des Projekts ,,SafeCar“. Das Projekt wird morgen in Hamburg zum TÜV-Test gehen und sie sind schon fertig. Sie müssen nicht die Nacht durcharbeiten!
Sie arbeiten im Unternehmen SmartSW GmbH in Hamburg und sind für die Entwicklung einer Softwaresteuerung für die Sicherheitskomponente des neuen Automodells KLU21 des Autoherstellers ABC verantwortlich.
Der Autohersteller ABC stand in letzter Zeit wirtschaftlich ziemlich unter Druck, da er sich zu sehr auf die klassischen Antriebssysteme statt auf Elektromotoren konzentriert hat. Die Skandale um Dieselfahrzeuge in den letzten Jahren haben ihm zunehmend zu schaffen gemacht.
Das aktuelle sparsame Hybridmodell KLU21 soll durch eine neue intelligente Fahrsteuerung und ein erweitertes Sicherheitssystem ergänzt werden. Dieses soll eine intelligente Fahrunterstützung mit Hilfe von Echtzeitdaten anbieten. Durch Verwendung der neuesten Kommunikationstechnologien
will ABC das angeschlagene Image verbessern. ABC möchte als modernes Unternehmen und Pionier wahrgenommen werden und hofft, dadurch etwas Marktanteil zurückgewinnen zu können und Arbeitsplätze zu erhalten.
Im Rahmen des Projekts SafeCar wurde ein Sicherheitssystem für KLU21 mit künstlicher Intelligenz entwickelt. Zum einen verhindert die Software, dass ein Auto von der Fahrspur abkommt. Hierzu werden Informationen der externen Kameras verknüpft mit der Lokalisation des Fahrzeugs und aktuellen Verkehrsdaten über den Straßenzustand und Satellitendaten, die in Echtzeit von einer gesicherten Cloud geladen werden. Das Auto nimmt auch die anderen Autos auf der Straße wahr und erzwingt die Einhaltung des Sicherheitsabstands.
Zum anderen soll eine auf den Fahrer gerichtete Kamera feststellen, wenn sich die Augen des Fahrers schließen. Das könnte bedeuten, dass er in einen Sekundenschlaf fällt oder ohnmächtig geworden ist. Ein Alarmton soll den Fahrerwecken. Kann das System keine sofortige Reaktion des Fahrers beobachten, übernimmt es die automatische Steuerung und bringt das Fahrzeug unter Beachtung der Straßensituation und des Verkehrs am Straßenrand zum Stehen. Die maximale Reaktionszeit des Fahrers bis die Software die Steuerung übernimmt, hängt von der Straße, dem Straßenzustand sowie der Verkehrssituation ab, um das Risiko für alle Verkehrsteilnehmer zu minimieren.
Andrea, Jens und Richard haben dem Projektleiter vorgeschlagen, zu erkennen, wenn der Fahrer mit dem Mobiltelefon hantiert, und eine Warnung auf dem Display anzuzeigen und ein Warnsignal zu senden. Jens und Richard haben sich ferner den Spaß gemacht, automatisch zu erkennen, wenn eine Fahrerin Lippenstift appliziert. Das Auto soll dann pfeifen – aber auch nicht immer, nur durchschnittlich jedes sechste Mal. Natürlich soll dieses Feature nicht aktiviert werden.
Es war ja so einfach, die Bilder via den 5G-Netzwerk zum Cloud Cluster zu schicken, und dort die Bilder zu zerlegen und zu schauen, ob sie was erkennen können. Um den Sekundenschlaf und Ohnmacht möglichst genau zu erkennen, haben sie das Programm mit vielen Daten, die sie eigens dafür erhalten haben, trainiert. Handy oder Lippenstift zu erkennen war dagegen eine einfache Fingerübung. Es gab ja ausreichend freie „Trainingsdaten“ (Bilder und Videos) im Internet zu finden.
Sollte das Auto eine technische Panne haben, der Fahrer das Bewusstsein verlieren oder ein Unfall passieren, wird ein automatischer Notruf an die Polizei abgesetzt mit den relevanten Daten betreffend des Autos, der Art der Panne oder des Unfalls, Information betreffend des Bedarfs nach einer Notarzt und der genauen Angabe, wo das Auto steht.
Nachdem sie viele Überstunden gemacht haben, feiern Andrea, Jens und Richard den erfolgreichen Abschluss der Tests ausgelassen. Nach vielen erfolgreichen In-House Tests sind sie in den letzten beiden Tagen mit einem auf der Beifahrerseite installierten System durch die Straßen der Stadt und der näheren Umgebung gefahren, und haben alle Informationen und Befehle des Systems protokolliert. Die Auswertung hat gezeigt, dass alle gestellten Situationen korrekt erkannt wurden. Sie haben heute von ihrem Teamleiter schon ein dickes Kompliment erhalten. Sie klönen miteinander bis weit nach Mitternacht.
Als Andrea mit dem Taxi nach Hause gefahren ist, fühlt sie sich plötzlich ziemlich durstig. Mit einer Flasche Mineralwasser setzt sie sich auf das Sofa und schaltet den Fernseher ein. Es kommt eine Wiederholung einer Talkshow, bei der es, wie seit Monaten schon, um den aktuellen Stand des 5G Netzausbaus geht. Es wird wieder einmal diskutiert, wie viele Funklöcher in ländlichen Gebieten existieren, die immer noch nicht geschlossen wurden. Dazu kommen unzureichende Regeln für nationales Roaming.
Ein Firmenvertreter behauptet, es werde nur noch wenige Funklöcher geben, wenn der 5G-Ausbau fertig ist. Eine Zuschauerin beklagt sich dagegen heftigst darüber, dass sie trotz des neuen Netzes nur im Garten Empfang hat. Ihre neu hinzugezogene Nachbarin, die noch einen Vertrag mit einem anderen Netzanbieter hat, hat nur auf dem Friedhof am Ende des Ortes Empfang, da das Roaming nicht verpflichtend ist. Eine heftige Diskussion entbrennt…
Andrea ist sehr müde. Sie lehnt sich zurück. Die Augen fallen ihr zu …: Sie fährt Auto. Die Strecke ist kurvenreich und dasWetter ist sehr neblig, sie hat kaum Sicht. Sie ist froh, dass sie einen KLU21 fährt, er unterstützt sie dabei, auf der rechten Spur zu bleiben. Doch plötzlich merkt sie, wie die Lenkunterstützung des Autos ausfällt. Sie ist nicht darauf vorbereitet und bevor sie recht reagieren kann, hat ihr Auto die Fahrbahn verlassen und kracht seitlich gegen einen Baum. Sie wird schräg nach vorne geschleudert, so dass sie unglücklich auf den Airbag auftrifft. Sie verliert das Bewusstsein.
Sie beobachtet wie sie bewusstlos im Auto sitzt. Gleich wird Hilfe kommen, zum Glück hat KLU21 einen Notruf abgesetzt. Sie sieht sich im Auto um, die Notfall-Leuchte blinkt nicht, warum wurde kein Notruf abgesetzt? Sie blutet! Warum kommt keine Hilfe? Plötzlich weiß sie es! Ein Funkloch … Die Lenkunterstützung konnte so nicht ausreichend funktionieren, da Echtzeitdaten fehlten, genauso wenig die Benachrichtigung der Notrufzentrale … Hallo? Hört mich jemand? Warum kommt kein Auto vorbei? Warum hilft mir niemand? Hilfe, ich blute! Ich verblute!
Schweißgebadet wacht Andrea auf! Sie braucht einen Moment, um sich zu beruhigen und zu begreifen, dass es nur ein Traum war, sie sich in ihrer Wohnung befindet und es ihr gut geht.
Und dann erinnert sie sich an die erfolgreichen Softwaretests von heute und die Sendung mit den Beschwerden über unzureichende Netzabdeckung in manchen ländlichen Gebieten. Auch da führen Straßen durch. Warum haben sie nie darüber nachgedacht, als sie die Software für KLU21 entwickelt haben? Warum haben sie nie ihren Auftraggeber darauf angesprochen? Ihre Tante wohnt ja in Sankt Peter-Neustadt und hat schon öfters über ihre schlechte Verbindung geklagt. Sie muss unbedingt mit ihrem Chef sprechen …
Fragen
- Tests zu gestalten ist sehr schwer. Im vorliegenden Beispiel sind die Entwickler maßgeblich an den Tests beteiligt. Ist dies gerechtfertigt? Wie kann sichergestelltwerden, dass die Tests nicht verzerrt werden und zu falschen Ergebnissen führen? Wie stark sind Anforderungen an Tests in Abhängigkeit von der Sicherheitsrelevanz der Software zu definieren? Wie stark beeinflussen Deadlines und wirtschaftlicher Druck die Durchführung von Softwaretests?
- Tests können die Fehlerfreiheit von Software nicht nachweisen. Noch weniger ist es möglich, nachzuweisen, dass die Software nichts macht, was nicht gefordert ist. In dem Beispiel wurde mit der Lippenstifterkennung ein sogenanntes Easter Egg (Osterei) eingefügt, das nicht aktiviert wird. Welche Probleme können sich durch ein solches Easter Egg ergeben? Wie ist ein solches Easter Egg zu beurteilen, wenn die Entwickler es in ihrer „Freizeit“ entwickelt haben?
- Es handelt sich im Beispiel um eine sicherheitskritische Anwendung, die mit Trainingsdaten trainiert wird. Wie kann man die Qualität der Trainingsdaten sicherstellen? Welche Richtlinien sollte/kann es hierfür geben? Wann und unter welchen Umständen sollte erzwungen werden, dass ein System mit neuen Daten lernt? Wie müssen erneute Tests aussehen, wenn das System weitere Trainingsdaten erhalten hat? Müssen alle bisherigen Tests erneut wiederholt werden? Dürfen sich Personen, die Trainingsdaten definieren, auch an der Entwicklung von Tests beteiligen? Wenn nicht, warum nicht?
- Im Internet sind viele Bilder und Videos „frei“ zu finden. Dürfen diese einfach als Trainingsdaten verwendet werden? Wenn nicht, warum nicht? Wenn ja, gibt es Einschränkungen für die Art von Anwendungen, für die man sie verwenden darf?
- Für gewisse Anwendungsbereiche oder auchWettbewerbe im Bereich von Data Mining und KI gibt es frei verfügbare, anwendungsspezifische Datensets (open data). Ist es erlaubt, diese für andere Arten von Anwendungen/Fragestellungen zu verwenden? Welche Anforderung muss an die Dokumentation solcher Datensets gestellt werden, in Bezug auf Datenquelle, Auswahl der Daten und getroffenen Annahmen? Wie groß ist die Gefahr, falsche Schlussfolgerungen zu ziehen, wenn man solche Daten verwendet?
- In den aktuellen Diskussionen über 5G wird häufig über die Notwendigkeit einer flächendeckenden Abdeckung sowie von National Roaming gesprochen.Wie wichtig ist eine solche? Ist es vertretbar, sicherheitskritische Anwendungen zu erstellen, so lange nicht sichergestellt ist, dass die Infrastruktur flächendeckend zur Verfügungsteht? Ist es vertretbar, Anwendungen zu schreiben, die nur lokal genutzt werden können/dürfen, also z. B. nur in der Stadt? Wenn der Nutzer nach einem Umzug ein Systemnicht mehr benutzen kann, sollte er dann eine Entschädigung erhalten?
- Funklöcher betreffen heute schon viele Regionen, in denen mit einem Handy z. B. keine Rettungskräfte oder Polizei gerufen werden kann oder in denen Rettungskräfte keinen Kontakt mit der Leitstelle aufnehmen können.Wie stark ist die Politik gefordert, hier regulierend einzugreifen? Wie stark ist diese Digital Divide wirklich in Deutschland? Können wir es uns als Industrienation leisten, dass diese weiterhin bestehend bleibt, bzw. u.U. mit dem 5G Ausbau verstärkt wird?
Erschienen im Informatik Spektrum, 42(3), 2019, S. 215-217, DOI: 10.1007/s00287-019-01171-4
Constanze Kurz, Rainer Rehak
Elvira und Nico haben Informatik studiert und schreiben gerade ihre Dissertationen im Bereich IT-Sicherheit. Daneben lehren sie an verschiedenen Universitäten. Sie haben ein Projekt namens ,,HackerZero“ angeregt und konnten dafür Fördergelder gewinnen. Das Projekt bietet eine universitäre Plattform als Portal für Sicherheitsforschung an. Zehn verschiedeneUniversitäten sind an dem Projekt beteiligt. Elvira und Nico freuen sich über die Zusage, dass die Förderung für weitere zwei Jahre verlängert wurde.
Wer Sicherheitslücken in Software entdeckt hat, kann diese über die innovative Plattform ,,HackerZero“ an die betroffenen Hersteller oder Anbieter melden und muss gleichzeitig das Vorgehen und Wissen offenlegen. Da die Kommunikation über Elvira und Nico als Betreiber der Plattform läuft, braucht man sich nicht über unangenehme juristische Folgen zu sorgen, da sie die Meldungen entgegennehmen und weiterleiten. Elvira und Nico übernehmen also die Kommunikation mit den betroffenen Softwareanbietern. Als Informatikfachleute prüfen die beiden aber auch die technische Seite der gemeldeten Schwachstellen.
Um zu verhindern, dass die Sicherheitslücken ausgenutzt werden, haben die kommerziellen Partner und auch die Open-Source-Projekte nach Meldung eine gewisse Zeit zur Verfügung, in der sie das Wissen um eine Sicherheitslücke exklusiv erhalten. Aber nach spätestens drei Monaten wird das Wissen für alle Plattformmitglieder offengelegt und dann veröffentlicht. Den Firmen wird also eine Frist gesetzt, Patches für die gefundenen Probleme in ihrer Software bereitzustellen. Wenn die Firmen die Sicherheitslücken als „behoben“ markieren, so werden diese auch vor Fristablauf schon offengelegt.
Die Firmen können entscheiden, ob sie zusätzlich auch Informationen zur Lösung bekanntgebenwollen. Damit können alle Personen, die sich mit Sicherheitsfragen beschäftigen, aus diesen Fehlern – und den Lösungen – lernen.
Die Plattform ,,HackerZero“ wird vom Konsortium der zehn beteiligten Universitäten betrieben. Sie steht auch kommerziellen Partnern als Plattform zur Verfügung, um ihre Produkte samt Quellcode für die Sicherheitsprüfung zu hinterlegen. Open-Source-Projekte können sich ebenfalls als Partner anmelden.
,,HackerZero“ bietet IT-Sicherheitsforschern für die Meldung von Softwareschwachstellen eine Aufwandsentschädigung in Form eines Preisgeldes an. Es sind keine großen Summen, die mit dem kommerziellen Markt mithalten könnten, aber damit soll ein zusätzlicher Anreiz für das Nutzen der Plattform zur Offenlegung von Problemen gesetzt werden.
In ,,HackerZero“ werden diese Preisgelder von den kommerziellen Partnern finanziert. Die Gelder kommen in einen gemeinsamen Topf, sodass für alleMeldungen von Sicherheitslücken Gelder zur Verfügung stehen und auch Open-Source-Projekte von der Plattform profitieren können. Sowohl Elvira als auch Nico sind davon überzeugt, dass die Offenlegung von Schwachstellen stets von sehr großem Nutzen für alle an IT-Sicherheitsforschung Interessierten sowie für die Softwarehersteller selbst ist.
Während einer Projektsitzung kommt es wegen einer Neuanmeldung zu heftigen Diskussionen: Der neue kommerzielle Partner hat sich bei ,,HackerZero“ angemeldet, sein Produkt nutzt jedoch selbst Schwachstellen in anderen Softwareprodukten aus. Einige der universitären Partner haben nun mit demAusstieg aus dem Projekt gedroht.
Elvira hatte Nico nach der Anmeldung sofort geschrieben, dass sie den neuen Partner nicht akzeptabel findet. Klar sei doch, dass der Neuzugang ein Käufer von Sicherheitslücken sei oder aber mindestens ein Interesse haben müsse, Schwachstellen in der Software möglichst lange offenzuhalten, um das eigene Produkt besser verkaufen zu können. Das widerspräche klar der Intention der ganzen ,,HackerZero“-Plattform. Elvira meint, dass nicht mal klar sei, ob das Produkt der potenziellen neuen Partnerfirma legal sei.
Nico hält dagegen, dass es immer gut sei, Schwachstellen aufzudecken, auch in solchen Softwareprodukten, die ihrerseits Sicherheitslücken ausnutzen. Die Firma hätte ihren Sitz in Deutschland, was ein illegales Produkt wahrscheinlich ausschließe. Außerdem sei es gerade bei solcher Software besonders wichtig, dass sie sicher und handwerklich gut programmiert sei. Schließlich sei ihnen doch beiden klar, dass die Kunden der Firma wohl vornehmlich Strafverfolgungsbehörden sein würden.
Fragen
- Ist es sinnvoll und ethisch vertretbar, über eine universitäre Plattform Gelder für Schwachstellenmeldungen anzubieten, wenn eine Offenlegung zu einem späteren Zeitpunkt stattfindet?
- Müssen sich Elvira und Nico damit auseinandersetzen, welche Firmen und welche Software bei ,,HackerZero“ angemeldet sind? Wäre es notwendig gewesen, dies festzulegen, als das Projekt definiert wurde?
- Widerspricht die Aufnahme eines Partners, dessen Geschäft die Ausnutzung von Schwachstellen ist, grundsätzlich dem Projektziel? Warum? Gäbe es Gründe, die die Aufnahme rechtfertigen? Wenn ja, welche wären das?
- Wäre es vertretbar oder sogar notwendig, spezifische Regeln für den Umgang mit Vorabinformationen über Sicherheitslücken einzuführen?
- Würde sich etwas ändern, wenn eine staatliche Stelle als Partner teilnehmen wollte?
- Änderte sich dadurch etwas, wenn sich keine der beteiligten Universitäten über die neue Partnerfirma verärgert gezeigt hätte? Müssten Elvira und Nico dennoch die Art der zu untersuchenden Software diskutieren?
- Wen könnten Elvira und Nico hinzuziehen, wenn sich die beiden über die Anmeldung der neuen Partnerfirma nicht einig werden können? Sollten sie das Dilemma gar öffentlich diskutieren?
Erschienen im Informatik Spektrum, 42(2), 2019, S. 144-145, https://doi.org/10.1007/s00287-019-01163-4
Constanze Kurz, Debora Weber-Wulff
Erst seit wenigen Wochen arbeitet Rita bei der Firma ,,Wissenscode“. Sie ist Bio-Informatikerin und hatte bei dem recht bekannten Unternehmen angeheuert, weil sie die Mischung aus Wissenschaft und Business für ihre berufliche Zukunft als sinnvoll erachtet. ,,Wissenscode“ wertet für medizinische Zwecke große Mengen genetischer Daten aus. Die Gründer der Firma sind Mediziner, die sich medial ganz gern als Visionäre inszenieren. Rita findet die PR ihres neuen Arbeitgebers ein wenig überzogen, kann sich aber mit der Idee gut identifizieren, ihre Arbeitskraft als Informatikerin für den Zweck einzusetzen, Krankheiten entgegenzuwirken und Forschung zu unterstützen.
Aktuell wird das größte Projekt in der Geschichte des Unternehmens vorbereitet: Von 200.000 Menschen in einem bestimmten Gebiet Deutschlands sollen DNA-Daten eingesammelt und analysiert werden. Die Region ist natürlich nicht isoliert, dennoch leben nach wissenschaftlich belegten Studien besonders viele Familien dort seit mehreren Generationen und sind überdurchschnittlich sesshaft. Eine Genom-Datenbank über diese 200.000 Menschen soll hohe Aussagekraft über vererbbare Krankheiten hervorbringen.
Als das erste Mal Post von der Firma ,,Wissenscode“ in den Briefkästen der Region lag, hatte die Presse noch gar keinen Wind davon bekommen. Die Bürger wurden aber mit einer ansehnlichen bunten Broschüre über künftige medizinische Durchbrüche informiert, die man aus den freiwillig abzugebenden Gendaten ziehen wolle. Man habe einen lokalen gemeinnützigen Verein als Kooperationspartner gewinnen können, deren Mitarbeiter die DNA-Proben an jedem einzelnen Haus einsammeln werden. Nach Ende der Sammlung werde ,,Wissenscode“ an die Organisation fünf Euro pro Probe spenden, damit winken also eine Million Euro Spenden.
Die Presse springt bald auf das Thema an und stellt es mehrheitlich als eine großartige Aktion dar, um mehr Wissen über Krankheiten zu erlangen und zugleich Spenden für die wohltätige Organisation zu sammeln. Politiker der Region stellen sich öffentlichkeitswirksam hinter das Vorhaben von ,,Wissenscode“. Einige Krankenkassen kündigen Kooperationsprojekte an. Es gibt zwar auch einige wenige Kritiker, aber die befürwortende Stimmung überwiegt klar.
In Rita allerdings wachsen die Zweifel: In der Firma selbst sind nämlich keine Vorbereitungen getroffen worden, die informationstechnische Auswertung der Proben in den Datenbanken vorzunehmen. Die ganze Abteilung, in der Rita arbeitet, werkelt weiter an ihren bisherigen Auswertungen als stehe gar keine große Datensammlung zur Analyse an. Immerhin wäre das die größte Auswertung, die je durchgezogen wurde.
Und warum wird die ganze Aktion eigentlich in nur einer Woche vollzogen? Warum reagiert die Firma nicht auf kritische Nachfragen? Stattdessen betont ,,Wissenscode“ nun auf allen Kanälen und über die Presse, dass die DNA-Sammlung nur dann medizinischen Nutzen haben könne, wenn ganz viele Menschen der Region auch mitmachen. Und jeder müsse doch wollen, dass sinnvolle Forschung über Krankheiten mit den Daten vollzogen werden könne.
Rita erkundigt sich firmenintern über diese Merkwürdigkeiten, kann aber nichts Genaues erfahren. Es gibt zwar Gerüchte, dass die Firma verkauft werden soll, aber die hat es schon immer gegeben. Sie fragt sich, ob die Daten vielleicht eine Art Mitgift sind? Andererseits gibt es schon viele Firmen, die freiwillige DNA-Proben auswerten, um den Einsendern Informationen darüber zu geben, wo ihre Familie herstammt. Da zahlen die Kunden sehr gutes Geld, um recht nutzlose, aber interessante Informationen zu erhalten.
Fragen
- Wie ist das massenhafte Einsammeln genetischer Daten generell ethisch einzuschätzen?
- Darf Rita in ihrer Firma herumspionieren, nur weil sie unbeantwortete Fragen hat?
- Soll Rita ihre Bedenken äußern? Sie weiß ja nichts Gesichertes.
- Steht Rita in einer Handlungspflicht, wenn sie von dem Verkauf von ,,Wissenscode“ Kenntnis erlangt? Wenn ja, welche?
- Ist es überhaupt eine ethische Frage, wenn Rita über Informationen über die DNA-Sammlung verfügt, aber sich entschließt, mit niemandem darüber zu reden? Schließlich kann ja die Verarbeitung woanders stattfinden.
- Darf sich Rita anmaßen, selbst zu entscheiden, was für die vielen DNA-Datengeber von Interesse ist und was nicht?
- Gemeinnützige Organisationen haben fast immer Geldnot. Gibt es irgendwelche Probleme, wenn sie bei der DNA-Materialsammlung mitmachen?
- Ist Rita moralisch verpflichtet, eine drohende Verletzung von Persönlichkeitsrechten an jemanden zu melden? Schließlich vertrauen die DNA-Datengeber darauf, dass die eingesammelten Proben zur medizinischen Forschung verwendet werden.
- Gibt es ethische Forderungen an ,,Wissenscode“?
Erschienen im Informatik Spektrum, 42(1), 2019, S. 58-59
|
|
Beiträge als RSS abonnieren
Kommentare