Archiv

Fallbeispiel: Analog/Digital-Graben

Debora Weber-Wulff, Stefan Ullrich

Matthias und Melanie haben sich schon im Studium kennengelernt. Matthias hat Medizin studiert, Melanie Informatik. Sie haben sich bei der universitären Gremienarbeit kennengelernt und sind bald zusammengezogen. Matthias  arbeitet nach seinem Studium aus Idealismus im öffentlichen Gesundheitsdienst. Melanie hat einen guten Job als Software-Ingenieurin, also haben sie keine Geldsorgen.

Seit Anfang der Corona-Pandemie ist Melanie im Home Office, aber Matthias hat immer mehr im Amt zu tun. Die schiere Menge an Fällen – und der ganze Papierkram drum herum – scheint ins Unendliche zu wachsen. Matthias tut, was er kann, aber es bleibt immer viel liegen. Er ist sehr frustriert darüber, wie langsam alles geht. Die Leute müssen doch schnell wissen, ob sie infiziert sind oder nicht. Er unterstützt sogar die medizinisch-technischen Assistentinnen und Assistenten und verbringt mehrere Stunden in Schutzkleidung, um Proben zu nehmen. Er und das ganze Team müssen höllisch aufpassen, die Formulare leserlich auszufüllen. Das erfolgt mit einem blauen Stift – digital ist nur der QR-Code auf dem Aufkleber, den sie oben anbringen müssen. Die Proben werden zu verschiedenen Laboren geschickt, es dauert dann aber Tage, teilweise Wochen, bis die Ergebnisse verarbeitet wurden und die Infektionskette zurückverfolgt werden kann.

Matthias beschwert sich über diese langsamen Abläufe eines Abends, als er mit Melanie auf dem Balkon bei einem Glas Wein sitzt. Melanie versteht nicht, was das Problem ist, warum es so lange dauert. Die Tests selber sind doch in wenigen Stunden durch, die Labore arbeiten inzwischen im Drei-Schicht-Betrieb. „Was ist das Problem?“, fragt sie. „Ich kann dir das leider nicht so genau sagen, die Abläufe und alles, was auf dem Amt passiert, unterliegen sehr strenger Geheimhaltung“. Seine Referatsleitung hat ihm immer wieder gesagt: Alles was im Amt passiert, bleibt im Amt.

„Sei nicht albern“, sagt Melanie. „Ich will nicht wissen, wer getestet worden ist oder das Ergebnis. Ich will nur verstehen, wie euer Laden läuft und warum es so lange dauert, bis ihr Ergebnisse habt. Ich bin doch Spezialistin in Prozessoptimierung, vielleicht kann ich helfen.“ Matthias gießt sich noch etwas Wein ein und beginnt zu erzählen. „Lach mich nicht aus“, sagt er, „und bitte nicht twittern. Jedes Labor hat andere Formulare für die Beauftragung und die Ergebnisse. Um die Aufträge gleichmäßig zu verteilen, wechseln wir die Labore regelmäßig. Und weil wir vor Ort nichts Digitales haben, füllen wir die Formulare mit der Hand aus. Mit blauer Tinte, das ist unserer Verwaltung wichtig, damit es von der Schwarz-Weiß-Kopie unterschieden werden kann. Proben und Formulare kommen in eine Post-Box, und wenn das Kästchen mit Proben voll ist, werden die Proben mit den Formularen von einem Boten zum Labor gebracht.“

„Na, das ist doch eine gute Notlösung, wäre natürlich schöner, wenn das alles gleich digitalisiert wäre, aber okay. So was kostet Zeit. Was macht das Labor mit den Ergebnissen?“ fragt Melanie.

„Sie tippen die Daten aus der Anforderung ab in ihr Befunde- und Abrechnungssystem, tragen die Ergebnisse ein, und faxen sie dann zurück an das Gesundheitsamt.“

„Faxen?!“ Melanie prustet. „In Ordnung, ich denke, wir kommen dem Problem schon näher“, scherzt sie.

„Das ist gar nicht so doof, denn das sind personenbezogene Daten. Sie sollen nicht über das Internet versendet werden.“ „Na gut, man kann es aber auch übertreiben. Ich kaufe euch ab, dass keiner das schafft, eine Verschlüsselungsinfrastruktur aufgebaut zu haben. Noch dazu für die Kommunikation mit Externen. Aber dann ist doch alles gut, dann habt ihr am nächsten Tag die Ergebnisse … als Fax!“

„Nein, so einfach ist es nicht. Der Computer, der bei uns die Faxe entgegennimmt, speichert sie als Datei mit dem Namen ,Telefax.pdf‘ ab. Immerhin werden sie durchnummeriert, aber wir haben mehrere tausend Dateien, die so heißen – täglich! Da sitzt also jemand und benennt die Dateien um, damit wir sie zuordnen können. Diese Person muss also die Datei öffnen, schauen, wie das Aktenzeichen heißt, und ob das Ergebnis positiv oder negativ ist. Die Dateien werden dann in unterschiedlichen Verzeichnisse abgelegt, je nach Ergebnis. Naja, und manchmal passiert bei der manuellen Umbenennung oder Sortierung eben ein Fehler und wir müssen bei den Laboren dann nachfragen. Jetzt, wo wir so viele Tests am Tag haben, merken wir erst, wie lange die manuelle Datenverarbeitung dauert. Hier..“, er unterbricht sich, „bricht gerade alles zusammen.“

Melanie kann kaum glauben, was sie hört. „Das ist nicht dein Ernst! Was für einen Rechner mit welcher Software setzt ihr da ein?“ „Ich weiß es nicht so genau, aber der darf  nicht am Internet angeschlossen werden, da sein Betriebssystem so alt ist. Aber zum Fax-Empfang taugt er eigentlich gut genug, wenn wir gerade keine Pandemie haben“, antwortet Matthias.

Melanie schüttelt den Kopf. „Mensch, geht doch zum Megamarkt und kauft euch ein aktuelles Faxgerät, die können Dateien auch gleich weiter an eure PCs schicken, selbst wenn ihr im Home Office seid. Und kauft OCR-Software dazu, dann können die Ergebnisse gelesen und entsprechend abgelegt werden! Die Maschine macht im Gegensatz zum Menschen keine Fehler!“

„Naja, wir dürfen keine selbst gekauften Geräte einsetzen. Es muss alles über die Beschaffungsstelle und die IT gehen, es muss so ein Dings mit Datenschutz geben, ich weiß nicht wie es heißt, und noch eins mit medizinischer Sicherheit. Außerdem muss es Schulungen geben. Das dauert mindestens sechs Monate, bis so was durch ist, oft länger!“

Melanie meint nach einem weiteren großen Schluck Wein: „Weißt du was, wir beide kaufen so ein Gerät und ich richte es übers Wochenende ein. Eigentlich bin ich sehr teuer, aber das mache ich sogar kostenlos. Ich will, dass die Tests schneller durchgehen! Du musst ja auch regelmäßig getestet werden, und ich will, dass du schnell weißt, wenn du angesteckt worden bist. Na?“

Matthias ist sehr unsicher, ob er auf das Angebot eingehen soll. Es ist verlockend und hört sich wirklich einfach an, wie Melanie das beschreibt.

Fragen

  1. Ist es nötig, dass allgemeine Abläufe auf dem Amt der Geheimhaltung unterliegen?
  2. Kann in solchen Ausnahmezeiten ein moralischer Grund vorliegen, diese Geheimhaltung zu brechen?
  3. War es in Ordnung, dass Matthias Melanie über die Abläufe im Amt eingeweiht hat?
  4. Ist etwas daran auszusetzen, dass das Labor die Ergebnisse an das Gesundheitsamt faxt?
  5. Würde es in moralischer Hinsicht einen Unterschied machen, wenn die OCR-Software einen Fehler macht – im Gegensatz zu einem menschlichen Benennungsfehler?
  6. Ist Melanie zu sorglos im Umgang mit vernetzten Geräten?
  7. Matthias hat sich freiwillig zu Mehrarbeit verpflichtet auf Kosten der gemeinsamen Familienzeit. Wie ist dies in moralischer Hinsicht zu bewerten?
  8. In den meisten Städten werden nur die positiven Fälle vom Labor an das Amt übermittelt. Ändert dies etwas an Ihrer Einschätzung der Situation?

Erschienen im Informatik Spektrum 43 (5), 2020, S. 352–353, doi: https://doi.org/10.1007/s00287-020-01308-w

 

Fallbeispiel: Nachhaltigkeit im digitalen Wettbewerb

Dominik Pataky, Christina B. Class

Noah ist Mitgründer und CTO von SmartEcoTours, einemkleinen und aufstrebenden Startup. SmartEcoTours vermittelt auf seiner Internet-Plattform nachhaltige Reisen und Ausflüge, die von sorgfältig ausgewählten Partnern angeboten und von Kunden auf der Plattform gebucht werden können. Alle Angebote sind nachhaltig gestaltet undwerden, größtenteils durch anerkannte Umweltzertifikatebeglaubigt, umweltschonend durchgeführt. Die Finanzierung der SmartEcoTours-Plattform erfolgt durch die Ver-mittlungsgebühren von Buchungen.

In der sechsjährigen Geschichte des Startups war Noah schon für diverse Umgestaltungen und Erweiterungen der Plattform verantwortlich, um einerseits die Stabilität des Onlineangebots zu garantieren und andererseits der immer größer werdenden Kundennachfrage nach Reise- und Urlaubszielen und dem wachsenden Angebot gerecht zu werden. Das zunehmende Interesse an nachhaltigem Reisen hat die letzten Jahre einen erheblichen Schub in den Besucher- und Buchungszahlen eingebracht. Das hat zwar für großes Umsatzwachstum gesorgt, musste gleichzeitig aber von Noah und seinen Mitstreitern technisch rechtzeitig unterstützt werden. Die Stabilität der Plattform ist essenziell, um keine Kunden zu verlieren. Auch wenn sie nicht über große Reserven verfügen, ist Noah mit der aktuellen Situation zufrieden und zuversichtlich, dass sich das Unternehmen auchweiterhin in diesem hoch kompetitiven Markt behaupten kann.

Dieser Erfolg liegt auch daran, dass zur Plattform über die Jahre mehr und mehr Funktionen hinzugefügt und neue Technologien integriert wurden. Der ursprüngliche Prototyp, bestehend aus einer Website mit dahinter liegenden Skripten und einer Datenbank, entwickelte sich im Laufemehrerer Iterationen zu einer komplexen Software-Landschaft, eigens zugeschnitten für alle Anwendungsfälle der Plattform. Mittlerweile koordiniert Noah mehrere spezialisierte Abteilungen, z.B. für Daten-Schnittstellen, für die Verwaltung des verteilten Serverclusters sowie das Machine-Learning-Team, welches mithilfe künstlicher Intelligenz neue Angebote erstellen will. Leider kommt aber auchbis heute immer wieder hinzu, dass Altlasten aus der ersten Version der Plattform noch gewartet werden müssen, dabisher keine Zeit war, alle alten Komponenten ordentlich zu migrieren. Aber SmartEcoTours bietet nicht nur nachhaltige Ausflüge und Reisen an, sondern hat sich auch selbst viele Nachhaltigkeitsziele gesetzt, um langfristig eine positive Klima-und Sozialbilanz erreichen zu können. Als ausformulierte Jahresziele erstellen Noah und seine Kollegin Freya, eben-falls Mitgründerin und CEO von SmartEcoTours, dazu jeden Januar eine Neuauflage der Corporate-Social-Responsibility-Richtlinien (CSR-Richtlinien), deren Einhaltung am Ende des Jahres von Dritten auditiert wird. So ist garantiert, dass SmartEcoTours auch dashält, was es verspricht. Darüber hinaus ist das kleine Unternehmen auch Teil eines Social-Entrepreneurship-Netzwerks, um sich mit Gleichgesinnten auszutauschen und den eigenen Überzeugungen mehr Gewicht zu geben.

Noahs Verantwortung ist im Kontext der Klimaziele unter anderem die Überprüfung der Energiequellen der Rechenzentren, in denen die eigene Plattform betrieben wird. Hierzu besucht Noah die Anlagen vor Ort beim Betreiberund lässt sich bescheinigen, dass aller Strom des Rechenzentrums aus erneuerbaren Energien geliefert wird. Auch wird die eigene Hardware so lange wie möglich verwendetund anschließend umweltgerecht entsorgt. Die Auditorenbescheinigen SmartEcoTours hier immer wieder hervorragende Ergebnisse.

Allerdings wurde in den Berichten der letzten beidenJahre der phasenweise hohe Arbeitsdruck insbesondere in den technischen Teams erwähnt. Die Sorge, die Konkurrenz könnte die Marktposition von SmartEcoTours streitigmachen, hat im gesamten Team immer wieder zu stressigen Phasen mit wenig Schlaf und viel Frustration gesorgt. Noah ist sich bewusst, dass hier noch einiges zu tun wäre, aber auch in diesem Jahr waren nicht genügend Mittel vorhanden, um eine weitere Stelle zu schaffen. Sie konnten ihr Ziel der mitarbeiter-orientierten Gestaltung der Arbeitsbedingungen sowie des Abbaus der Überstunden wieder nicht ganz erreichen. Die Realisierung dieser Ziele ist im nächsten Jahr zu einer der Top-Prioritäten erklärt worden.

Abseits der bestehenden Herausforderungen steht nuneine folgenreiche Entscheidung der beiden Gründer an:

Nach ersten Kontakten auf der letzten Messe hat ein anderes Unternehmen, AdventureLive, Interesse an einer Beteiligung an SmartEcoTours geäußert. Nachdem Freya mit Vertretern von AdventureLive erste Gespräche führte, sucht sie das Gespäch mit Noah. Noah ist überrascht und auch schockiert. Er weiß zwar, dass ihre Reserven nicht allzu üppig sind, ist aber von der Idee einer Beteiligung nicht wirklich begeistert. Freya hingegen erläutert, dass sie neue Ideen und Angebote entwickeln müssten, um ihre Marktposition zu behalten und die vorhandenen Mittel seien zu knapp, um große Investitionen zu tätigen. Wenn sie nicht aktiv würden, könnten sie mittelfristig Probleme haben, Kunden zu halten. Es sei ja nicht so dringend und sie habe Noah nicht damit beunruhigen wollen, aber die Gelegenheit sei einfach sehr günstig: AdventureLive wollten nur 15% am Unternehmen und seien durch ihre Kompetenzen im Video-Livestreamingein vielversprechender Partner.

In den Gesprächen ergab sich nämlich, dass sie gemeinsam ein neues und sehr attraktives Angebot aus der Kombination von Plattform und Video entwickeln könnten. Sie stellt Noah die Idee vor: Der Clou in einer Verbindungder SmartEcoTours-Plattform mit dem Video-Livestreaming-Service läge darin, dass Kunden von SmartEcoToursdie Möglichkeit haben sollen, als Zusatzangebot ihr Abenteuer live über die Plattform zu übertragen. Hierfür könntensie eine am Rucksack oder an der Ausrüstung montierba-re Kamera mieten und mit dieser den Stream in Echtzeit verbreiten. Sie könnten auswählen, ob die Aufnahmen öffentlich oder nur für Freunde und Verwandte sichtbar sind. Darüber hinaus können auch eigene Kameras, z.B. solche von Smartphones, mit dem Service verbunden werden. Die Integration des Streamings wäre ein neues Feature imPortfolio von SmartEcoTours, führt zu Einnahmen durch Gerätegebühren und ermöglicht einen neuen Marketing-Kanal zu Zuschauern, welche als Neukunden der Plattformgewonnen werden könnten.

Doch Noah sieht vor allem eine riesige Welle technischer Herausforderungen auf sein Team zurollen: Wie gut ist das skalierbar? Brauchen wir neues Personal für die Verbindung der Plattformen? Was machen wir bei Inkompatibilitäten der Software, wie lange soll der Fusionsprozess anhalten? Wie werden die Videodaten ausgeliefert, ist die dafür notwendige Infrastruktur noch überprüfbar nachhaltig? Woher kommen die Kameras und wie kommen diese zuden Kunden? Wer übernimmt die Wartung und Entsorgung der Geräte? Und kann trotz des größeren Entscheiderkreises sichergestellt werden, dass die CSR von SmartEcoTours weiterhin realistisch sind?

Freya und Noah sind sich nicht wirklich einig, wie sie das Angebot bewerten sollen, müssen aber in den nächsten Tagen entscheiden, ob sie Verhandlungen aufnehmen wollen. Auf der einen Seite wäre die finanzielle Beteiligungeines umsatzstarken Partners richtig, um die Zukunft zu sichern, die notwendigen Erweiterungen des Angebots und der aktuellen Plattform vorzunehmen und die Qualität undIdeale weiter hoch zu halten. Auf der anderen Seite steht das Risiko, durch die Zusammenarbeit ihren Ruf zu riskieren, wichtige Weichen nicht mehr gemäß ihrer Unternehmensphilosophie stellen zu können und so ihre Marktpositionund Wettbewerbsfähigkeit im Ökotourismus aufs Spiel zusetzen.

Fragen

  1. Sollten die beiden der Beteiligung zustimmen?
  2. Zum Thema Nachhaltigkeit zählt auch, dass Menschenweniger reisen und so die Umwelt geschont wird. Hierbei stellt sich die Frage, was zuerst kommt, die Nachfrage oder das Angebot. Könnte man behaupten, dass erst die Verfügbarkeit der Angebote auf der SmartEcoTours-Plattform eine erhöhte Nachfrage provoziert? Wie verhält sich diese Frage im Kontext des potenziellen neuen Angebots in Form von Videostreaming? Besteht das Risiko, dass das ressourcen-intensive Videostreaming spätermehr Schaden verursacht, als anfangs gedacht?
  3. SmartEcoTours verfügt über eine von Externen auditierte CSR-Richtlinie. Wie können Kunden beurteilen, wie ernst Richtlinien gelebt werden? Woher wissen Kunden, ob Richtlinien eher dem Marketingzweck dienen? Wie können Freya und Noah Kunden über CSR-Richtlinieninformieren, ohne in den Verdacht zu geraten, diese für Werbezwecke zu formulieren?
  4. Die angebotenen Reisen und Ausflüge von SmartEco-Tours verfügen über Umweltzertifikate. Für Außenstehende ist oft schwer nachzuvollziehen, wie gut Umweltzertifikate sind. Manche dienen eher Marketingzweckenoder sollen gesetzliche Regelungen verhindern. Die Zertifizierung kostet in der Regel Geld. Nach welchen Kriterien soll eine Firma entscheiden, welche Zertifikate beantragt werden? Wie kann ein Kunde überprüfen, wieviel ein Zertifikat wert ist? Was passiert, wenn ein Umweltzertifikat im Laufe der Zeit z.B. durch Betrügereien an Wert verliert? Inwiefern fällt das auf bereits zertifizierte Firmen und Angebote zurück? Sollte man nach Möglichkeit mehrere Zertifikate haben?
  5. Wären andere Modelle einer „Zertifizierung“ von Angeboten denkbar, die z.B. auf Reviews vieler Nutzer basieren? Wie könnte hier eine Qualitätskontrolle aussehen?
  6. Wie sollte Noah mit den kritischen CSR-Audits bzgl. der Arbeitsbedingungen in seinem Team umgehen?
  7. Sollte Noah neben der Überprüfung der Energiequellenauch prüfen, welche Auswirkung der Betrieb von ineffizienten Legacy-Komponenten und der Overhead von verteilen Systemen auf den Stromverbrauch hat? Könnte die verstärkte Verwendung von ausgereifter und optimierterfreier Software, welche von vielen Wettbewerbern und Nutzern zusammen offen entwickelt wird, hier einen Unterschied machen?
  8. Machine-Learning-Algorithmen könnten zu einem späteren Zeitpunkt bei der Sortierung und Filterung von neuen Angeboten unterstützend eingreifen. Wie kann beim Einsatz von automatisierten Prozessen, deren Entscheidungen möglicherweise gar nicht mehr zeitnah von Menschen überprüft werden können, sichergestellt werden, dass weiterhin nur die nachhaltigsten Angebote auf der Plattform angeboten werden?
  9. Kann Infrastruktur, die über die Anmietung von Schränken in Rechenzentren hinausgeht, überhaupt kontrolliert werden? Welche Möglichkeiten hätte Noah, z.B. ein für Videostreaming notwendiges Content Delivery Network auf Umweltstandards zu prüfen?
Erschienen im Informatik Spektrum 43 (4), 2020, S. 302–304, doi: 10.1007/s00287-020-01289-w

Fallbeispiel: Ethisches Reinwaschen oder „Weiß, weißer geht’s nicht –Weißer Riese oder doch nur heiße Luft“

Otto Obert, Carsten Trinitis

Emma und Noah haben beide Medizin studiert und eine lukrative Position in der anwendungsorientierten Forschungseinrichtung EMPE3 bekommen, die sich insbesondere auf das Digitaltechnologie-gestützte Management von Krisenszenarien bei Pandemien spezialisiert hat. So liegt es in der Natur der Sache, dass bei EMPE3 sowohl Mitarbeiter(innen) mit medizinischer als auch mit informationstechnologischer Ausbildung beschäftigt sind, wie die beiden Informatiker Olivia und Ersoy. Darüber hinaus verfügen die meisten von ihnen zusätzlich über einen Abschluss in Philosophie oder Ethik, da bei derart sensiblen Themen, wie sie von EMPE3 bearbeitet werden, stets auch ethische Grundsätze und Spezifika zu beachten sind.

Für Firmen und Einrichtungen wie EMPE3 winken im Zuge von anwendungsnaher Forschung im Umfeld pandemischer Krisen lukrative Aufträge und Fördermittel, unter anderem wurden von der Europäischen Union aufgrund der Corona-Pandemie kurzfristig hohe Summen an Forschungsgeldern zur Verfügung gestellt.

Aus Emma, Noah, Ersoy und Olivia ist ein Spezialistenteam gebildet worden. Dieses Team hat ganz aktuell die Führung eines EU-Projektes namens PANDEMANIA übertragen bekommen, an dem zahlreiche weitere Partner aus dem In- und Ausland beteiligt sind. Projektziel ist die Entwicklung von Systemen zur Eindämmung und Entscheidungshilfe bei Pandemien.

Hauptschwerpunkte dabei sind die gemeinsame und einheitliche Entwicklung einer konkreten KI-Lösung auf mobilen Endgeräten zur Selbstdiagnose von Symptomatiken und automatisierten Benachrichtigung der Personen, die mit Infizierten in relevantem Kontakt standen (Tracing-App) sowie die Modellierung eines KI-basierenden Assistenzsystems zur transparenten und jederzeit vollständig nachvollziehbaren Entscheidungshilfe in Triage-Fällen (Triage-Assistenzsystem zur evidenzbasierten Ersteinschätzung der Behandlungsdringlichkeit und somit Priorisierung von z.B. konkurrierenden Intensiv- und Beatmungspatienten besonders bei Ressourcenengpässen).

Das Team hat hierbei mit seiner Kernkompetenz die Aufgabe, einen mit allen an der Entwicklung beteiligten Partnern abgestimmten einheitlichen Anforderungsrahmen samt dessen Einhaltung zu vereinbaren, der über die gesetzlichen Vorgaben hinaus (das jeweils strengste nationale Gesetz) wirkt und dabei insbesondere wertebasierte ethische Grundsätze berücksichtigen soll.

Weitere assoziierte Partnerländer sind neben EU-Ländern, vertreten durch die EMPE3, noch die EU-Nachbarn Asika, Eurasien und die Vereinigten Inseln.

Asika möchte seine Interessen insbesondere bei der Tracing-App durchsetzen, um über den notwendigen und gleichzeitig datenschutzkonformen Funktionsumfang hinaus auch noch die robuste Einhaltung der Quarantäne von Infizierten zu überwachen und Personen aktiv aufzuspüren, die relevanten Kontakt zu Infizierten hatten.

Da Eurasien mit einer nahezu flächendeckenden Überwachung auf Basis von Kameras und Gesichtserkennung sowie einem Social Scoring sowohl das Nachverfolgen von Infektionsketten als auch eine möglicherweise notwendige Richtung keine besonderen zusätzlichen Anforderungen.

Die Vereinigten Inseln hingegen haben besonders bei der Modellierung eines Assistenzsystems zur Entscheidungshilfe in Triage-Fällen individuelle Anforderungen angemeldet, die allen anderen Beteiligten auch nicht transparent werden sollen.

Olivia ist Hauptansprechpartnerin für die Delegation der Vereinigten Inseln, die durch Tommy vertreten wird. Sie versucht, Tommy das fünfstufige Triage-Design schmackhaft zu machen, auf das man sich eigentlich ursprünglich nach langwierigen Verhandlungen geeinigt hatte. Tommy möchte aber für die Version der Vereinigten Inseln eine exklusive sechste Stufe, die erlauben soll, alle fünf vorherigen Stufen zu übersteuern und damit mehr oder weniger willkürlich und völlig intransparent zu entscheiden. Tommy will Olivia darüber hinaus überzeugen, gar die pure Existenz dieser sechsten Stufe geheim zu halten und in der Öffentlichkeit nur von einer für alle einheitlichen Lösung zu sprechen.

Ersoy hat es mit Azra von der eurasischen Delegation zu tun. Azra trägt alle Entscheidungen mit und ist bedingungslos kooperativ bei der gemeinsamen ethik-konformen Lösungsentwicklung. Ersoy weiß genau, dass diese gemeinsam entwickelten Lösungen dort nie zum Einsatz kommen werden, da eine bereits vollständige Überwachung samt Social Scoring implementiert ist. Eurasien will dennoch um jeden Preis als vorbildlicher Entwicklungspartner erscheinen.

Die für Asika sprechende Esther macht gegenüber Noah erst gar keinen Hehl aus ihrer Haltung: Falls die Tracing-App im Infektionsfall keine genauen geografischen und zeitlichen Daten der relevanten Kontaktpersonen liefert (und das bei nachgewiesenen Infizierten in Quarantäne sogar in Echtzeit), würde Asika für diesen Teil aussteigen und eine vom eigenen Geheimdienst zur Terrorismusbekämpfung bereits sehr erfolgreich eingesetzte Lösung nutzen (Tracking per GPS-Ortung). Immerhin steht Asika voll hinter dem fünfstufigen Triage-Lösungsansatz.

Emma, die innerhalb aller direkt beteiligten Partnern der EU für Konsens sorgen muss, hat es da nur vermeintlich leichter. Besonders die Interessenvertreter der europäischen Pharmaindustrie würden sehr gerne aus rein kommerziellen Gründen die zu Beginn als nicht verhandelbar vereinbarten sogenannten „Roten Linien“ aufweichen. Auch wenn diese Gruppe von Emma nicht überzeugt werden konnte, ordnen sie sich zumindest den Rahmenbedingungen unter, um nicht ihrer Außenwirkung und Reputation zu schaden. Jedoch möchte die Pharmalobby im Falle des Eintretens einer Pandemie verbindlich Exklusivrechte eingeräumt bekommen. Das dann zum jeweiligen Zeitpunkt als am besten geeignete bereits zugelassene und verfügbare europäische Medikament aus zum Beispiel der Behandlung von HIV, Ebola oder Malaria soll kostenfrei, aber eben exklusiv, eingesetzt werden dürfen, bis zur Entwicklung und WHO-Zulassung eines der spezifischen Bekämpfung des aufgetreten Virenstammes dienenden Wirkstoffes. Abgesehen davon steht zumindest der überwiegende Teil der beteiligten Partner aus Europa voll und ganz hinter dem vereinbarten Anforderungsrahmen, insbesondere zu den wertebasierten ethischen Grundsätzen.

Emma, Noah, Ersoy und Olivia müssen für die nächste Sitzung des hochrangigen Projekt-Steuerungsgremiums, bestehend aus dem EU-Gesundheitskommissar als Vorsitzenden und den EU-Länder-Gesundheitsministern samt deren Staatssekretären, einen Statusbericht vorbereiten. Dieser soll einen Überblick über alle Partnerländer geben, differenziert nach gesetzlichen Vorgaben, ethischen Grundsätzen sowie den beiden Hauptthemen Tracing-App und Triage-Assistenzsystem. Sie tauschen zu Beginn ihres Vorbereitungstreffens ihre Erfahrungen aus, wundern sich über das Verhalten ihrer jeweiligen Länderansprechpartner und suchen Antworten auf Ihre Fragen …

Fragen

Arbeitsziel ist es, die verschiedenen Ebenen zu durchleuchten und einzuordnen – im Übergang von echter Überzeugung zu realer Wirksamkeit auch ohne Überzeugung dahinter, über „totales“ ethisches Reinwaschen bis hin zu unverhohlener Ignoranz. Damit sollen gute Kompromisse von nicht so guten, oder gar faulen, zu unterscheiden gelernt werden.

  1. Welche Partnerländer verhalten sich bei welchem der beiden Schwerpunktthemen (Tracing-App und Triage-Assistenzsystem) vorbehaltlos vorbildlich und stehen voller Überzeugung zum einheitlichen Anforderungsrahmen und zur Einhaltung auch der wertebasierten ethischen Grundsätze?
  2. Ist ein Partner nur dann vorbildlich, wenn er sich auch bei beiden Schwerpunktthemen an den Anforderungsrahmen hält?
  3. Wie bewerten Sie die zwarmangelndeÜberzeugung einiger Partner zu den ethischen Grundsätzen, wenn sie diese aber dennoch mittragen und einhalten?
  4. Auch wenn eine „Medikamentenspende“ aus einem sonst knallhart kalkulierenden Wirtschaftszweig auf den ersten Blick altruistisch und philanthropisch erscheint:Welche Aspekte „hinter den Kulissen“ sprechen für eine vermeintlich nur vorgetäuschte „WeißeWeste“? Nennen Sie die aus Ihrer Sicht wichtigsten drei.
  5. Bei welchen Konstellationen kann man eindeutig von „ethischem Reinwaschen“ sprechen?
  6. Wie ordnen Sie das Verhalten von Partnern ein, die offen gegen den gesetzlichen wie auch ethischen Teil des Anforderungsrahmen verstoßen?
  7. Lassen sich ein Verstoß gegen den gesetzlichen Teil und ein Verstoß gegen den ethischen Teil unterschiedlich be- und verurteilen und wenn ja, wie könnte man das beschreiben?
  8. Wie würden Sie die vier verschiedenen Ebenen im Übergang von echter Überzeugung zu Zweifel und dennoch realer Wirksamkeit, über „totales“ ethisches Reinwaschen bis hin zu offener Zuwiderhandlung beurteilen?

Zusatzfragen, die zwar über das Kernthema ethisches Reinwaschen hinausgehen, aber von besonderer Bedeutung sind:

  1. Inwieweit ist es sinnvoll und ethisch vertretbar, europa bzw. länderweit oder entsprechend der Betroffenheit von Gegenden grundsätzlich eine App (Tracing) sämtlichen Bürgern vorzuschreiben, um das Infektionsrisiko zu minimieren oder Beschränkung zu lockern? Differenzieren Sie Ihre Begründung weiter mit Blick auf die App-Varianten mit einem zentralen oder dezentralen Ansatz (stark vereinfacht: pseudonymisierte Daten der relevanten Begegnungen werden zentral auf einem Server gespeichert oder verbleiben dezentral auf den jeweiligen Endgeräten) und darüber hinaus noch zusätzlich mit der Möglichkeit einer Standortbestimmung (Tracking).
  2. Wäre der Einsatz eines transparenten und jederzeit vollständig nachvollziehbaren Triage-Assistenzsystems grundsätzlich ethisch vertretbar? Wie beeinflusst Ihre grundsätzliche Einordnung der Einsatz besonders in Ländern, in denen ansonsten eine besonders große Gefahr von fehlerbehafteter, willkürlich, politisch oder nicht-medizinisch induzierter Einflussnahme besteht? Auch wenn natürlich Triage-Entscheidungen am Ende immer von Ärzten getroffen werden, die sich dem hippokratischen Eid verpflichtet haben.

Erschienen im Informatik Spektrum 43(3), 2020, S. 227-229, doi : 10.1007/s00287-020-01282-3

Fallbeispiel: Energieintensives Energiesparen?

Christina B. Class, Carsten Trinitis, Nikolas Becker

Lisa und Martin haben sich im Studium kennengelernt und sind seitdem unzertrennlich. Beide haben Informatik auf Lehramt studiert, Martin mit Biologie, Lisa mit Physik im Nebenfach. Nun, fünf Jahre später, arbeiten sie zusammen beim Start-up-Unternehmen SchoolWithFun, das der gemeinsame Studienkollege Andreas gegründet hat. SchoolWithFun hat sich auf die Entwicklung von digitalen Unterrichtsmaterialien für Gymnasien spezialisiert. Die Materialien sind für den Einsatz während des Unterrichts gedacht und entworfen. In naturwissenschaftlichen Fächern kommen auch Simulationen zum Einsatz. Die Materialien sind für Tablets optimiert, welche den Schülerinnnen und Schülern von den Schulen zur Verfügung gestellt werden.

Die Gründer von SchoolWithFun haben von Anfang an großen Wert darauf gelegt, den ökologischen Fußabdruck ihrer Tätigkeit so gering wie möglich zu halten. SchoolWithFun hat daher Büros in einem Neubau von ÖkOffice angemietet, der mit neuester energieeffizienter Haustechnik ausgestattet ist. Neben energieeffizienter Dämmung, Dreifachverglasung und Solarzellen für Heizung und Warmwasser verfügt das Haus über allerlei „smarte“ Technologien, die sich mittels einer maßgeschneiderten App bequem vom Mobiltelefon aus steuern lassen.

Damit ist es möglich, Verbrauchskomponenten wie Heizung oder Licht automatisch nur dann zu aktivieren, wenn sich Personen im Haus befinden. Dies kann beliebig feingranular justiert werden, sodass jedes Gerät, das an der Steckdose hängt, wirklich nur dann aktiv ist, wenn es benötigt wird. Die Miete für die Büroräume zahlt SchoolWithFun in Kryptowährung, da dies für den Eigentümer ÖkOffice, der zahlreiche smarte Büroräume weltweit vermietet, wesentlich einfacher ist. ÖkOffice möchte gerne digitale Währungen fördern, die das Bezahlen mit Bargeld, also anonymes Bezahlen, nachahmen.

Lisa und Martin sind beide Vegetarier, meist vegan lebend, und versuchen auch privat, ihren ökologischen Fußabdruck klein zu halten. Es ist für sie selbstverständlich, jeden Freitag – wann immer möglich – an den regelmäßigen Demonstrationen der Fridays-for-Future-Bewegung teilzunehmen.

Im Anschluss an die letzte Demonstration kommen sie mit einem Vertreter des Bund Naturschutz (BUND) ins Gespräch, der ihnen ein Flugblatt mitgibt, das den Energieverbrauch digitaler Technologien thematisiert. Insbesondere geht es hier um Smart Homes und Internet of Things. Im Flugblatt ist eine Studie des Bund Naturschutz (BUND) erwähnt, die auch vom Bundesumweltministerium unterstützt wurde. In dieser heißt es: „Die Vernetzung von bisherigen Produkten kann zu erheblichen Mehrverbräuchen von Energie und Ressourcen führen – europaweit könnten so Mehrverbräuche von bis zu 70TWh im Jahr entstehen; pro Gerät bis zu 26kWh. Hierfür ist insbesondere der Standby-Stromverbrauch im vernetzten Bereitschaftsbetrieb verantwortlich“ [1].

Interessiert laden sich die beiden die Studie herunter. Sie möchten herausfinden, inwieweit dies auch auf ihr vermeintlich ressourcenschonendes Büro zutrifft. Um die Betriebszeiten zu minimieren, müssen ja alle energieverbrauchenden Geräte vernetzt und permanent im Empfangsmodus sein.

Lisa und Martin setzen sich mit einem Glas Bier auf den Balkon und beginnen, den Energieverbrauch ihrer Büroräumlichkeiten mit Daten, die sie im Netz finden, abzuschätzen. Die Zahlen sind erschreckend … sie blicken sich verwundert an. Ob sie einmal mit Andreas darüber sprechen sollten? Er hatte sich ja so gefreut, die Räumlichkeiten bei ÖkOffice zu finden. Plötzlich schlägt sich Martin die Hand vor den Kopf und sagt: „Die Miete! Wir zahlen die Miete bei ÖkOffice doch mit Kryptowährung! Hast du eine Idee, wie energieintensiv das ist?“ Sie werden schnell fündig und finden Informationen zum Energieverbrauch von Kryptowährungen. Schweigend blicken sie sich an …

Ein Jahr später sitzen die beiden wieder auf ihrem Balkon und reden erneut über die Smart-Home-Ausstattung ihres Büros. Nachdem sie im letzten Sommer zu dem Entschluss gekommen waren, dass sie Andreas ausschließlich auf die Problematik der Kryptoüberweisung ansprechen würden, ist die Smart-Home-Technik heute unerwartet zum Thema in der Firma geworden: Durch einen Zufall ist Andreas darauf aufmerksam geworden, dass „EasySmart“, der chinesische Hersteller ihrer Komponenten, vor einem Monat Bankrott ging. Anders als ihnen in der Werbung versprochen wurde, können sie daher nicht davon ausgehen, dass ihre Geräte in den nächsten Jahren mit den nötigen Sicherheitsupdates versorgt werden.

Andreas macht sich daher große Sorgen um die IT-Sicherheit von SchoolWithFun. Er beabsichtigt, bereits nächste Woche alle Smart-Home-Komponenten durch neuere Modelle eines anderen Herstellers austauschen zu lassen. Lisa, die sich in ihrem Studium intensiv mit IT-Sicherheit beschäftigt hat, unterstützt Andreas’ Vorhaben. Um jeden Preis müssen sie verhindern, dass Angreifer Zugriff auf ihr internes Firmennetz erlangen, in dem unter anderem auch die Kundendaten der Firma gespeichert sind. Martin jedoch ist dagegen. Er denkt beim Austausch der gerade einmal ein Jahr alten Geräte an den wachsenden Müllberg aus Elektroschrott. Welcher Angreifer hat es schon auf ihre kleine Firma abgesehen? So dringend wird der Austausch doch wohl nicht sein. Nachdem die beiden über eine Stunde diskutiert haben, gießt sich Lisa resigniert noch ein Glas Bier ein. „Nur Ärger mit diesem Smart-Home-Zeug“, seufzt sie.

Fragen

  1. Sowohl die Produktion als auch die Nutzung von elektrischen Geräten verbraucht Rohstoffe und Energie. Inwiefern muss man sich als Anwender damit auseinandersetzen?
  2. Das Smart Home verspricht unter anderem, Energie einzusparen, indem nur bei Bedarf geheizt, beleuchtet etc. wird. Gleichzeitig setzt das Smart Home auf Sensoren und Steuerungselemente, die Strom benötigen. Wie soll eine Nutzenabwägung erfolgen? Wer soll daran beteiligt sein?
  3. Neue Versionen von Betriebssystemen und Software mit steigenden Performance- und Speicheranforderungen machen es oft notwendig, neue Geräte zu kaufen, obwohl die alten noch funktionsfähig sind. Gibt es Möglichkeiten, hier gegenzusteuern, um Ressourcen zu schonen? Wie stark basiert unser Wirtschaftskreislauf auf dem regelmäßigen Austausch von Geräten? Sind Alternativen denkbar, die auch bei längeren Produktlebenszyklen Arbeitsplätze erhalten?
  4. Smart-Home-Geräte sind kleine Computer. Genauso wie unsere Smartphones und Laptops benötigen auch sie von Zeit zu Zeit Sicherheitsupdates. Doch wer kümmert sich darum, die Geräte auf dem neuesten Stand zu halten? Wie viel Vertrauen können wir in die Hersteller setzen?
  5. Digitale Währungen sind eigentlich ganz praktisch, weil sie ähnlich wie Bargeld anonymes Bezahlen erleichtern. Sie erleichtern aber auch Steuerhinterziehung. Sollten sie deshalb verboten werden?
  6. Zum Energieverbrauch der Kryptowährung Bitcoin: https://www.tum.de/nc/die-tum/aktuelles/pressemitteilungen/details/35498/. Ist es in Anbetracht des Energieverbrauchs jeder Transaktion einer Kryptowährung überhaupt vertretbar, diese aufgrund der besseren Privatsphäre zu verwenden? Was wiegt hier höher – Privatsphäre oder Energieeffizienz?

Literatur

1. Hintemann R, Hinterholzer S (2018) Smarte Rahmenbedingungen für Energie- und Ressourceneinsparungen bei vernetzten Haushaltsprodukten. Borderstep Institut für Innovation und Nachhaltigkeit gGmbH, Berlin (gefördert durch das Umweltbundesamt
und das Bundesministerium für Umwelt, Naturschutz und nukleare Sicherheit)

Erschienen im Informatik Spektrum 43(2), 2020, S. 159-161, doi : 10.1007/s00287-020-01256-5

Fallbeispiel: „Safety First“

Zeit: In der nahen Zukunft

Otto Obert, Debora Weber-Wulff

Paula und Viktor arbeiten nach ihrem gemeinsamen Studium seit einigen Jahren schon bei der Flying-Bavaria, einem noch recht jungen und aufstrebenden Unternehmen im Bereich Transport- und Passagierdrohnen. Paula ist als Informatikerin in einem interdisziplinären Team eingesetzt, das sich unter Hochdruck mit der Weiterentwicklung von autonomen Flugtaxis hin zur Marktreife beschäftigt. Viktor hingegen ist als Assistent des Vertriebsvorstandes und Schnittstelle zum Produktmanagement eingesetzt. Paula und Viktor sind sehr eng befreundet, können sich alles anvertrauen und treffen sich regelmäßig mindestens einmal pro Woche beim Badminton-Betriebssport, wo auch viele andere Kollegen aus den verschiedensten Unternehmensbereichen mit Freude teilnehmen und sich alle am Rande gerne privat wie beruflich rege austauschen.

Flying-Bavaria und ihr Hauptkonkurrent Air-Hang haben vom Bundesministerium für Verkehr und digitale Infrastruktur einen Millionenzuschuss bekommen, um möglichst rasch Prototypen für Passagierdrohnen zu erstellen. Sie wollen möglichst kostengünstig und vor allem noch vor Air-Hang einen Zweisitzer herausbringen. Laut Prognosen wird dies das mit Abstand umsatzstärkste Marktsegment. Daher leuchtet es ein, dass Flying-Bavaria einfach ihr bei Transportdrohnen bereits verfügbares und bewährtes Antriebsaggregat im Prototypen verwenden soll. Was schon läuft, kann nicht ganz verkehrt sein.

Allerdings ist dieses Antriebsaggregat für die Anwendung in einem Zweisitzer leicht unterdimensioniert. Bei ungünstigen Wetterbedingungen neigt es zur Instabilität. Es werden einfach zwei Aggregate verwendet, die aber miteinander kommunizieren müssen. Daher wurde das Team um Paula damit beauftragt, ein Maneuvering Characteristics Augmentation System (MCAS) zur Koordinierung der Flugstabilisierung zu entwickeln. In der Marketingliteratur wird man den eingeführten Begriff „Künstliche Intelligenz“ verwenden, obwohl das System nur auf Basis der Daten von Lagesensoren und mit dem Einsatz eines einfachen Algorithmus die Flugtauglichkeit garantieren soll. Schließlich sind es einfache, physikalische Zusammenhänge, die hier berechnet werden.

Paula empfindet das geplante Design des Zweisitzers als Fehlkonstruktion. Sie ist sich des Stellenwertes des MCAS bewusst und spricht mit ihrem Team über die Methodenauswahl. Im Scherz meint Andreas, ihr Maschinenbauingenieur: „Lasst uns doch KI einsetzen, wenn die Werbefritzen das schon schreiben!“. Eigentlich ist das keine schlechte Idee, meint Paula, und das Team beginnt, sich mit überwachten, selbstlernenden Verfahren zu beschäftigen. Allerdings brauchen sie noch sehr viel Zeit, sich in das Thema einzuarbeiten und die Algorithmen entsprechend zu trainieren.

Da es noch kein System gibt, das die geeigneten Trainingsdaten erzeugen kann, bietet sich Andreas an, diese zu generieren. Er habe ja im Studium gelernt, wie gut man mit einfachen Prototypen Daten generieren kann und dann mit einem weitverbreiteten Rechensystem durchrechnen lässt, wie die Parameter zu setzen sind. Er macht sich mit Begeisterung auf den Weg, einige neue Modelldrohnen für seine Experimente zu kaufen. Er erstellt „Menschendummys“ für die Drohnen, die vom Gewicht her passend sind, und zeichnet fleißig Flugdaten auf. Dann fragt er beim Team nach, das ein Einsitzermodell baut, ob sie nicht auch Daten haben, damit er überprüfen kann, ob er bei seinen Werten vielleicht einen Overfitting erzeugt hat oder nicht. Bei einer true positive rate von 97% ist er schwer begeistert – es funktioniert!

Aber Paula ist nicht so glücklich über die Lerndatengenerierung. Es gab ein sehr komplexes Umrechnungsmodell, angepasst an die Architektur des Zweisitzermodells, mit den Daten aus dem Transport- und dem Einsitzermodell. Sie ist sich nicht sicher, ob Algorithmen aus Modellen und Einsitzer sich beliebig auf Zweisitzer anwenden lassen. Paula weiß nur zu gut um Verzerrungen (Bias) in den Lerndaten, die man nie ganz in den Griff bekommen kann.

Nach einem Badmintonabend sitzen Paula, Viktor und weitere Kollegen auf ein Bier zusammen und kommen auch auf das aktuelle Thema, den Zweisitzer, zu sprechen. Viktor berichtet aus einer Vorstandssitzung, in der aufgrund des erneut gestiegenen Zeitdrucks weitere Maßnahmen vorgestellt wurden, mit der Bitte um Erarbeitung der Für und Wider. In der nächsten Vorstandssitzung in ein paar Tagen soll dann nach Diskussion und Abwägung entsprechend beschlossen werden.

Unter anderen ist man im Vorstand aktuell der Überzeugung, bei der Meldung für die Zulassung an die Flugaufsichtsbehörde das MCAS als nicht systemrelevant einzustufen. Auch sollen alle Möglichkeiten genutzt werden, die Entwicklungszeit zu verkürzen, was auch Paulas Methodenentscheidung revidieren würde. Viktor berichtet aus Gesprächen mit dem Produktmanagement über technische Konsequenzen aus der Einstufung des MCAS als nicht systemrelevant. Dadurch könnte man nun formal auf die redundante Auslegung des Lagesensors verzichten, um wieder etwas Kosten und besonders Zeit zu sparen. Immerhin waren selbst ein paar Kollegen im Produktmanagement dagegen, sie haben es als unverantwortlich kommentiert. Paula hatte mit mindestens vier Lagesensoren gerechnet, ist insgesamt entsetzt und möchte handeln.

Fragen

  1. Sollte Paula mit dem Vorstand über ihre Sorgen sprechen? Sie bringt damit Viktor in eine schwierige Situation, denn die Diskussionen im Vorstand sollen geheim bleiben, bis eine Entscheidung getroffen worden ist.
  2. Sollte der Vorstand bei technischen Fragen nicht besser direkt mit den Fachabteilungen sprechen?
  3. Hätten Paula und ihr Team bei der Methodenauswahl schon aus ethischen Gründen maschinelles Lernen ablehnen sollten?
  4. Als Maschinenbauer hat Andreas nicht besonders viel Erfahrung mit den Algorithmen, die sein Rechensystem anwendet. Er vertraut einfach auf die Ergebnisse, die geliefert werden. Hat er die Verantwortung für die Ergebnisse oder das gesamte Team?
  5. Ist eine true positive rate von 97% bei Systemen, die Menschenleben tangieren, wirklich ein guter Wert?
  6. Sollte Viktor seine Rollen als Direktreport zumVertriebsvorstand und Schnittstellenkoordinator nutzen, um auf Vorstandsebene auf das Risiko des Gesamtkonstruktes aufmerksam zu machen?
  7. Wie bewerten Sie die Art und Weise der Lerndatengenerierung?
  8. Welche Einzelaspekte führen zu der Gesamtsituation und wie würden Sie diese vom Gewicht ihrer negativen Auswirkung aus betrachtet bewerten?
  9. Welche Gegenmaßnahmen entsprechend dieser Einzelaspekte würden Sie vorschlagen? Wie beurteilen Sie deren Wirksamkeit, um die Gesamtsituation zu verbessern?

Erschienen im Informatik Spektrum 43(1), 2020, S. 59-60, doi : 10.1007/s00287-020-01236-9

Fallbeispiel: Statistische Irrungen

Christina B. Class,  Stefan Ullrich

Alex hat vor etwas mehr als einem Jahr seine Masterarbeit im Bereich Künstliche Intelligenz und Gesichtserkennung abgeschlossen. Sein adaptiertes selbstlernendes Verfahren konnte die bisherigen Ergebnisse der Echtzeit-Gesichtserkennung deutlich verbessern. Als er seine Abschlussarbeit auf einer Tagung vor einem Jahr vorgestellt hat, inklusive Proof-of-Concept auf der Bühne, wurde er vom Leiter der KI Forschungs- und Entwicklungsabteilung der EmbraceTheFuture GmbH angesprochen. Diese wurde vor drei Jahren gegründet, mit Schwerpunkt auf der Entwicklung angepasster Softwaresysteme, insbesondere im Bereich der intelligenten Systeme sowie Sicherheitssysteme. Nach einem kurzen Urlaub nach Ende seines Studiums nimmt Alex eine Stelle bei EmbraceTheFuture GmbH an.

In einem kleinen Team arbeitet er zurzeit imAuftrag der Bundespolizei an Gesichtserkennungssoftware für ein neues Sicherheitssystem namens ,,QuickPicScan“ an Flughäfen. In Echtzeit werden die Gesichter der Passagiere an der Sicherheitskontrolle mit Fahndungsbildern verglichen, um verdächtige Personen zur Seite zu nehmen und extra zu kontrollieren. Die Behörden erhoffen sich so, gesuchte Personen bei Flügen innerhalb des Schengenraums identifizieren zu können, da dort keine umfassenden Passkontrollen vorgenommen werden.

Zudem soll der Durchsatz der kontrollierten Personen gesteigert werden. Das System wurde mit Millionen von Bildern umfassend trainiert. Bilder von gesuchten Personen, Fahndungsbilder, sind in einer Datenbank gespeichert, auf die bei einem Bildabgleich zugegriffen wird. Dadurch kann das System leicht an aktuell gesuchte Personen angepasst werden. Am Flughafen werden Bilder aller Passagiere in niedriger Qualität aufgenommen, sobald die Sicherheitsschleuse durchschritten wird.

Wenn die Software anschlägt, wird der übliche ,,Metall gefunden“-Alarm ausgelöst. In der darauffolgenden Durchsuchung wird das Gesicht in höherer Auflösung unter besseren Lichtverhältnissen fotografiert und erneut mit den Bilddaten verglichen. Erst wenn dieser zweite Test auch positiv ist, erfolgt eine tiefergehende Kontrolle im Nebenraum mit Abgleich der Personalien. Das Ergebnis des zweiten Tests wird an einem Kontrollterminal angezeigt. Die Fotos der Passagiere werden nicht gespeichert, ein eigenes Team stellt sicher, dass die aufgenommenen Bilder wirklich aus dem Hauptspeicher gelöscht werden und nicht von außen ausgelesen werden können. QuickPicScan wurde in Simulationen sowie in einem eigens dafür gebauten Studio mit einer nachgebauten Sicherheitskontrolle und Schauspielern umfangreich getestet.

Basierend auf den Tests geht das Team von einer False Negative Rate von 1 % aus, d. h. von 100 gesuchten Personen wird eine nicht gefunden. Die False Positive Rate – Personen, die zu Unrecht als verdächtig eingestuft werden – ist kleiner als 0,1 %. Sabine, die Marketingleiterin, ist von dem Ergebnis begeistert. Nur 0,1 % Fehlerrate für unschuldige Personen, das sei ein Riesenerfolg!

Um das System unter realen Bedingungen zu testen, wird es in Abstimmung mit der Bundespolizei während zweier Sommermonate in einem kleineren Flughafen mit einem Passagieraufkommen von ca. 400.000 Passagieren pro Jahr getestet. Das Kontrollterminal wird von einem Angestellten des Auftraggebers überwacht. Von 370 Darstellern wurden ,,Fahndungsbilder“ in unterschiedlich guter Qualität und verschiedenen Positionen aufgenommen und ins System gespeist.

Während der zwei Testmonate gehen die Darsteller zu vorher zufällig festgelegten Zeiten insgesamt 1.500 Mal durch die Sicherheitskontrolle. Sie geben sich nach Durchgang der Person am Kontrollterminal zu erkennen, damit das System getestet werden kann. Aufgrund der Ferienzeit werden in den zwei Testmonaten 163.847 Passagiere kontrolliert. Bei 183 Passagieren leuchtet die Lampe fälschlicherweise auf. Bei 8 der 1.500 Sicherheitskontrollen der Darsteller wurde die Übereinstimmung nicht erkannt.

Der Gesamtprojektleiter Viktor ist begeistert. Zwar war die False Positive Rate mit 0,11% etwas schlechter als ursprünglich erhofft, die False Negative Rate mit 0,53 % aber deutlich besser als angenommen. Mit diesen Zahlen und der Fehlerrate von 0,11 % geht EmbraceTheFuture GmbH an die Presse. Die Bundespolizei kündigt den baldigen Einsatz in einem Terminal eines großen Flughafens an.

Am Abend trifft Alex seine alte Schulfreundin Vera, die zufällig in der Stadt ist. Sie arbeitet als Geschichts- und Mathematiklehrerin. Nachdem sie sich über das neueste aus ihrem Alltag und Liebesleben aufs Laufende gebracht haben, berichtet Alex Vera begeistert von dem Projekt und erzählt von der Pressekonferenz. Vera reagiert ziemlich kritisch, automatische Gesichtserkennung behagt ihr irgendwie gar nicht. Darüber hatten sie schon während Alex’ Master häufiger diskutiert. Alex berichtet begeistert von den geringen Fehlerraten, der erhöhten Sicherheit und der Möglichkeit, untergetauchte Personen zu identifizieren. Vera schaut ihn skeptisch an. Sie findet die Fehlerrate überhaupt nicht gering. 0,11 % – bei einem großen Flughafen sind das doch Dutzende Personen, die für weitere Kontrollen beiseite genommen werden. Das findet sie gar nicht lustig.

Auch fragt sie sich, wie viele Personen, von denen es Fahndungsfotos gibt, tatsächlich mit dem Flugzeug fliegen. Alex will darüber nicht wirklich was hören und beginnt, ihr den Algorithmus, den er im Rahmen der Masterarbeit weiterentwickelt hat, genauer zu erläutern…

EinigeMonate später ist das System im AirportCityTerminal fertig installiert, Beamte wurden geschult und die Presse meldet den erfolgreichen Start.Wenige Tage später fliegt Alex vom AirportCityTerminal ab und freut sich schon darauf, an QuickPicScan vorbeizugehen und sich in dem Gefühl zu sonnen, dass er einen Beitrag zu erhöhter Sicherheit leisten konnte. Doch als er in die Sicherheitsschleuse getreten ist, piepst der Metall-Alarm. Er wird gebeten, die Arme auszustrecken, die Füße abwechselnd auf einen Hocker zu stellen und zu guter Letzt geradeaus zu schauen. Er schielt nach rechts auf denMonitor der Sicherheitsbeamten und sieht, wie die kleine Kontrollleuchte am QuickPicScan-Terminal leuchtet. Hoffentlich geht das schnell, es wird knapp mit seinem Flug. Da er kein Gepäck eingecheckt hat, würden sie nicht auf ihn warten.

Er wird in einen separaten Raum geführt wo man ihn bittet, seine Papiere bereitzuhalten. Ein Beamter steht ihm gegenüber. Alex will ihm seinen Personalausweis reichen, dieser meint jedoch, dass die zuständige Kollegin gleich kommen würde, sie müsse noch jemand anderen überprüfen. Alex wird langsam ungeduldig.

Er bittet darum, dass seine Identität überprüft wird. Nein, das ginge nicht, der postierte Sicherheitsbeamte habe noch keine Einweisung für das neue System bekommen. Erst acht Minuten später taucht die verantwortliche Beamtin auf. Nach der Identitätsfeststellung ist klar, dass es sich bei Alex nicht um eine gesuchte Person handelt.

Sein Gepäck wird dennoch minutiös untersucht. ,,Ist Vorschrift“, sagt die Beamtin knapp. Alex wird unruhig, den Flieger wird er wohl verpassen. Plötzlich kommt ihm das Gespräch mit Vera wieder in den Sinn. ,,Passiert das öfter?“, fragt er mit gespielter Freundlichkeit. ,,Ach, ein paar Dutzend sind es schon am Tag“, sagt die Beamtin, als sie ihn wieder zurück ins Terminal geleitet.

Fragen

  1. Alex wurde fälschlicherweise vom System als ,,Verdächtiger“ identifiziert und hat in Folge seinen Flug verpasst. Dies bezeichnet man als false positive. In welchen Fällen muss hingenommen werden, dass es false positive gibt? Welche Folgen sind für die Betroffenen hinnehmbar? Wie müssten Entschädigungen geregelt werden?
  2. Auch Menschen können Fehleinschätzungen vornehmen. In einer ähnlich gelagerten Situation wie in der geschilderten könnte Alex auch von einem Sicherheitsbeamten zur Seite genommen werden, um genauer kontrolliert zu werden. Gibt es hier einen prinzipiellen Unterschied?
  3. Menschen haben Vorurteile. Es ist bekannt, dass ausländisch aussehende Männer zum Beispiel häufiger kontrolliert werden. Welche Chancen bestehen, solche Diskriminierungen durch Menschen mithilfe von Softwaresystemen zu verringern?
  4. Selbstlernende Algorithmen benötigen Trainingsdaten. Die Ergebnisse der Algorithmen hängen damit stark von den Trainingsdaten ab. Dies kann zu im Algorithmus manifestierter Diskriminierung führen.
  5. Denkbar ist auch, dass z. B. Gesichter einer bestimmten Personengruppe weniger genau erkannt werden, wenn weniger Trainingsdaten zur Verfügung stehen.Dies kann sich auf Hautfarbe, Alter, Geschlecht, Vorhandensein eines Barts etc. beziehen. In einem System wie dem beschriebenen könnte dies dazu führen, dass Personen mit bestimmten äußerlichenMerkmalen schneller beiseite genommen werden, um sie zu kontrollieren.Wie kann man Trainingsdaten sinnvoll wählen, umdiskriminierende Systeme nach Möglichkeit zu verhindern? Wie kann man Systeme mit Blick auf solche Diskriminierungen testen?
  6. Gibt es einen konzeptionellen Unterschied zwischen im System manifestierter Diskriminierung und Diskriminierung durch Menschen? Welche ist einfacher zu identifizieren?
  7. Menschen tendieren dazu, Antworten, die von einer Software gegeben wird, schnell zu vertrauen und Verantwortung abzugeben. Macht dies Diskriminierung durch technische Systeme besonders gefährlich? Welche Möglichkeiten der Sensibilisierung gibt es? Sollte, und wenn ja in welcher Form, eine Sensibilisierung in den Schulen erlernt werden? Ist sie Teil notwendiger digitaler Kompetenzen für die Zukunft?
  8. Zahlen für die false positive und false negative Rate werden oft in Prozent angegeben. Fehlerraten von unter 1 % klingen zuerst mal gar nicht so schlecht. Oftmals fällt es Menschen schwer, sich vorzustellen, wie viele Personen in realen Anwendungen davon betroffen wären, welche Folgen dies haben könnte und was das bedeutet. Oft werden auch beide Zahlen nebeneinander gestellt, ohne das Verhältnis zwischen Positives (in unserem Fall die Personen, die per Fahndungsbild gesucht werden) und Negatives (in unserem Fall alle anderen Passagiere) abzubilden. Oft ist dieses Verhältnis sehr unausgeglichen. Beim beschrieben Testlauf sollten 1.500 Personen (Positives) von 163.847 Passagieren identifiziert werden, also ein Verhältnis von ca. 1:100. Ist ein solcher Vergleich irreführend? Dürfen solche Zahlen in Produktbeschreibungen bzw. Marketingbroschüren genutzt werden? Handeln die Verantwortlichen von EmbraceTheFuture GmbH unethisch, wenn Sie an die Presse gehen? Gibt es andere Fehlermaße? Wie kann man Fehlerraten realistisch darstellen, sodass Systeme realistisch eingeschätzt werden?

Erschienen im Informatik Spektrum 42(5), 2019, S. 367-369, doi : 10.1007/s00287-019-01213-x

 

Fallbeispiel: Unachtsamkeiten

Stefan Ullrich, Debora Weber-Wulff

Nach dem Unfall mit Galene, dem so genannten selbstfahrenden Auto [1], bei dem ein Kind mit seinem Drachen zwischen zwei parkenden Autos auf die Straße gerannt ist und von Galene erfasst wurde, ist viel Aufwand in die Ausbesserung der Gefahrenerkennung gesteckt worden. Das Kind, das damals bewusstlos zu Boden gestürzt ist, ist zum Glück genesen. Die Firma hat ihm sogar für sein Schülerpraktikum einen Platz in der Firma gegeben. Jürgen, der Hauptverantwortlicher für Galene, hat damals die Pressekonferenz mit Vorführung abgesagt und nur ein kurzes Statement abgegeben, in dem mitgeteilt worden ist, dass noch einiges an Feinjustierung notwendig sei.

Es hat dennoch damals ein aufgeregtes Presseecho gegeben. Es wurde vorgeschlagen, hochautomatisierte Autos gleich gänzlich aus der Innenstadt zu verbannen. Manche wollten sogar alle SUVs verbieten, obwohl der Unfall wirklich glimpflich ausgegangen ist. Um ein Autoverbot zu vermeiden, hat damals die Politik angekündigt, dass Innovationen auf dem Gebiet der Verkehrssicherheit gezielt gefördert werden sollen. Außerdem sollen die Fahrer solcher Autos jährlich ein Training absolvieren müssen, in dem sie zeigen, dass sie jederzeit in der Lage sind, in Gefahrensituationen die Kontrolle über denWagen wieder zu erlangen. Das fand die Firma zwar problematisch, weil sie gerne damit wirbt, dass man während der Fahrt mit Galene einen Film anschauen oder Kaffee trinken kann. Wenn man den Verkehr immer im Auge halten muss, kann man eigentlich genau so gut selber fahren!

Jürgen und seine Teams haben dennoch an der Erkennung von Gefahrensituationen weitergearbeitet. Es ging darum, sich bewegende Gegenstände im Umfeld zu erkennen und deren Laufrichtung und Geschwindigkeit einzuschätzen. Es gab etliche trainierte Maschinelles- Lernen-Modelle, die einigermaßen gut die Bewegungsrichtungen erkennen könnten. Aber es gab auch einige Randfälle, die richtig knifflig waren. Große Menschenmassen waren problematisch, und die neu zugelassenen E-Scooter haben alle Modelle über den Haufen geworfen, weil sie so schnell und wendig waren.

Es gab immer wieder Fälle, in denen ein sich bewegendes Objekt nicht erkannt worden ist. Renate, eine Entwicklerin in Jürgens Abteilung und Leiterin der Bewegungserkennungsgruppe, hat sich in der letzten Zeit viel mit der Theorie von Edge Computing auseinandergesetzt. Sie schlägt vor, dass Kameras in die Lichtmasten eingebaut werden könnten, die permanent die Bewegungsrichtungen der Objekte in ihrer Nachbarschaft überwachen. Sie sind aus Datenschutzgründen nicht an einen zentralen Computer angeschlossen, aber versenden permanent Informationen über sich bewegende Objekte. Die autonomen Fahrzeuge können diese Daten in ihren Berechnungen berücksichtigen, müssen es aber nicht. Gerade auf dem Land gibt es nicht so viele Lichtmasten wie in der Stadt.

Die Gruppe schafft es, in Berlin eine Teststrecke auf einem Abschnitt der Straße des 17. Juni (eine lange, gerade Straße mit vielen Lichtmasten) genehmigen zu lassen und aufzubauen. Sie können recht große Recheneinheiten in die Lichtmasten einbauen, daher klappt die Richtungserkennung der bewegten Objekte sehr gut. Renates Teammuss diese gesendeten Daten interpretieren. Sie haben leider sehr große Probleme. Metall und feuchte Blätter beeinflussen die Signale, außerdem können die Sensoren praktisch nur dort in den Autos angebracht werden, wo sich die Kameras befinden. Es müssen daher besondere Geräte entwickelt werden, die die Kamera und unterschiedliche Sensoren kombinieren. Damit werden die Autos noch teurer als sie sowieso sind. Renate erstattet Bericht über die Auswirkungen an Jürgen, aber er wiegelt ab. Ist nicht so schlimm, da hat er eine bessere Idee.

Jürgen ist Techniker und wusste daher sehr gut, dass viele Probleme grundlegender Natur und nicht einfach zu beheben waren. Da kam ihm der Vorschlag eines seiner Teams genau richtig, vielleicht besser das Verhalten der Fußgänger zu regeln als das der Autos. In einigen Städten gab es schon Straßenschilder, die auf dem Boden gemalt wurden, um die zu Boden blickenden Smartphone- Nutzer vor dem Verkehr zu warnen. Außerdem sollte man dem Bezirk vorschlagen, auf der Teststrecke die E-Scooter zu verbieten. Während der Testphase wurden für Fußgänger Hinweisschilder auf Englisch und auf Deutsch angebracht, die über den Testbetrieb informieren. Im Bordstein eingelassene LEDs leuchten rot und blinken, wenn ein Fußgänger außerhalb der Signalanlagen auf die Fahrbahn treten möchte. Während des Testbetriebs wird dann auch ein Signal an die Mobilgeräte der eigens dafür eingesetzten Beamten des Ordnungsamtes gesendet.

Bei der anschließenden Auswertung ergab sich trotz der erheblichen technischen Mängel, dass viele potenzielle Unfälle verhindert wurden. Fachleuten war bewusst, dass dies eher auf den massiven Personaleinsatz, das E-Scooter-Verbot auf der Teststrecke und die Gängelung der Fußgänger zurückzuführen war, das Projekt wurde dennoch als ein technischer Erfolg gefeiert. Auf der anschließenden Pressekonferenz willigt die Kommune des Firmensitzes öffentlichkeitswirksam ein, die komplette Kleinstadt für autonome Fahrzeuge umzurüsten. Und auch das Bundesverkehrsministerium zieht mit: Die Einwohner können ihre alten Fahrzeuge gegen Galene quasi tauschen; zumindest bekommen sie einen beträchtlichen Zuschuss zum Einkaufspreis.

Renates Team ist nach wie vor damit beschäftigt, die gesammelten Daten auszuwerten. Sie und ihr Team kommenzu demSchluss, dass sich die Gefahrenerkennung nicht wesentlich verbessert hat, ein ähnlicher Unfall könnte jederzeit wieder stattfinden. Jürgen beruhigt sie, sie müsse doch das Gesamtsystem betrachten. Und zusammen mit denWarnungen für die Fußgänger hat sich die Situation ja tatsächlich verbessert. Vielleicht sollte die Firma über autonome Poller nachdenken, die sich Leuten in den Weg stellen, scherzt Renate. Zu ihrer Überraschung schweigt Jürgen ein paar Sekunden. Keine schlechte Idee, meint er schließlich.

Galene geht in Produktion, und wird erstaunlicherweise von knapp der Hälfte der Bürger in der Testkommune angeschafft. Die Anzahl von Blechunfällen geht stark zurück, sie passieren eigentlich nur noch im Mischverkehr, wenn ein autonomes mit einem nicht-autonomem Fahrzeug verschiedene Strategien zur Vermeidung von Unfällen anwendet.

An einem feinen Herbsttag sind Kinder auf der Herbstwiese dabei, ihren Drachen steigen zu lassen. Es ist ein sehr windiger Nachmittag, und die Drachen können sehr hoch fliegen. Peter ist mit seiner Mutter auf der Wiese, sie hat ihn überschwänglich gelobt, wie gut er den Drachen hinbekommen hat. Sie fotografiert ihn und ist dabei, das Bild online zu teilen. Sie bekommt nicht mit, dass der Drachen jetzt über die Straße zieht. Peter stemmt sich dagegen, wird mitgezogen, hält an, geht weiter in eine leicht andere Richtung, bleibt stehen, versucht, die Kontrolle über seinen Drachen wieder zu bekommen. Er will ihn nicht loslassen, den Drachen, das Geschenk seines Vaters. Er ist gefährlich nah an der Straße, seine Mutter schaut immer noch auf ihr Handy. Er kann die Straße nicht einsehen, weil ein Transportfahrzeug in der zweiten Reihe parkt. Galene setzt zum Überholen an.

Fragen

  1. Ist es moralisch gesehen in Ordnung, lauffähige Fahrzeuge umzutauschen,
    um einen technischen Test durchzuführen?
  2. Hätte man sich nicht schon denken können, dass die Probleme prinzipieller Natur sind?
  3. Haben die Entwickler eine Verantwortung dafür, darauf hinzuweisen, dass sie nicht grundsätzlich Gefahren erkennen können?
  4. Ist es problematisch, wenn Lichtmasten solche Daten erfassen und aussenden? Besteht auch noch Diebstahlgefahr für die Rechenelemente?
  5. Wer trägt die Verantwortung, wenn es einen Unfall mit Peter und Galene gibt? Peter, seineMutter, der Fahrer des Lieferwagens, die Hersteller von Galene, Renates Team?
  6. Autos und Fußgänger stehen in starker Konkurrenz zueinander. Ist es problematisch, das Verhalten der Fußgänger beeinflussen zu wollen, damit die Autos es leichter haben? Siehe hierzu auch [2].
  7. Reicht es aus, Warnungen in der Landessprache und auf Englisch anzubringen – in einer Gegend, in der sich viele Touristen aufhalten?
  8. Müssen Eltern besser auf ihre Kinder aufpassen und sich nicht immer mit dem Handy beschäftigen?

Literatur
1. Informatik Spektrum (2015) 38(6):575–577, online unter https://gewissensbits.gi.de/fallbeispiel-das-selbstfahrende-auto/

2. Novak M (2013) The Invention of Jaywalking Was a Massive Shaming Campaign, 22 July 2013, https://paleofuture.gizmodo.com/the-invention-of-jaywalking-was-a-massive-shaming-campa-858926923

Erschienen im Informatik Spektrum 42(6), 2019, S. 448-450, doi : 10.1007/s00287-019-01218-6

Fallbeispiel: Eignungsfeststellungsverfahren

Jennifer Schmautzer, Carsten Trinitis

Emily ist mit ihrem Informatik-Bachelor an der TU fast fertig. Im vergangenen Semester hat sie ein Praktikum im Ausland gemacht, um ihre Fremdsprachenkenntnisse sowie ihre Schlüsselqualifikationen zu verbessern. Dabei hat sie sich für eine Firma aus den USA entschieden, die sich vor allem auf die Entwicklung autonomer Autos spezialisiert hat. Denn Emily war schon als Kind von Autos und deren Technik sowie Funktionsweise fasziniert. Seitdem sie außerdem selbst eine begeisterte Autofahrerin ist, hat sie angefangen, sich näher mit der fortschreitenden Technologie im Bereich der Automobilindustrie auseinanderzusetzen. Insbesondere autonome Autos haben ihr Interesse geweckt, weshalb sie in ihrem Praktikum mehr über die verschiedenen KI-Technologien und Werkzeuge in autonomen Autos lernen wollte.

Ihr damaliger Praktikumsbetreuer Tom hat ihr erklärt, dass Deep Learning als Teilbereich des Machine Learnings eine wichtige Methode und Grundlage für die Entwicklung autonomer Autos darstellt. Denn über sogenannte neuronale Netze, die ähnlich wie ein menschliches Gehirn aufgebaut sind, können die Autos eine Verbindung mit der Umgebung herstellen. Außerdem müssen die Autos in der Lage sein, viele verschiedene Daten zu verarbeiten, Muster auf Basis von Bild- und Sensordaten zu erkennen und Entscheidungen auf Grundlage von KI-Algorithmen zu treffen.

Toms Aufgabe besteht unter anderem darin, genau solche KI-Algorithmen zu implementieren. Im Laufe des Praktikums, in dem sie Tom über die Schulter schauen und kleine Implementierungen unter seiner Aufsicht selbst durchführen durfte, ist ihr klar geworden, dass bereits kleine Fehler im Code und damit in der Software zu einer Vielzahl von Unfällen führen können. Emily wird auch jetzt noch mulmig bei dem Gedanken, dass sie für den Tod von anderen Menschen verantwortlich sein könnte.

Zudem fragt sie sich, wer bei einem Unfall, an dem ein autonomes Auto beteiligt ist, im generellen Fall die Haftung übernehmen müsste. Der Fahrer, der Hersteller, der Konstrukteur oder doch etwa der Software-Entwickler? Sie stellt fest: Toms Job bringt auf jeden Fall viel Verantwortung mit sich!

Auch in der Personalabteilung, die sie, während Tom auf einer Fortbildung war, besuchen durfte, sind ihr verschiedene Anwendungen von Künstlicher Intelligenz begegnet. So wendet die Firma unter anderem sogenanntes Roboter Recruiting zur Personalauswahl an. Es werden jedoch nicht nur Lebensläufe und weitere Bewerbungsunterlagen anhand bestimmter Kriterien voranalysiert, sondern sogar das Bewerbungsgespräch wird von einem Computer durchgeführt.

Emily war sofort begeistert, wie diese KI-basierte Software dabei Mimik, Stimme und Inhalt genau analysieren kann, um anschließend zu ermitteln, ob sich der Bewerber für den Job eignet oder nicht. Sie hat erfahren, dass die Firma mithilfe von Roboter Recruiting bereits erfolgreich Mitarbeiter einstellen konnte, und dass die Trefferquote ebenfalls sehr hoch sei. Der Computer hat eben im Gegensatz zum Menschen keine Vorurteile und ist somit diskriminierungsfrei, denkt sich Emily. Somit ist Roboter Recruiting nicht nur eine Erleichterung für die Personalabteilung, sondern bringt auch noch Vorteile für die Bewerber mit sich.

Als Emily wieder zurück in Deutschland ist und ihr Praktikum Revue passieren lässt, wird ihr erst bewusst, in wie vielen Bereichen und Anwendungen KI heutzutage nicht mehr wegzudenken ist. Inspiriert von ihrem Praktikum beschließt sie, sich tiefgehender mit den Methoden und Werkzeugen der KI zu beschäftigen. Auf der Suche nach Kommilitonen, die sich ebenfalls für KI interessieren, entdeckt sie an ihrer Universität eine Projektgruppe zur KI. Da das Semester gerade erst begonnen hat, kann sich Emily noch ohne Probleme anmelden.

In der darauffolgenden Woche besucht sie das erste Treffen der Gruppe, an dem festgelegt werden soll, an welchem KI-basierten Projekt man dieses Semester arbeiten wird. Emily überlegt, welche KI-Verfahren sie in ihrem Praktikum am meisten begeistert haben, und inwiefern man diese in einem eigenen Projekt erforschen und realisieren könnte.

Schließlich erzählt sie den restlichen Teilnehmern von dem Verfahren des Roboter Recruitings, das die Firma aus den USA bereits erfolgreich eingesetzt hat. Im Zuge dessen kommt ihr die Idee, dieses oder ein ähnliches Verfahren auch für das Eignungsfeststellungsverfahren (EFV) im Bewerbungsprozess bei Studierenden anzuwenden. Die erste Stufe des EFV ist hierbei bereits digitalisiert: Anhand der eingesendeten Bewerbungsunterlagen wird digital festgestellt, welche von den Fakultäten definierten Punktegrenzen jeweils erreicht sind. Anschließend sendet die Universität dem Bewerber, abhängig von seiner Punktezahl, automatisch eine E-Mail zu, die ihm mitteilt, ob er direkt für einen Studienplatz zugelassen wird, keinen Studienplatz erhält oder in das EFV-Gespräch muss. Die zweite Stufe des EFV, also das Gespräch mit dem Professor, ist derzeit allerdings noch nicht digitalisiert.

Der Projektleiter und die anderen Teilnehmer sind begeistert von ihrer Idee, dieses Gespräch auch zu digitalisieren, weshalb sie sich schließlich für dieses Projekt entscheiden. In den nächsten Wochen beginnen sie, die verschiedenen notwendigen KI-Techniken hierfür zu erarbeiten und umzusetzen. So beschäftigen sie sich intensiv mit dem Verfahren des Deep Learnings, das Emily bereits in ihrem Auslandspraktikum im Bereich der autonomen Autos kennenlernen durfte. Damit die KI am Ende sinnvolle Ergebnisse liefert, ist es besonders wichtig, die künstlichen neuronalen Netze mit möglichst vielen qualitativ hochwertigen Daten zu trainieren.

Deshalb sammeln Emily und die anderen Gruppenmitglieder über das gesamte Semester Daten von erfolgreichen Studienabsolventen, um die KI damit zu trainieren und zu verfeinern. Nach einem Gespräch des Computers mit einem Studienbewerber vergleicht die KI schließlich die gespeicherten Daten erfolgreicher Studienabsolventen mit den im gesamten EFV gesammelten Daten, um basierend darauf eine Entscheidung zu treffen. Emily verbringt jede freie Minute an der Verfeinerung dieses Deep Learning Prozesses.

Eines Abends, als Emily bei ihrer Tante und ihrem Onkel zu Besuch ist, berichtet sie ihnen begeistert von ihrem Projekt und seinem stetigen Fortschritt. Ihre Tante, die sich kaum mit Technik und Informatik auskennt, ist skeptisch und fragt sich, ob die Entscheidung über einen Studienplatz wirklich von einer Maschine getroffen werden kann. Sollte nicht ein Mensch über eine so wichtige Entscheidung bestimmen? Denn woher soll die Maschine wissen, wer für einen bestimmten Studienplatz geeignet ist und wer nicht? Emily versucht, ihrer Tante das grundlegende Verfahren von selbstlernenden Maschinen zu erklären und ihre Bedenken zu widerlegen, doch sie kann die Befürchtungen ihrer Tante nicht vollkommen ausräumen.

Auch ihr Onkel, der sich als GI-Mitglied an der TU sehr wohl mit Informatik auskennt, sieht das Projekt teilweise kritisch. Er erzählt Emily von einem Fall bei Amazon, bei dem die KI Frauen bei der Personalauswahl benachteiligt hat. Schuld waren die Trainingsdaten für die KI, die auf den Bewerbungen der letzten zehn Jahre basierten. Denn die meisten Bewerbungen stammten von Männern, weshalb das KI-System daraus folgerte, dass das Unternehmen bevorzugt Männer einstelle.

Emilys Onkel macht ihr deutlich, dass die Menschenwürde in diesem Fall nicht gewahrt und geschützt wurde, wie es klar im Artikel 9 “Zivilcourage“ der neuen ethischen Leitlinien, welche das Präsidium der GI am 9. Juni 2018 verabschiedet hat, gefordert wird.

Als Emily an diesem Abend nach Hause geht, wird ihr bewusst, dass ihr Projekt eventuell auch Schattenseiten besitzt, über die sie sich bis jetzt keine Gedanken gemacht hat. Was ist, wenn auch bei ihnen die Trainingsdaten Vorurteile enthalten, weil Jungs beispielsweise eher technische Studiengänge wählen als Mädchen? Daheim recherchiert Emily über ähnliche Fälle und fängt an, ihr Projekt kritisch zu hinterfragen. Doch so kurz vor dem Ziel möchte sie natürlich nicht aufgeben und schiebt die Gedanken beiseite.

Zwei Wochen später ist die Arbeit an ihrem Projekt fertiggestellt, und erste Tests mit freiwilligen Studienbewerbern werden durchgeführt. Nach dem Gespräch mit dem Computer füllen die Testpersonen außerdem einen Fragebogen aus, in dem ihre persönliche Meinung über das geführte Gespräch erfasst wird. Als die Projektgruppe die Fragebögen auswertet, stellt sie fest, dass viele auch Kritik enthalten. So wird beispielsweise kritisiert, dass man eine von einem KI-basierten System getroffene Entscheidung nicht nachvollziehen könne. Schließlich trifft die KI die Entscheidung auf Grundlage von verknüpften Daten und von Wissen, über das kein direkter Zugriff besteht. Außerdem geben einige Testpersonen an, dass sie sich bei dem Gespräch unwohl gefühlt haben und nicht wussten, wie sie sich verhalten sollen. Vielen fehlte auch einfach das Persönliche, das so ein Gespräch doch irgendwie ausmache.

Obwohl Emily mit Kritik gerechnet hat, ist sie nun doch etwas schockiert. Als schließlich auch noch ihre Befürchtungen wahr werden und die Testergebnisse zeigen, dass nur Jungs im Informatikstudiengang zugelassen worden wären, ist ihr klar, dass ihr Verfahren noch lange nicht ausgereift ist.

Fragen

  1. Inwie vielen und welchen Lebensbereichen begegnet KI uns tatsächlich? Ist KI aus unseremLeben überhaupt noch wegzudenken? Inwiefern unterstützen uns die verschiedenen KI-Technologien? Können sie uns auch in irgendeinerWeise schaden?
  2. Was sind qualitativ hochwertige Daten für das Training der neuronalen Netze im Hinblick auf die Digitalisierung der zweiten Stufe des EFV? Sollten die Trainingsdaten nur Daten von Studienabsolventen mit einem Studienerfolg nach X Semestern enthalten, oder sollte der Studienerfolg insgesamt zählen? Welche Daten sind überhaupt von Relevanz, wenn es um den Abschluss eines erfolgreichen Studiums geht? Woran kann man festmachen, ob jemand ein Studium schaffen wird? Gibt es hierfür überhaupt irgendwelche Kriterien?
  3. Inwieweit kann man sicherstellen, dass die Daten frei von Vorurteilen sind bzw. ist das überhaupt möglich?
  4. Kann man das Verfahren von Roboter Recruiting also einfach auf Bewerbungsverfahren von Studierenden anwenden?
  5. Was ist mit den Befürchtungen der Tante? Kommt der Computer bei Menschen wie Emilys Tante, die eine Ablehnung und Unsicherheit bei solchen Verfahren aufweisen, zu anderen Ergebnissen als bei Menschen, die sich mit der Technologie auskennen und diese für gut heißen? Wenn ja, ist dies gerechtfertigt?
  6. Wie sieht es bezüglich des Datenschutzes aus?
  7. Inwiefern ist eine Dokumentation der Daten, die für das Training der KI verwendet werden, notwendig? Wie kann man diese dokumentierten Daten im Falle eines Einspruchs von einem Studienbewerber bei Ablehnung berücksichtigen? Kann eine Entscheidung nachträglich aufgrund dieser Dokumentation geändert werden?

Erschienen im Informatik Spektrum, 42(4), 2019, S. 304-306, doi: 10.1007/s00287-019-01189-8

Fallbeispiel: Der Albtraum

Christina B. Class, Debora Weber-Wulff

Andrea, Jens und Richard sitzen in ihrer Lieblingspizzeria in Hamburg und feiern bei Bier und Pizza den erfolgreichen Abschluss der Softwaretests des Projekts ,,SafeCar“. Das Projekt wird morgen in Hamburg zum TÜV-Test gehen und sie sind schon fertig. Sie müssen nicht die Nacht durcharbeiten!

Sie arbeiten im Unternehmen SmartSW GmbH in Hamburg und sind für die Entwicklung einer Softwaresteuerung für die Sicherheitskomponente des neuen Automodells KLU21 des Autoherstellers ABC verantwortlich.

Der Autohersteller ABC stand in letzter Zeit wirtschaftlich ziemlich unter Druck, da er sich zu sehr auf die klassischen Antriebssysteme statt auf Elektromotoren konzentriert hat. Die Skandale um Dieselfahrzeuge in den letzten Jahren haben ihm zunehmend zu schaffen gemacht.

Das aktuelle sparsame Hybridmodell KLU21 soll durch eine neue intelligente Fahrsteuerung und ein erweitertes Sicherheitssystem ergänzt werden. Dieses soll eine intelligente Fahrunterstützung mit Hilfe von Echtzeitdaten anbieten. Durch Verwendung der neuesten Kommunikationstechnologien
will ABC das angeschlagene Image verbessern. ABC möchte als modernes Unternehmen und Pionier wahrgenommen werden und hofft, dadurch etwas Marktanteil zurückgewinnen zu können und Arbeitsplätze zu erhalten.

Im Rahmen des Projekts SafeCar wurde ein Sicherheitssystem für KLU21 mit künstlicher Intelligenz entwickelt. Zum einen verhindert die Software, dass ein Auto von der Fahrspur abkommt. Hierzu werden Informationen der externen Kameras verknüpft mit der Lokalisation des Fahrzeugs und aktuellen Verkehrsdaten über den Straßenzustand und Satellitendaten, die in Echtzeit von einer gesicherten Cloud geladen werden. Das Auto nimmt auch die anderen Autos auf der Straße wahr und erzwingt die Einhaltung des Sicherheitsabstands.

Zum anderen soll eine auf den Fahrer gerichtete Kamera feststellen, wenn sich die Augen des Fahrers schließen. Das könnte bedeuten, dass er in einen Sekundenschlaf fällt oder ohnmächtig geworden ist. Ein Alarmton soll den Fahrerwecken. Kann das System keine sofortige Reaktion des Fahrers beobachten, übernimmt es die automatische Steuerung und bringt das Fahrzeug unter Beachtung der Straßensituation und des Verkehrs am Straßenrand zum Stehen. Die maximale Reaktionszeit des Fahrers bis die Software die Steuerung übernimmt, hängt von der Straße, dem Straßenzustand sowie der Verkehrssituation ab, um das Risiko für alle Verkehrsteilnehmer zu minimieren.

Andrea, Jens und Richard haben dem Projektleiter vorgeschlagen, zu erkennen, wenn der Fahrer mit dem Mobiltelefon hantiert, und eine Warnung auf dem Display anzuzeigen und ein Warnsignal zu senden. Jens und Richard haben sich ferner den Spaß gemacht, automatisch zu erkennen, wenn eine Fahrerin Lippenstift appliziert. Das Auto soll dann pfeifen – aber auch nicht immer, nur durchschnittlich jedes sechste Mal. Natürlich soll dieses Feature nicht aktiviert werden.

Es war ja so einfach, die Bilder via den 5G-Netzwerk zum Cloud Cluster zu schicken, und dort die Bilder zu zerlegen und zu schauen, ob sie was erkennen können. Um den Sekundenschlaf und Ohnmacht möglichst genau zu erkennen, haben sie das Programm mit vielen Daten, die sie eigens dafür erhalten haben, trainiert. Handy oder Lippenstift zu erkennen war dagegen eine einfache Fingerübung. Es gab ja ausreichend freie „Trainingsdaten“ (Bilder und Videos) im Internet zu finden.

Sollte das Auto eine technische Panne haben, der Fahrer das Bewusstsein verlieren oder ein Unfall passieren, wird ein automatischer Notruf an die Polizei abgesetzt mit den relevanten Daten betreffend des Autos, der Art der Panne oder des Unfalls, Information betreffend des Bedarfs nach einer Notarzt und der genauen Angabe, wo das Auto steht.

Nachdem sie viele Überstunden gemacht haben, feiern Andrea, Jens und Richard den erfolgreichen Abschluss der Tests ausgelassen. Nach vielen erfolgreichen In-House Tests sind sie in den letzten beiden Tagen mit einem auf der Beifahrerseite installierten System durch die Straßen der Stadt und der näheren Umgebung gefahren, und haben alle Informationen und Befehle des Systems protokolliert. Die Auswertung hat gezeigt, dass alle gestellten Situationen korrekt erkannt wurden. Sie haben heute von ihrem Teamleiter schon ein dickes Kompliment erhalten. Sie klönen miteinander bis weit nach Mitternacht.

Als Andrea mit dem Taxi nach Hause gefahren ist, fühlt sie sich plötzlich ziemlich durstig. Mit einer Flasche Mineralwasser setzt sie sich auf das Sofa und schaltet den Fernseher ein. Es kommt eine Wiederholung einer Talkshow, bei der es, wie seit Monaten schon, um den aktuellen Stand des 5G Netzausbaus geht. Es wird wieder einmal diskutiert, wie viele Funklöcher in ländlichen Gebieten existieren, die immer noch nicht geschlossen wurden. Dazu kommen unzureichende Regeln für nationales Roaming.

Ein Firmenvertreter behauptet, es werde nur noch wenige Funklöcher geben, wenn der 5G-Ausbau fertig ist. Eine Zuschauerin beklagt sich dagegen heftigst darüber, dass sie trotz des neuen Netzes nur im Garten Empfang hat. Ihre neu hinzugezogene Nachbarin, die noch einen Vertrag mit einem anderen Netzanbieter hat, hat nur auf dem Friedhof am Ende des Ortes Empfang, da das Roaming nicht verpflichtend ist. Eine heftige Diskussion entbrennt…

Andrea ist sehr müde. Sie lehnt sich zurück. Die Augen fallen ihr zu …: Sie fährt Auto. Die Strecke ist kurvenreich und dasWetter ist sehr neblig, sie hat kaum Sicht. Sie ist froh, dass sie einen KLU21 fährt, er unterstützt sie dabei, auf der rechten Spur zu bleiben. Doch plötzlich merkt sie, wie die Lenkunterstützung des Autos ausfällt. Sie ist nicht darauf vorbereitet und bevor sie recht reagieren kann, hat ihr Auto die Fahrbahn verlassen und kracht seitlich gegen einen Baum. Sie wird schräg nach vorne geschleudert, so dass sie unglücklich auf den Airbag auftrifft. Sie verliert das Bewusstsein.

Sie beobachtet wie sie bewusstlos im Auto sitzt. Gleich wird Hilfe kommen, zum Glück hat KLU21 einen Notruf abgesetzt. Sie sieht sich im Auto um, die Notfall-Leuchte blinkt nicht, warum wurde kein Notruf abgesetzt? Sie blutet! Warum kommt keine Hilfe? Plötzlich weiß sie es! Ein Funkloch … Die Lenkunterstützung konnte so nicht ausreichend funktionieren, da Echtzeitdaten fehlten, genauso wenig die Benachrichtigung der Notrufzentrale … Hallo? Hört mich jemand? Warum kommt kein Auto vorbei? Warum hilft mir niemand? Hilfe, ich blute! Ich verblute!

Schweißgebadet wacht Andrea auf! Sie braucht einen Moment, um sich zu beruhigen und zu begreifen, dass es nur ein Traum war, sie sich in ihrer Wohnung befindet und es ihr gut geht.

Und dann erinnert sie sich an die erfolgreichen Softwaretests von heute und die Sendung mit den Beschwerden über unzureichende Netzabdeckung in manchen ländlichen Gebieten. Auch da führen Straßen durch. Warum haben sie nie darüber nachgedacht, als sie die Software für KLU21 entwickelt haben? Warum haben sie nie ihren Auftraggeber darauf angesprochen? Ihre Tante wohnt ja in Sankt Peter-Neustadt und hat schon öfters über ihre schlechte Verbindung geklagt. Sie muss unbedingt mit ihrem Chef sprechen …

Fragen

  1. Tests zu gestalten ist sehr schwer. Im vorliegenden Beispiel sind die Entwickler maßgeblich an den Tests beteiligt. Ist dies gerechtfertigt? Wie kann sichergestelltwerden, dass die Tests nicht verzerrt werden und zu falschen Ergebnissen führen? Wie stark sind Anforderungen an Tests in Abhängigkeit von der Sicherheitsrelevanz der Software zu definieren? Wie stark beeinflussen Deadlines und wirtschaftlicher Druck die Durchführung von Softwaretests?
  2. Tests können die Fehlerfreiheit von Software nicht nachweisen. Noch weniger ist es möglich, nachzuweisen, dass die Software nichts macht, was nicht gefordert ist. In dem Beispiel wurde mit der Lippenstifterkennung ein sogenanntes Easter Egg (Osterei) eingefügt, das nicht aktiviert wird. Welche Probleme können sich durch ein solches Easter Egg ergeben? Wie ist ein solches Easter Egg zu beurteilen, wenn die Entwickler es in ihrer „Freizeit“ entwickelt haben?
  3. Es handelt sich im Beispiel um eine sicherheitskritische Anwendung, die mit Trainingsdaten trainiert wird. Wie kann man die Qualität der Trainingsdaten sicherstellen? Welche Richtlinien sollte/kann es hierfür geben? Wann und unter welchen Umständen sollte erzwungen werden, dass ein System mit neuen Daten lernt? Wie müssen erneute Tests aussehen, wenn das System weitere Trainingsdaten erhalten hat? Müssen alle bisherigen Tests erneut wiederholt werden? Dürfen sich Personen, die Trainingsdaten definieren, auch an der Entwicklung von Tests beteiligen? Wenn nicht, warum nicht?
  4. Im Internet sind viele Bilder und Videos „frei“ zu finden. Dürfen diese einfach als Trainingsdaten verwendet werden? Wenn nicht, warum nicht? Wenn ja, gibt es Einschränkungen für die Art von Anwendungen, für die man sie verwenden darf?
  5. Für gewisse Anwendungsbereiche oder auchWettbewerbe im Bereich von Data Mining und KI gibt es frei verfügbare, anwendungsspezifische Datensets (open data). Ist es erlaubt, diese für andere Arten von Anwendungen/Fragestellungen zu verwenden? Welche Anforderung muss an die Dokumentation solcher Datensets gestellt werden, in Bezug auf Datenquelle, Auswahl der Daten und getroffenen Annahmen? Wie groß ist die Gefahr, falsche Schlussfolgerungen zu ziehen, wenn man solche Daten verwendet?
  6. In den aktuellen Diskussionen über 5G wird häufig über die Notwendigkeit einer flächendeckenden Abdeckung sowie von National Roaming gesprochen.Wie wichtig ist eine solche? Ist es vertretbar, sicherheitskritische Anwendungen zu erstellen, so lange nicht sichergestellt ist, dass die Infrastruktur flächendeckend zur Verfügungsteht? Ist es vertretbar, Anwendungen zu schreiben, die nur lokal genutzt werden können/dürfen, also z. B. nur in der Stadt? Wenn der Nutzer nach einem Umzug ein Systemnicht mehr benutzen kann, sollte er dann eine Entschädigung erhalten?
  7. Funklöcher betreffen heute schon viele Regionen, in denen mit einem Handy z. B. keine Rettungskräfte oder Polizei gerufen werden kann oder in denen Rettungskräfte keinen Kontakt mit der Leitstelle aufnehmen können.Wie stark ist die Politik gefordert, hier regulierend einzugreifen? Wie stark ist diese Digital Divide wirklich in Deutschland? Können wir es uns als Industrienation leisten, dass diese weiterhin bestehend bleibt, bzw. u.U. mit dem 5G Ausbau verstärkt wird?

Erschienen im Informatik Spektrum, 42(3), 2019, S. 215-217, DOI: 10.1007/s00287-019-01171-4