|
|
Christina B. Class, Gudrun Schiedermeier
In einer nicht zu fernen Zukunft …
Im Bereich der Digitalisierung ist in den letzten Jahren in der Bundesrepublik Deutschland viel zu wenig investiert worden. Sei es im Zusammenhang mit der Infrastruktur, digitalen Ausstattung von Schulen und Behörden oder der Digitalisierung von Prozessen. Die Corona-Pandemie hat das Ausmaß der Versäumnisse verdeutlicht und aufgezeigt, dass vieles nicht nur „nice to have“ ist. Die neue Bundesregierung plant daher größere Investitionen und will Deutschland im Bereich der Digitalisierung voranbringen. Hierzu hat das neue Digitalministerium einige Studien beauftragt. Eine erste Studie des Unternehmens BestIdeas AG befasst sich mit Fragen der Verbreitung und des Einsatzes der Smart ID Card. Insbesondere wird untersucht, wie der elektronische Identitätsnachweis attraktiver gemacht werden kann. Obwohl das Gesetz 2021 beschlossen wurde [1] und die Basisinfrastruktur mittlerweile vorhanden ist, haben nur sehr wenige Bundesbürger*innen die App installiert. Das Digitalministerium steht unter Druck, da die Kosten doch höher als veranschlagt ausgefallen sind und erste Testläufe größere Sicherheitslücken aufgedeckt haben, die von der Presse detailliert ausgebreitet wurden. Um hiervon abzulenken, schlägt die Beraterfirma BestIdeas AG vor, einen gut dotierten Wettbewerb für Apps zu veranstalten und die besten Ideen dann baldmöglichst umzusetzen.
In einer ersten Runde sollen daher Ideenskizzen eingereicht werden. Einige ausgewählte Teilnehmer*innen erhalten dann einen Vertrag, um ein detailliertes Konzept und einen Prototypen zu entwickeln. Diese sollen dann baldmöglichst in der Verwaltung eingeführt und den Bürger*innen zur Verfügung gestellt werden.
Peter hat Informatik studiert und gemeinsam mit seiner Kommilitonin Sabine das Startup QuickSolutions GmbH gegründet. Sie haben sich auf App-Entwicklungen für Android und Apple spezialisiert und auch einige Spiele entwickelt, die ziemlich gute Kritiken erhalten haben. Um ihre Einnahmen etwas aufzubessern, haben sie auch IT-Supportaufgaben in kleineren Firmen in der Stadt übernommen. Da aber viele Angestellte im Home Office tätig waren, sind spürbar Einnahmen weggebrochen und Sabine und er müssen immer noch sehen, wie sie das Unternehmen über Wasser halten. Nach dem Joggen sitzt Peter abends auf dem Balkon, trinkt ein Bier und surft ein bisschen in Entwicklerblogs. Dort findet er einen Hinweis auf den Wettbewerb des Digitalministeriums und wird schlagartig hellwach. Er ruft sofort Sabine an. Am nächsten Morgen sitzen sie auf der Terrasse ihres Lieblingscafés und diskutieren mögliche Ideen:
„Warum eigentlich muss es der elektronische Identitätsnachweis sein?“, fragt Peter. „Warum nicht auch der Führerschein? Ich bin am letzten Samstag mit Heike ins Restaurant gefahren und habe meine Papiere vergessen. Da vor uns ein Unfall war, wurden auch wir von der Polizei kontrolliert. Mensch, das war echt blöd, so ohne Papiere. Wir haben ein Bußgeld bekommen und am Montag musste ich auf das Revier und den Führerschein vorzeigen. Die haben drauf bestanden… Warum kann man nicht den Führerschein auf dem Handy haben und vorzeigen?“ Sabine starrt ihn an: „Mensch, das ist eine tolle Idee“, sagt sie. „Und die App sollte dann so programmiert sein, dass man den elektronischen Führerschein nur auf ein Handy bekommt, auf dem der elektronische Identitätsnachweis vorhanden ist. Bei all den Autofahrern könnte das echt eine Killer App werden.“ „Ja, das wäre schon genial“, meint Peter, „dann wäre unsere Firma endlich mal aus dem Gröbsten raus. Aber ich bin mir nicht sicher, ob wir das so einfach machen könnten. Die Sicherheitsanforderungen sind doch immens.“ „Tja“, meint Sabine, „da hast du wahrscheinlich Recht“. „Na ja, wir haben ja schon reichlich Erfahrung mit der Entwicklung von Apps. Warum eigentlich nicht.“ „Aber ein Spiel ist doch was anderes als eine solche App.“, wirft Sabine ein. „Da müssen Datenschutzauflagen berücksichtigt und alle möglichen Sicherheitsaspekte beachtet werden. Davon haben wir doch keine Ahnung.“
Peter grübelt und trinkt ein paar Schluck Kaffee. Dann grinst er Sabine an: „Ach Quatsch, können wir da nicht einfach ein bisschen Verschlüsselung einbauen? Es ist doch nur ein Führerschein. Was soll da schon passieren. Außerdem wäre das nicht die erste App, die noch nachgebessert werden müsste. Trotzdem sind andere Apps groß rausgekommen und die Entwickler haben viele Millionen verdient. Wir können doch immer noch nachbessern, wenn was schief geht. Außerdem sind ja keine Gesundheitsdaten betroffen.“
Sabine beginnt sich für die Idee zu begeistern: „Und es geht jetzt ja nur um eine erste Idee. Wenn wir weiterkommen, erhalten wir genauere Informationen über die Schnittstellen und können uns für den Prototypen noch in Ruhe ein Sicherheitskonzept überlegen. Warum also nicht!“
In den nächsten Tagen entwerfen sie die geforderte Ideenskizze: Alle, die einen Führerschein besitzen, können über die App einen QR-Code anfordern. Die App kann nur aktiviert werden, wenn hierzu der elektronische Identitätsnachweis auf dem Gerät vorhanden ist. Nach Eingabe der Führerscheinnummer, werden die Daten zur Überprüfung an das Kraftfahrt-Bundesamt geschickt. Wenn von dort die Bestätigung für die Richtigkeit der Daten kommt, wird ein QR-Code erstellt und dieser an das Handy geschickt, auf dem sich der/die Benutzer*in eingeloggt hat. Dieser QR-Code beinhaltet Informationen über den/die Inhaber*in sowie die Daten des Führerscheins. Damit die Information nicht von allen gelesen werden kann, wird sie für die Erstellung des QR-Codes verschlüsselt. Als Lesegerät ist u. a. ein Diensthandy der Polizei mit einer entsprechenden App vorgesehen, welche die Informationen des QR-Codes entschlüsselt und anzeigt. Viel Zeit investieren Sabine und Peter in den Entwurf des User Interfaces der App und der Beschreibung der Vorteile für Führerscheininhaber*innen, Behörden und Polizei. Die Ideenskizze muss sich ja gut verkaufen können.
Überzeugt von ihrer Idee, reichen sie drei Wochen später die Ideenskizze in den Wettbewerb ein, und sie erhalten mit anderen den Auftrag, ein Konzept und einen Prototypen zu entwickeln. Als sie den Vertrag erhalten, sind sie erleichtert, denn es gibt nur recht wage Sicherheitsauflagen.
Nach kurzer Diskussion und Verteilung der Aufgaben im Team stürzen sie sich mit Feuereifer in die Umsetzung. Sie gehen ganz methodisch vor und erstellen erstmal eine solide Datenbeschreibung und definieren die Schnittstellen. Sie entscheiden sich, für den Prototypen die Datenbank auf ihrem zentralen Firmen-Server abzulegen, da dies leichter umzusetzen ist. Die Verschlüsselung der Daten für die QR-Codes erfolgt auch intern. Für ein vernünftiges Schlüsselmanagement und eine entsprechende Infrastruktur haben sie keine Zeit und bauen darauf, dass die App nicht in falsche Hände gerät. Sabine, die sich in der Zwischenzeit über Security-Probleme und deren Lösungen schlau gemacht hat, wirft ein, das das nach allen Warnungen anerkannter Sicherheitsforscher*innen große Schwachpunkte seien, selbst wenn sie die Personendaten verschlüsseln. Sie schieben die Bedenken dann aber schnell zur Seite. Die Zeit drängt und wie Peter sagte, ist es doch nur ein Führerschein. Nächtelang testen sie die Software und bessern Bugs aus.
Gemeinsam mit den anderen geförderten Projekten stellen sie den Prototypen der App am nächsten Digitalisierungsgipfel vor. Kurz vor dem Termin ist die erste Version ihrer App fertig. Eine professionelle Präsentation und ein Testlauf, bei dem zum Glück nichts schief geht, überzeugen die Ansprechpartner*innen im Ministerium und die App wird frei gegeben für die Nutzung in einem Bundesland. Die App wird auf Polizeihandys installiert und innerhalb weniger Tage haben einige Tausend Führerscheininhaber*innen den QR-Code erzeugt. Viele davon haben hierfür zuerst den elektronischen Identitätsnachweis installiert. Ein voller Erfolg! Einige Tage läuft alles bestens und in der Presse erscheinen begeisterte Artikel.
Doch dann schafft es ein anonymer Hacker, ohne elektronischen Identitätsnachweis in das System einzudringen, seine Daten in die Datenbank einzuschleusen und sich einen QR-Code für einen Führerschein zu erzeugen. Die Bestätigung über die Richtigkeit der Daten durch das Kraftfahrt-Bundesamt hat er geschickt vorgetäuscht. Es ist ganz einfach. Er veröffentlicht die Anleitung auf seinem wenig beachteten Blog, der im Ausland gehostet wird. Carla, eine Journalistin, stolpert über den Blogeintrag und wird hellhörig. Was ist denn da los? Sie kontaktiert Jürgen, einen befreundeten Informatiker, der IT-Sicherheitskonzepte für Firmen testet und verbessert. Gleichzeitig stellt sie die Anfrage nach dem Informationsfreiheitsgesetz und erhält eine Kopie der Verträge zwischen dem Ministerium und QuickSolutions GmbH. Nachdem sie diese durchgelesen hat, kann sie nur den Kopf schütteln. Auch ohne eine Sicherheitsexpertin zu sein, sieht sie sofort, dass die Anforderungen unzureichend beschrieben sind. Kurz darauf erhält sie einen Anruf von Jürgen, der weitere Schwachstellen gefunden hat: „Was ist das schon wieder für ein Schnellschuss! Keine richtigen Vorgaben, keine vernünftige Sicherheitsprüfung und dann eine solche App bei der Kontrolle von Führerscheinen einsetzen.“ Carla möchte einen Artikel darüber schreiben, aber Jürgen ist etwas zögerlich. Den Anweisungen des Blogs zu folgen und weitere Tests zu machen sei nicht ganz auf der legalen Seite gewesen. Und er wolle seine Firma nicht gefährden. Und außerdem, würde das denn etwas ändern? Glaube sie wirklich, dass sich die Vergabe von Projekten und die Sicherheitsanforderungen ändern würden? Dass IT-Sicherheitsfachleute in solche Entscheidungen einbezogen würden und deren Urteil wichtiger wäre als schnelle, vorzeigbare „Erfolge“ und Vitamin B?
Fragen
- Eine wichtige Aufgabe der Presse ist die Information der Öffentlichkeit über Probleme und Missstände. Hierzu gehört auch, wenn Projekte der Regierung teurer und weniger erfolgreich sind als angekündigt. Dies setzt die Politik unter Druck, zu handeln. Was ist die Rolle der einzelnen Akteur*innen in diesem Fall Politik, über die berichtet wird, Presse und die Rezipient*innen?
- Häufig werden schnell Lösungen umgesetzt, um die offensichtlichen Probleme anzugehen und die Öffentlichkeit zufrieden zu stellen. Welche Gefahren ergeben sich dadurch? Wie kann sichergestellt werden, dass nicht nur schnelle, sondern gute Lösungen entwickelt werden? Wer müsste hierzu einbezogen werden?
- Gerade in Zeiten der Onlinemedien ist der Druck groß, Themen schnell zu bearbeiten und schnelle Lösungen anzubieten. Wir könnte man diese Situation verbessern? Wer trägt die Verantwortung dafür?
- Mandatsträger*innen müssen sich regelmäßigen Wahlen stellen. Oft werden sie an kurzfristigen Erfolgen und Plänen gemessen. Längerfristige Themen oder solche, die zu unpopulären Maßnahmen führen, sind häufig schwer zu vermitteln und stehen einem Erfolg bei Wahlen oft entgegen. Welche Möglichkeiten gibt es, längerfristigen Themen und Folgen wieder mehr Beachtung zu schenken und bei politischen Entscheidungen wieder mehr in den Vordergrund zu rücken? Welche Rolle und Möglichkeiten haben wir hierbei als Bürger*innen?
- Häufig werden Politiker*innen und/oder Ministerien durch Berater*innen aus der Wirtschaft unterstützt. Welche Vor- und Nachteile ergeben sich dabei? Welche Interessenskonflikte können Sie identifizieren? Kann man die Politik, die sich an anderen Maßstäben messen muss als wirtschaftliche Unternehmen, mit ähnlichen Kriterien messen und beraten? In welchen Bereichen ist (mehr) ökonomisches Denken gefordert? In welchen Bereichen stehen ökonomische Maßstäbe den Zielen der Politik entgegen? Welche möglichen Gefahren für unsere Demokratie sehen Sie?
- Peter und Sabine nehmen mit ihrer Firma QuickSolutions GmbH an dem ausgeschriebenen Wettbewerb teil, ohne über die entsprechende Expertise im Bereich von sicherheitsrelevanter Software zu verfügen, die sie für ihre Idee benötigen. Wie beurteilen Sie das? Inwiefern sollte vergangene Expertise offengelegt werden? Sollten solche Firmen ausgeschlossen werden? Wäre es möglich, einen Wettbewerb für Ideen zu veranstalten und den Gewinner*innen dann Expert*innen zuzuordnen, die sich um die Sicherheit kümmern?
- Nicht zuletzt wegen des Marktdrucks und fehlender Kapazitäten kommen oft nicht vollkommen ausgereifte Produkte auf den Markt. Gerade im Bereich der Software hat man sich anscheinend an Fehler und Schwachstellen gewöhnt und daran, dass immer wieder Updates notwendig werden. Bekanntgewordene Sicherheitslücken und Datenleaks erfahren oft nicht die notwendige Aufmerksamkeit. Sind wir zu nachlässig geworden? Haben wir uns zu sehr daran gewöhnt? Stellen wir zu geringe Anforderungen? Verstehen wir vielleicht oft die Tragweite der Probleme zu wenig? Welche Möglichkeiten haben wir, Fragen des Datenschutzes und der IT-Sicherheit wieder vermehrt in das Blickfeld zu rücken? Wie können wir dem „Mir passiert schon nichts“, „Es sind ja keine geheimen Informationen“ bzw. dem „Ich habe schon nichts zu verbergen“ am besten entgegentreten?
- Wie kann sichergestellt werden, dass bei den Auftraggebern*innen in Politik und Verwaltung genügend Expertise ist, um sicherheitsrelevante Anforderungen zu formulieren und Verträge entsprechend auszustellen? Sollten entsprechende Tests von staatlicher Seite vorgeschrieben werden? Wer ist dann für die Definition, Durchführung und Überwachung von Tests zuständig? Wie kann man damit umgehen, wenn in den Behörden die notwendige Expertise fehlt? Wie vermeidet man Abhängigkeiten von Unternehmen und Berater*innen, die dann u. U. auch eigene Ziele verfolgen?
- Sollte sicherheitsrelevanter Code in staatlichen Anwendungen grundsätzlich offengelegt werden und unabhängige Experte*innen Zeit erhalten, diesen vor Einführung zu prüfen und Stellungnahmen abzulegen? Muss Kritik an Softwareanwendungen frei zugänglich publiziert werden, um Transparenz zu ermöglichen? Wie sollten Prozesse aussehen, um von vorhandener Expertise zu profitieren und in Zusammenarbeit mit der interessierten und vorhandenen Community gute IT-Lösungen für staatliche Aufgaben zu entwickeln?
- Carla und Jürgen haben eine im Internet vorhandene anonyme Hack-Anleitung verwendet, um die App zu überprüfen. Wie bewerten Sie solche anonymen Anleitungen? Durfte Jürgen die Anleitung testen? Hätte Carla sich an die Behörden wenden sollen, als sie die Anleitung gefunden hat? Müssen Personen, die Sicherheitslücken aufzeigen, besser geschützt werden? Welche Prozesse sollten vorhanden sein, um die Behörden auf solche Schwachstellen aufmerksam zu machen? Wie kann sichergestellt werden, dass dann angemessen reagiert wird und die Schwachstellen behoben werden?
- Jürgen ist ziemlich frustriert und glaubt nicht mehr daran, dass sich bei der Vergabe von Aufträgen und Umsetzung von Sicherheitsanforderungen etwas verändern wird. Wie sehen Sie das? Handelt es sich um Einzelfälle? Gibt es mittlerweile ein System „schnelle App“, das einen teuren Flickenteppich wenig getesteter Apps mit Einzellösungen und Sicherheitsproblemen begünstigt? Was können wir tun?
[1] Golem.de Smartphone-Ausweis und Passfoto-Datenbanken beschlossen, 21. Mai 2021. https://www.golem.de/news/trotz-kritik-smartphone-ausweis-und-passfoto-datenbanken-beschlossen-2105-156671.html. Zugegriffen: 11. Juni 2021
Erschienen im Informatik Spektrum 44 (4), 2021, S. 302–305, doi: https://doi.org/10.1007/s00287-021-01374-8
Carsten Trinitis, Debora Weber-Wulff
Kevin ist Student der Informatik an der Universität Erdingen. Seit zwei Semestern studiert er wegen Corona zu Hause, und es nervt langsam gewaltig. Gerade seine Dozentin für Mathematik, Katrin, besteht darauf, das Niveau der Klausuren hochzuhalten, sodass man die Prüfung zwar nicht vor Ort, aber dennoch unter Zeitdruck schreiben muss. Kaum ein Kandidat ist in der Lage, alle Aufgaben innerhalb der vorgegebenen Zeit zu lösen.
Kevin schreibt daher Katrin und bittet darum, dass sie die Klausuren weniger schwer gestaltet, indem sie auf den Zeitdruck verzichtet – sie kann ja schließlich die Überwachungssoftware Panoptikum einsetzen. Die Universität hat Panoptikum sofort nach Beginn der Corona-Pandemie erworben, um die Integrität der Prüfungen auch online zu gewährleisten. Das System nutzt KI, um verdächtige Verhaltensweisen zu detektieren. Das hat die Hochschulleitung sofort überzeugt, als die Vertreterin der Firma das System vorgestellt hat. Es war auch nicht so teuer, einen Rahmenvertrag für die gesamte Hochschule abzuschließen, daher hat die Hochschulleitung gleich zugeschlagen, allerdings ohne mit dem Lehrpersonal Rücksprache zu halten.
Katrin ist strikt gegen Kevins Bitte, die Prüfung leichter zu gestalten. Den Vorschlag, Panoptikum einzusetzen, lehnt sie ab. Sie ist aktive Datenschützerin und listet in ihrer Antwort an Kevin minutiös auf, warum sie das ablehnt. Sie hält es für einen massiven Eingriff in die Privatsphäre der Studierenden: Nicht alle haben einen ruhigen, kinder- und tierfreien Arbeitsplatz, und die Systeme lassen sich sehr leicht überlisten. Man weiß auch nicht genau, welche Verhaltensweisen von der KI als „verdächtig“ klassifiziert werden. Dass also manchen Prüflingen verdeckte Nachteile entstünden, kann Katrin daher nicht ausschließen.
Panoptikum kann eine wirkliche Aufsicht nicht ersetzen, und vor allem will Katrin die Studierenden nicht unter Generalverdacht stellen. Zudem werden die Video- und Audiodaten irgendwo in der „Cloud“ gespeichert. Dabei ist völlig unklar, was die Firma noch mit den Daten vorhat, und wie lange sie diese aufbewahren wird. Schließlich ist auch noch eine Online-Marketing-Firma unter derselben Anschrift wie Panoptikum zu finden. Es ist nicht ersichtlich, inwieweit diese Marketing-Firma mit Panoptikum zusammenarbeitet.
Kevin hält postwendend dagegen, „jede/r“ habe doch schließlich einen Rechner zu Hause. Katrin sagt: Nicht jede/r, manche müssen sich Geräte und vor allem Bandbreite mit anderen Familienmitgliedern teilen, und obendrein sind etliche Geräte uralt und haben gar keine Kamera. In Städten, in denen der Wohnraum begrenzt ist, teilt man oft ohnehin den Arbeitsraum mit Familie, Katze und Hund, und auch noch mit WG-Mitbewohnerinnen. Letztere können mitunter schon mal unbekleidet an der Kamera vorbeihuschen. Das habe sie alles in ihren Vorlesungen mitbekommen, wenn die Kamera eingeschaltet war.
Katrin weiß auch, dass es Dienste gibt, die innerhalb von wenigen Minuten gegen Bezahlung Mathematikaufgaben lösen können. Daher will sie den Umfang nicht zu gering halten und das Spektrum ihrer Lehrveranstaltung möglichst breit abdecken, um besser beurteilen zu können, welche Themen wirklich verstanden worden sind. Katrin bleibt also dabei, lässt die Klausur wie geplant schreiben – schwierig, auf hohem Niveau, dennoch bestehen alle.
Trotzdem beschwert sich ein Student, der „nur“ eine 3,0 in der Klausur bekommen hat, beim Hauptprüfungsausschuss. Er führt an, wenn die Klausur weniger schwer und überwacht durch Panoptikum durchgeführt worden wäre, hätte er definitiv eine 2,0 oder besser bekommen. Der Ausschuss informiert die Hochschulleitung, und diese fordert Katrin auf, dazu Stellung zu nehmen.
Katrin wiederholt ausführlich ihre Bedenken. Das sieht jedoch die Hochschulleitung nicht ein, sie will gerne eine moderne Universität sein, die den Segen von Digitalisierung und KI einsetzt, um weiterhin trotz Pandemie hochwertige Bildung anzubieten. Schließlich habe auch Kollege Karl Panoptikum eingesetzt, und damit gut 40 % der Teilnehmenden an seinen Prüfungen als Schummler entlarven können! Die Technik funktioniere also bestens. Gerade in der Fakultät für Informatik sei es nicht akzeptabel, dass eine Dozentin dieses Fachs digitale Werkzeuge in diesem Maße ablehnt. Die Hochschulleitung spricht eine Rüge gegen Katrin aus.
Katrin entschließt sich, Dirk, den Datenschutzbeauftragten der Universität, einzuschalten. Sie beginnt ihre Argumentation zunächst mit der Privatsphäre. Ja, sagt Dirk, es handelt sich um hochpersönliche sensible Daten, die dabei entstehen. Aber die Hochschule hat ja in ihrer Satzung festgelegt, dass dies im Ausnahmefall der Pandemie zulässig sein muss. Deswegen sei die Überwachung wasserdicht rechtlich abgesichert.
„Aber wo genau werden denn die Daten gespeichert?“, fragt Katrin nach. Die Firma sitzt doch in Serbien, und dabei handelt es sich nicht um ein Land der Europäischen Union. „Oh“, sagt Dirk, „das wusste ich nicht. Hmm. Was sollen wir jetzt tun, nachdem Kollegen wie Karl das System bereits bei etlichen Klausuren erfolgreich eingesetzt haben?“
Katrin plädiert dafür, dass alle Lehrenden selbst entscheiden sollen, ob sie eine Überwachung auf Distanz wollen oder nicht. Vor allem findet sie, dass die Studierenden ausführlich vorab über alle wichtigen Aspekte des Systemeinsatzes informiert werden müssen. Hier sieht sie Dirk als Datenschutzbeauftragten in der Pflicht, das sieht er jedoch anders. Das sollen die Dozierenden doch bitte selbst machen.
Katrin will aber keinen weiteren Ärger mit der Hochschulleitung haben. Sie ist unschlüssig, was sie im kommenden Semester tun soll …
Fragen
- Wäre es besser gewesen, wenn die Hochschulleitung zunächst einmal das Lehrpersonal konsultiert hätte, bevor sie die Software erworben hat? Hätten diese aber nicht grundsätzlich den Fortschritt gebremst?
- Ist es ein Problem, wenn eine Marketing-Firma unter derselben Anschrift wie Panoptikum firmiert? Sie müssen ja nichts miteinander zu tun haben. Welchen Aufwand muss die Hochschule betreiben, um eine Verbindung zwischen den beiden Firmen auszuschließen?
- Was sind die Mindestanforderungen an Datenschutzbeauftragte an Universitäten? Sollten sie nicht von vornherein über einen Fragenkatalog verfügen, mit dem sie derartige Systeme leichter prüfen und beurteilen können?
- Wussten die Studierenden bisher, dass die Daten von Panoptikum im Nicht-EU-Ausland gespeichert werden? Hätte es für sie einen Unterschied gemacht?
- Wer ist dafür verantwortlich, die Studierenden darüber aufzuklären, welche Daten erfasst werden, wo und wie lange sie gespeichert werden, und welche Aktivitäten oder Ereignisse als verdächtig eingestuft werden?
- Wie würden Sie sich entscheiden, wenn Sie Katrin wären?
- Wie bewerten Sie das Argument, man wolle eine moderne Hochschule sein und daher moderne Technik einsetzen? Hat dieses Argument eine ethische Dimension?
- Ist es vertretbar, wenn Studierende dazu gezwungen werden, der Nutzung eines Systems wie Panoptikum zuzustimmen? Sollte die Hochschule Studierenden, die nicht so überwacht werden wollen, eine Alternative anbieten?
- Sollten nicht in besonderen Zeiten wie der Corona-Pandemie die Prüfungen erleichtert werden, mit einfacheren Aufgaben, mehr Zeit, fehlender Aufsicht? Oder wertet das die Leistungen von Studierenden ab? Gelten „Corona-Diplome“ dann als weniger wert?
Erschienen im Informatik Spektrum 44 (3), 2021, S. 219–220, doi: https://doi.org/10.1007/s00287-021-01355-x
Stefan Ullrich, Rainer Rehak
„Geht es dir um die Sache oder um dich?“ Hannah weiß nicht, was sie ihrer Mitbewohnerin antworten soll.
„Wenn es dir um die Sache geht“, fährt Jelena fort, „solltest du zusagen. Ethik und Nachhaltigkeit sind doch genau dein Ding. Und ein bisschen mehr Publikum kann doch auch nicht schaden!“
Hannah schaut nochmal auf das Schreiben der großen Organisation „AI & I4 Future“, die auf Social Media nicht zuletzt durch ihre visuell beeindruckenden Kampagnen bekannt wurde. AI&I4F bezeichnet sich selbst als ein visionäres Zukunftslabor und Crash-Test-Institut für Künstliche-Intelligenz-Systeme. In dem Schreiben wird sie eingeladen, zusammen mit Expert*innen und Aktivist*innen aus ganz Europa ein Manifest für eine nachhaltige und gemeinwohlorientierte Künstliche Intelligenz zu erarbeiten. Die Einladungsliste liest sich erstklassig, es sind ebenso gestandene Wissenschaftler*innen darunter wie populäre Schauspieler*innen; zu Veteran*innen der Anti-Atomkraft-Bewegung gesellen sich junge Influencer*innen aus der Ökotech-Szene – kurzum, es scheinen alle relevanten Stakeholder ausgewählt zu sein.
„Stakeholder“, wiederholt Hannah plötzlich laut zu sich selbst, „ich denke schon genau so wie SIE. Was soll denn Multi-Stakeholder überhaupt heißen?“ Jelena stutzt und zupft ein wenig verträumt an den zahlreichen Schichten ihrer selbstgenähten Kleidung. „Ist es ein Problem für dich, dass diese AI-Leute einfach so stylisch sind und echt gute Visuals produzieren?“ Hannah will es ja nicht zugeben, aber neben inhaltlichen Fragen ist auch das irgendwie ihr Problem. Sie kommt sich etwas albern vor, doch nach einigem Hin und Her entscheidet sie sich, im Expert*innen-Gremium mitzumachen.
Das erste Treffen aller Beteiligten findet wenige Wochen später auf einem alten Gutshof im Süden des Landes statt, dem Hauptsitz von AI&I4F. Sie werden vom Bahnhof mit Elektroautos abgeholt, Hannah sitzt mit dem bekannten Transformationsforscher Mats Hillebork auf der Rückbank. Durch Plexiglas-Abtrennung und Maske kann sie ihn nicht so gut verstehen, sie ist auch kein native speaker, aber er scherzt ganz offensichtlich über den Aufwand des Treffens. Auf Englisch teilt er ihr mit, dass der Gutshof einst der Fugger-Handelsfamilie gehört hat und von AI&I4F schließlich zu einem Vorzeigehof in Sachen Nachhaltigkeit umgebaut wurde. Ob Hannah sich nie gefragt habe, warum eine historische Mühle das Logo von AI&I4f ziere? Aber so richtig ökologisch nachhaltig sei das nicht, meint Hillebork, als sie an der Mühle vorbeisteuern. „Das ist eine Mühle der Habsburger aus Spanien, die wurde vor 10 Jahre Ziegel für Ziegel und Balken für Balken hierher geschafft, die alte Bockwindmühle war wohl nicht schick genug!“ Hillebork lacht, und so weiß Hannah nicht, ob es ein kruder Scherz war oder sie auch alles richtig verstanden hat.
Für eine auf Künstliche-Intelligenz-Audits spezialisierte Organisation findet sich erstaunlich wenig Technisches hier. Sicher, die E‑Autos sind da, auch die Überwachungskameras, aber ansonsten tummeln sich eine Unmenge von Angestellten auf dem weiten Gelände. Frauen, die Wäsche auf Waschbrettern waschen, junge Männer, die Wasser aus dem Brunnen schöpfen und ein alter Butler, der in der Tür steht und ihnen die Richtung ins Haus weist. Überall stehen Schalen mit Obst und vegetarischen Leckereien. Es ist angenehm kühl im Schloss, ja, es wirkt wirklich wie ein Schloss. Sie hat zwei Zimmer nebst modernem Bad für sich allein, hier sieht alles ultramodern aus, im Gegensatz zum restlichen Gebäude. Die aktuellen Wetterdaten und neuesten Community-Nachrichten erscheinen in einer Ecke des Badezimmerspiegels. Das Kick-Off-Meeting wird drei Tage dauern, macht sie sich klar. „Ich sage schon wieder Kick-Off, ich übernehme schon wieder deren Sprache, das ist nicht Aye Aye, AI“. Die letzten Worte sind der Werbeslogan einer bekannten KI-Sprachassistenz, und tatsächlich: Im Bad ist das charakteristische Doppelklingeln zu hören und ein System wartet auf die Eingabe der überraschten Nutzerin.
Hannah macht sich bereit für das erste Treffen vor dem angekündigten „AI-Dinner“. Sie erwartet ein Arbeitsessen, zieht sich also nicht besonders schick an. Sie ist daher sehr überrascht, als sie unten in der Lobby ankommt und dort viele Fernsehkameras laufen. Es werden Interviews und Fotos gemacht und der ein oder die andere Journalistin geht herum und lässt sich von den Expert*innen die besonderen Möglichkeiten der KI erklären und wie wichtig ein ethischer Umgang damit sei, gerade in Abgrenzung zu den USA und China, wie es heißt. Wie schön wird die Welt der Zukunft, wenn die KI uns so viele Probleme abnimmt und noch dazu exportiert werden kann. Auch die restlichen Aktivitäten der nächsten Tage auf dem Schloss gehen inhaltlich nicht besonders tief, werden von der Moderation oft hin zu Allgemeinplätzen bewegt und sind regelmäßig von öffentlichkeitsorientierten Pausen mit Fototerminen und Interviews durchzogen, teilweise sogar mit internationalen Medien. Hannah ist ein wenig enttäuscht, da sie viel mehr inhaltliche Arbeit erwartet hätte. Andererseits trifft sie viele interessante Menschen aus ihrem Themenbereich, und auch die paar Tage mal ganz aus ihrem Alltag zu sein genießt sie sehr, wie sie sich eingesteht. Vielleicht muss sowas auch ab und zu einfach mal sein und sie sollte das alles nicht zu eng sehen, verdient hat sie es jedenfalls durch ihre harte Arbeit den Rest der Zeit.
Diese Art Treffen finden nun alle paar Monate statt und innerhalb von zwei Jahren entwerfen die Expert*innen ein Abschlussdokument, unterzeichnet von allen Beteiligten, optisch sehr ansprechend gestaltet und prominent durch die aktuelle AI&I4F-Kampagne beworben, die ein optionales KI-Güteprüfsiegel für europäische Value-Based-AI propagiert. Inhaltlich ist das Dokument jedoch Hannahs Ansicht nach wenig visionär, gibt im Kern nur den allgemeinen Stand der Diskussion wieder und bleibt auch sonst weit hinter den Ideen, Vorstellungen und Möglichkeiten der Beteiligten zurück. Und auch von der Kampagne war anfangs keine Rede gewesen, deren Ziele sie so gar nicht teilt, weil sie im Prinzip eine „freiwillige Selbstkontrolle der Wirtschaft“ bewirbt. Hannah ärgert sich letztendlich doch, dass sie so viel Zeit und Energie hineingesteckt hat, wenn am Ende sowas dabei herauskommt, was sie am Anfang ja eigentlich schon kritisiert und befürchtet hatte: Das Papier enthält viele oberflächliche Allgemeinaussagen – denn wer wäre denn gegen „vertrauenswürdige KI im Sinne des nachhaltigen Gemeinwohls“? – und wenig fundierte Kritik oder konkret-konstruktive Ideen, dafür ist es jedoch unterschrieben von allen relevanten Personen aus der Kritiker*innen-Szene. Andererseits ist sie als Person nun bekannter, bekommt viel mehr Medienanfragen als vorher und kann somit ihre Arbeitsergebnisse und Ideen viel besser medial verbreiten.
Sie liest mit Interesse, dass einige ihrer aktivistischen Mitstreiter*innen in der Zeit, in der sie für das AI&I4F-Projekt gearbeitet hatte, an Gesetzgebungs-Konsultationen öffentlicher Stellen sowohl auf nationaler Ebene als auch auf EU-Ebene teilgenommen hatten, also direkt als Teil politisch-legislativer Prozesse – und sie hatte nicht einmal auf die E‑Mails ihrer alten Clique reagiert. Sicherlich sind diese Eingaben weit weniger medial beachtet worden, aber vielleicht wirken sie im Hintergrund, etwa weil EU-Parlament und Bundesregierung um Einschätzungen zum Thema der Regulierung von Digitalisierung allgemein und KI im Speziellen hinsichtlich Nachhaltigkeit gebeten hatten, was ja genau ihr Bereich gewesen wäre. Sie ist unsicher, wie sie das alles beurteilen und sich zukünftig zu solchen Initiativen wie AI&I4F verhalten soll, denn auch die Konsultationen werden natürlich nicht direkt umgesetzt. In der Nacht fällt Hannah wieder ein, was sie Jelena vor zwei Jahren noch gesagt hatte: „Aktivist*innen und auch Wissenschaftler*innen sollten sich gut überlegen, wofür sie ihre kostbare Zeit verwenden – und wofür eben nicht.“
Fragen
- Wie sind solche Veranstaltungen zu bewerten, sind sie nötig für einen sinnvollen gesellschaftlichen Diskurs? Welche Gefahren liegen darin?
- Das ganze Schloss wirkt nachhaltig gestaltet, reproduziert aber Klischees und scheint sehr künstlich zu sein. Ist das im Sinne einer guten Arbeitsatmosphäre zu befürworten?
- Wie hätte Hannah die Treffen in ihrem Sinne produktiver gestalten können?
- Ist es nicht besser, mehr Medieninteresse zu wecken, als thematisch tief im eigenen Kämmerlein zu arbeiten? Ist Hannah überkritisch was das angeht?
- Welche Formen demokratischer Partizipation sind zu befürworten, welche Kriterien könnten dafür angelegt werden und fielen die AI&I4F-Aktivitäten darunter?
- Unabhängig vom Fallbeispiel: Bei welchen gesellschaftlichen Themen wurde jüngst nach „Ethik“ und „Werten“ gerufen? War das Themenfeld tatsächlich neu und unbekannt, sodass es gesellschaftlich diskutiert werden muss oder aber sollte durch den Aufruf eine Regulierung verhindert werden?
- Braucht es einen Ethik-Kodex für Ethik-Kodizes, also Leitplanken und rote Linien für Ethikleitlinien, damit sie auch einen Beitrag liefern und nicht nur als Feigenblatt missbraucht werden?
Erschienen im Informatik Spektrum 44 (2), 2021, S. 131–133, doi: https://doi.org/10.1007/s00287-021-01347-x
Christina B. Class, Andreas Hütig, Elske M. Schönhals
Andrea, Alex und Sascha kommen aus demselben kleinen Ort und sind seit der Grundschule sehr gut befreundet. Nach dem Abitur hat es sie in verschiedene Ecken der Republik verschlagen. Umso mehr genießen sie es, sich am 22.12. jedes Jahr zu treffen, um stundenlang zusammenzusitzen und zu quatschen. Nichts hat sie in den letzten Jahren daran gehindert, weder die diversen Studienaufenthalte im Ausland, ihre Jobs, noch ihre Familien. Der 22.12. mit den alten Freunden und Heiligabend mit den Eltern, das lassen sie sich nicht nehmen. Da kann auch Corona nichts dran ändern. Mit großem Abstand sitzen sie mit einem Bier im Wohnzimmer von Saschas Eltern. Sascha am Esstisch in der Nähe der Küche, Alex auf dem Sofa gegenüber und Andrea hat es sich auf dem Sessel neben dem Kamin gemütlich gemacht.
Andrea hat gerade angefangen, den beiden ihr neuestes Projekt zu zeigen. Zusammen mit ihrer Studienkollegin Maren arbeitet sie an einer App zur Datenvisualisierung. Als Alleinstellungsmerkmal haben sie das User Interface mit großer Sorgfalt entwickelt, um auch die Nutzer*innen abzuholen, die sich sonst lieber nicht mit Daten und deren Darstellung auseinandersetzen. Es sind keinerlei Programmier- oder Statistikkenntnisse notwendig, jeglicher Code bleibt verborgen. Filter sind einfach auszuwählen und die App ermöglicht es, Daten unterschiedlich zu visualisieren.
Ausschnitte, Farben und Größenverhältnisse, ja selbst 3D-Grafiken, können spielerisch dargestellt und ganz einfach verändert oder angepasst werden. Ihr Ziel ist es, dass Grafiken schnell und einfach erstellt werden können, die dann entweder an einen Computer gesendet oder über Social-Share-Buttons direkt in dem bevorzugten sozialen Netzwerk geteilt werden. Schließlich wird es auch da immer wichtiger, Themen und Thesen mit geeigneten Statistiken und Infografiken zu unterstützen.
Sascha, der in einer Consulting Firma arbeitet, testet die App auf Andreas Tablet und ist ganz begeistert. „Mensch Andi! Warum hattet ihr die App nicht schon vor ein paar Wochen fertig?! Für einen Kunden mussten wir einen Zwischenbericht abliefern und die ganzen erhobenen Daten der Marktanalyse zusammenstellen, um die strategischen Empfehlungen zu untermauern. Mensch, das war eine Arbeit! Und Tommy, der das Projekt leitet, war nicht zufrieden zu stellen. Die Grafiken haben seine Aussagen nie deutlich genug unterstrichen. Das war vielleicht ein Krampf mit den ganzen Optionen und Parametern.“
„Tja, Sasch“, grinst Andrea ihn an, „wir verdienen halt nicht so viel wie ihr! Sonst könnten wir noch ein paar Leute einstellen und wären schneller fertig.“ Sascha gibt das Tablet Alex, damit er sich das Projekt auch ansehen kann. Alex ist ebenso fasziniert wie Sascha. Während Andrea und Sascha sich über das Marktpotenzial der App unterhalten, testet Alex mit großem Interesse die vielen Funktionen. Doch langsam wird sein Blick ernst. Es bildet sich die Falte zwischen seinen Augenbrauen, über die sie sich schon oft gemeinsam amüsiert haben und die immer anzeigt, dass er konzentriert über etwas nachdenkt.
Plötzlich fällt Saschas Blick auf ihn und er sagt: „Hey, was ist los? Stimmt was nicht?“ Alex blickt auf, schaut Andrea an und sagt: „Ich weiß nicht. Ich habe kein gutes Gefühl mit der App, Andi. Sie funktioniert super und macht alles einfach. Die Grafiken sehen auch echt professionell und überzeugend aus. Aber ist das nicht zu einfach? Ich meine, ich kann hier mit verschiedenen Optionen und Ausschnitten der Grafiken so lange rumexperimentieren, bis ich aus haargenau denselben Daten mehrere Grafiken erzeuge, die man sehr unterschiedlich interpretieren kann. Das kann’s doch nicht sein.“
„Wieso nicht? Das ist es doch gerade“, meint Sascha. „Du hast keine Ahnung, wie aufwendig es normalerweise ist, eine Grafik so zu konfigurieren, dass sie genau das zeigt, was sie soll.“ Andrea fügt hinzu: „Das ist doch der Clou an der Sache. Das User Interface ist so einfach, dass du keine Detailkenntnisse mehr brauchst. Du musst nur wissen, was die Grafik darstellen soll, und den Rest machen wir dann mit der App für dich.“ „Aber so können Grafiken doch auch was Falsches oder gar Manipuliertes zeigen.“ „Unsinn“, meint Andrea, „wir löschen oder ändern doch keine Daten.“ „Außerdem“, fügt Sascha hinzu, „geht es doch darum, dass man bestimmte Sachverhalte besser unterstreichen kann. Du weißt doch: Ein Bild sagt mehr als tausend Worte.“
„Klar“, platzt es aus Alex raus, „von dir als Consultant habe ich ja auch nichts anderes erwartet.“ Eine Minute herrscht Totenstille. Dann fragt Andrea: „Hey Alex, was ist los? Was soll das! Sasch hat dir doch nichts getan.“ Alex atmet tief durch. „Ja, ich weiß. Sorry, Sascha, ich hab’s nicht so gemeint. Aber ich bin halt echt sauer. Ihr erinnert euch doch noch, dass ich mit Micha vor zwei Jahren einen Escape Room und die Adventure-Kneipe gegründet habe. Das lief auch echt super. Naja, ihr wisst ja, Corona und so. Wir haben dann einiges online angeboten, um nicht ganz unterzugehen. Das ist auch ganz gut angelaufen, aber dann haben uns einige die Ideen geklaut … tja … wir brauchten ein neues Konzept.
Und da bekamen wir ein Angebot für einen neuen VR-Raum. Das klang echt gut. Wir haben einen Test installiert und die Performance und Qualität mit verschiedenen Gratisangeboten über drei Wochen messen lassen. Das lief sehr vielversprechend. So haben wir den Vertrag unterschrieben. Aber diese … haben uns die Daten so aufbereitet, dass man alle Probleme einfach übersehen konnte. Die waren dann nur ganz klein in den Ecken dargestellt oder durch eine Ausgleichskurve glatt gebügelt. Bei der Präsentation haben wir nicht so drauf geachtet. Das System läuft total schlecht und die Kosten brechen uns wahrscheinlich das Genick. Wir waren schon beim Anwalt. Da sie die Daten aber nicht gefälscht haben, hatten sie wohl auch nicht betrogen. Wenn solche Typen diese App in die Hände bekommen, dann sehe ich echt schwarz.“ Andrea und Sascha schauen sich schweigend an.
Schließlich meint Sascha: „Das tut mir echt leid, Alter! Es gibt immer wieder schwarze Schafe, auch in unserer Branche, das stimmt leider. Aber das ist ja kein Argument gegen Andreas tolle App, oder? Letztlich müsst ihr ja die Zahlen immer genau prüfen, egal wie gut die Grafiken aussehen. Beim nächsten Vertrag fragst du mich vorher, ok?“ Andrea pflichtet ihm bei: „Klar, man kann unsere App auch geschickt füttern und dann Sachen zeigen, die letztlich irreführen oder im Gesamtkontext anders wirken. Aber falsch einsetzen kann man schließlich alles, oder nicht? Das kann man doch unserem Tool nicht vorwerfen!“ „Machst du es dir da nicht zu einfach?“, entgegnet Alex. „Schließlich hat nicht jede/r im Studium so viel Statistik gehört wie ihr. Mit Zahlen und bunten Grafiken wirkt alles viel überzeugender, dabei bilden sie ja immer nur einen Ausschnitt der Welt ab. Und nachvollziehen kann das dann letztlich auch keiner mehr – sogar die Benutzer*in der App selbst nicht! Wo bleibt denn da die Verantwortung?“
Fragen
- Sascha meint, dass ein Bild mehr als 1000 Worte sagt. Gleichzeitig gehen aber oft wesentliche Details verloren. Haben wir uns einfach daran gewöhnt, alles auf einen Blick zu erfassen? Woran liegt es, dass wir Grafiken und Bilder den Zahlen und Daten vorziehen? Sind wir noch bereit, uns mit den Details der Zahlen auseinanderzusetzen?
- Die App verspricht, den Umgang mit Daten und deren Visualisierungen zu erleichtern. Welchen praktischen Nutzen über schöne Bilder (und Marketing-Aktionen) hinaus hat das?
- Die App von Andrea und Maren bietet auch die Möglichkeit, Grafiken in soziale Netzwerke zu exportieren. Gerade dort kursieren eine Menge Halbwissen, falsche Zahlen und Behauptungen. Besonders kritisch sind falsche und/oder verzerrende Aussagen, die sich auf richtige Daten stützen und diese fehlerhaft interpretieren. Kann eine solche Infografik-App diesen Trend verstärken oder ihm entgegenwirken? Wie könnten Andrea und Maren die App so verändern, dass diese substanzielle Beiträge unterstützen kann und nicht nur bloße Meinungen plausibler macht?
- Lisa Zilinski und Megan Nelson schlugen 2014 eine Data Credibility Checklist vor [1]. Wie könnten Minimalanforderungen für Daten zum Erstellen von Grafiken aussehen?
- Welchen Kriterien muss eine Grafik entsprechen, damit Sie ihr Glauben schenken? Woher sollten die Daten kommen? Was sollte beachtet sein? Welche Möglichkeiten der Nachverfolgung oder Überprüfung würden Sie sich wünschen?
- Was bedeuten diese Anforderungen für Ersteller*innen von Datengrafiken? Wer trägt die Verantwortung dafür, dass eine Grafik richtig verstanden wird?
- Verantwortung ist zunächst ein stark akteursorientiertes Konzept: Jemand ist für etwas gegenüber jemand anderem vor einer bestimmten Instanz aufgrund einer Norm verantwortlich. Wie ist das hier, wo die Programmierer*innen der App ja nicht wissen können, was die Nutzer*innen damit anstellen – kann man für etwas verantwortlich sein, wovon man nicht wissen kann? Oder müsste man Sorge tragen, dass Missbrauch zumindest unwahrscheinlicher oder schwieriger wird? Falls ja: Wie könnten Andrea und Maren vorgehen, um dieses Ziel zu erreichen?
- Wenn die Verantwortung der Akteure nicht mehr recht festzumachen ist: Könnte eine Regulierung auf der Ebene des Systemdesigns eine Lösung sein? Oder sind solche Eingriffe ineffektiv und gehen prinzipiell zu weit?
- Welche Kompetenzen werden benötigt, um Datenvisualisierungen richtig zu verstehen? Welche Kompetenzen werden benötigt, um durch Visualisierungen nicht leicht auf die falsche Fährte gelockt zu werden? Welche Anforderungen lassen sich hieraus für Lehrende ableiten? (Weitere Informationen für Lehrende finden Sie in [2].)
Literatur
- Zilinski LD, Nelson MS (2014) Thinking critically about data consumption: creating the data credibility checklist. Proc Am Soc Inf Sci Technol 51(1):1–4
- Börner K, Bueckle A, Ginda M (2019) Data visualization literacy: definitions, conceptual frameworks, exercises, and assessments. Proc Natl Acad Sci USA 116(6):1857–1864. https://doi.org/10.1073/pnas.1807180116
Erschienen im Informatik Spektrum 44 (1), 2021, S. 62–64, doi: https://doi.org/10.1007/s00287-021-01337-z
Gudrun Schiedermeier, Stefan Ullrich
Robert hat Informatik an der Friedrich-Alexander-Universität in Erlangen studiert. Schon während seines Masterstudiums hat er sich neben der Programmierung von mobilen Servicerobotern auch mit den ethischen und rechtlichen Aspekten beim Einsatz dieser „Robots“ beschäftigt. Seine Studienkollegin Ina hat sich dagegen immer nur für das aktuell technisch Machbare sowie für die zukünftigen Einsatzmöglichkeiten von Servicerobotern interessiert. Schon damals war sie von Künstlicher Intelligenz und Machine Learning begeistert. Heute arbeiten beide bei der Firma „RAYS“ (Robots At Your Service). Da sich in Studien kürzlich gezeigt hat, dass die Menschen heute zu Zeiten von Corona humanoiden Servicerobotern aufgeschlossener gegenüberstehen, hat ihr Chef die Idee, RAYS mobilen Serviceroboter „Gustav“ zu einem Helfer und Berater für Kund*innen in großen Supermärkten oder Baumärkten weiterzuentwickeln. Gustav ist ein freundlich aussehender Roboter mit einer glänzenden hellen Oberfläche. Er ist etwa 1,50 m groß und bewegt sich sicher auf Rollen vorwärts, was für einen Supermarkt ausreichend ist. Mit Treppen oder Stufen ist in der Regel nicht zu rechnen. Über eine Web-Oberfläche kann man Gustav mit Kartenmaterial von neuen Räumen versorgen, sodass er sich mit seinem Lokalisierungs- und Navigationsmodul leicht auch in neuen Räumen orientieren und sicher von einem Startpunkt zu einem Ziel gelangen kann. Zudem kann er bereits über Sprache und einfache Gesten mit Menschen kommunizieren. Ziel ist es, Gustav so weiterzuentwickeln, dass er Kund*innen bei der Suche nach einem bestimmten Produkt hilft und sie zu dem Regal mit dem Produkt geleiten kann. Später soll er auch über das Produkt oder mögliche Alternativen beraten können. Ina und Robert stürzen sich begeistert in die Arbeit.
Lange diskutieren sie darüber, wie der neue Berater oder die Beraterin aussehen soll. Soll Gustav sein „männliches“ Aussehen behalten, oder wäre eine weibliche Version für die Kund*innen der Supermärkte vertrauenserweckender? Gerade im Bereich der Sprachassistenzsysteme gibt es ja eher „weibliche“ Hilfe. Letztlich entscheiden sie sich dazu, Gustav in seiner jetzigen Form beizubehalten. Sie wollen außerdem schnell einen robotischen Helfer entwickeln und ausliefern können, da kann nicht auch noch eine neue Außenhülle gegossen werden. Beide sind sich rasch einig, dass Gustav unter keinen Umständen mit Kund*innen zusammenstoßen darf, um jede Verletzungsgefahr auszuschließen. Das scheint auch sichergestellt, da Gustav mit einer Vielzahl an Sensoren – wie Ultraschallsensoren, Kameras und LIDAR – ausgestattet ist, mit denen er Abstände gut bestimmen kann. Um Zusammenstöße zu vermeiden, regt Robert an, dass der Roboter mit Gesten zeigen kann, in welche Richtung er sich bewegen will. Ina meint, vielleicht könnte man später noch andere Sensoren und Hilfsmittel dazu nehmen. Sie hat erst kürzlich in einem Aufsatz gelesen, wie ein Logistik-Roboter entsprechende Zeichen auf den Boden projizieren und damit den geplanten Bewegungsweg anzeigen kann.
Ina plädiert stark dafür, dass Gustav auf dem Weg mit „seiner“ Kundin oder „seinem“ Kunden zu einem bestimmten Regal durchaus andere Kund*innen behindern darf, wenn er denn nur schnell zu seinem Ziel kommt und damit seine Kund*innen bevorzugt. Robert hat Bedenken, er findet das nicht fair. Letztlich gibt er aber in diesem Punkt nach.
Sie kommen gut vorwärts und erste Tests zeigen, dass sich Kund*innen gern von Gustav helfen lassen. Manche Kund*innen fühlen sich etwas belästigt, aber insgesamt kommt der Roboter gut bei der Kundschaft an. Das bringt Ina auf die Idee, Gustav noch für eine zweite Aufgabe einzusetzen. In einem anderen Projekt hat Ina eine Software für Gesichtserkennung erstellt. Sie macht den Vorschlag, Gesichtserkennung auch in diesem Projekt einzusetzen. Robert bemerkt, dass Gesichtserkennung bei Masken oft fehleranfällig ist. Ina meint, das sei kein Problem, sie wollen ja gerade Gesichter ohne Masken erkennen. Sie ist sich sicher, die Software so anpassen zu können, dass Gustav Kund*innen ohne Gesichtsmaske sicher erkennen kann. Sie schlägt weiter vor, dass Gustav diese Kund*innen ermahnt, eine Maske zu tragen und dass beim dritten Verstoß das Betreten des Geschäfts für diese Kund*innen verboten wird. Mit dem Einsatz einer Gesichtserkennung und dem weiteren Vorgehen ist Robert überhaupt nicht einverstanden. Trotzdem trägt Ina ihren Vorschlag dem Chef vor, und der ist sofort begeistert und möchte das unbedingt umsetzen. Robert hat Bedenken, da die Gesichtserkennung nicht im mobilen Gerät, sondern mithilfe des Servers aus Inas anderem Projekt erfolgen soll. Der Chef wendet ein, dass in Supermärkten doch sowieso jede Menge Überwachungskameras eingesetzt werden würden und Kund*innen sich darüber noch nie beschwert hätten. Schließlich will Robert noch wissen, wie sich Gustav gegenüber Kindern ohne Maske verhalten soll. Das sei doch kein Problem, erläutert Ina, das könne man leicht anhand der Körpergröße lösen. Robert spricht noch einen letzten Punkt an, um diesen Teil des Projekts zu verhindern: Wie wolle der Roboter denn Kund*innen nach wiederholtem Vergehen daran hindern, ein Geschäft zu betreten? Auch dieses Argument wischt der Chef vom Tisch. Der Roboter könne ja eine Person vom Wach- oder Sicherheitsdienst herbeirufen, die die Berechtigung hat, Kund*innen am Betreten zu hindern.
Als letzte Maßnahme schlägt Robert schließlich noch vor, dass Gustav Kund*innen ohne Maske ja erst einmal eine Maske anbieten könnte. Erst, wenn diese von den Kund*innen verweigert wird, soll eine Mahnung erfolgen und gegebenenfalls die Kundschaft am Betreten des Geschäfts gehindert werden.
Fragen
- Wenn der Roboter Kund*innen auf Produkte oder Angebote bestimmter Firmen aufmerksam macht, ist das rechtlich zulässig?
- Darf der Roboter andere bewusst behindern? Wie ist der Einfluss des Roboters dann auf das menschliche Verhalten? Geben die sich dann auch rücksichtsloser?
- Ist es sozial vertretbar, zum Erkennen von Kunden ohne Maske Gesichtserkennung einzusetzen?
- Kann man Kund*innen ermahnen, weil sie ihre Verantwortung anderen gegenüber in Zeiten einer Pandemie nicht wahrnehmen?
- Darf man Kund*innen den Zutritt zum Geschäft verweigern?
- Könnte es passieren, dass Kund*innen sich dem Roboter gegenüber aggressiv verhalten, wenn dieser sie behindert oder gar das Betreten des Geschäfts verhindern will?
- Soll Robert weiter in dem Projekt mitarbeiten, obwohl er Bedenken gegen die Speicherung der Daten und Verwarnung der Kund*innen hat?
Erschienen im Informatik Spektrum 43 (6), 2020, S. 440–441, doi: https://doi.org/10.1007/s00287-020-01316-w
Stefan Ullrich, Rainer Rehak
“Are you in it for the cause or in it for yourself?” Hannah doesn’t know how to answer her housemate’s question.
“If you’re in it for the cause,” Jelena continues, “you should accept. Ethics and sustainability are right up your alley. And there’s no such thing as bad publicity!“
Hannah takes another look at the letter from the big organization “AI&I4 Future”—a media conglomerate that is known in social media platforms not least of all for the impressive visuals in its ad campaigns. AI&I4F bills itself as a visionary lab incubator and crash-test institute for artificial intelligence systems. The letter is an invitation to join other experts and activists throughout Europe in formulating a manifesto for sustainable AI with an eye for the common good. The list of invitees reads like a roster of A-listers from all walks of life—established scientists and researchers, popular actors and actresses, veterans of the anti-nuclear movement, young influencers from the eco-tech scene—in short, the list has been curated to include every imaginable stakeholder.”
“Stakeholder,” Hannah suddenly repeats the term to herself out loud. “Right. As if I were on the same page as THEM. What does “multi-stakeholder” even mean in this context?”
Jelena is somewhat taken aback and slightly star-struck, fiddling at the multiple layers of her homemade outfit. “What’s the problem? Is it just that these AI people are so hip and put out such awesome visuals?” As much as she hates to admit it, above and beyond the substantive issues, somehow this is indeed her problem. She feels a bit like a fool, but after some back and forth, she decides to join the panel of experts after all.
A few weeks later the first gathering of all participants takes place at an old estate in the country’s south, where AI&I4F is headquartered. Electric cars pick them up from the train station. She’s seated in the back with the big-name transformation researcher Mats Hillebork. She can scarcely understand him through the plexiglass partition and mask, and she’s not a native speaker of English, either, but he’s obviously cutting jokes about all the hullabaloo surrounding the meeting. In English, he tells her that the estate once belonged to the Fugger Family of merchants and that AI&I4F ultimately renovated the place as a sustainability showcase. Hadn’t Hannah ever wondered about the historical windmill adorning the AI&I4F-logo? But it’s not exactly ecologically sustainable, Hillebork claims, as they drive past the mill. “That’s a mill from the Habsburg dynasty in Spain. Ten years ago, it was dismantled and brought here brick by brick and beam by beam—the old trestle windmill wasn’t snazzy enough!” Hillebork chuckles, leaving Hannah to wonder whether it was just an off-color joke or whether she might have missed something in its telling.
For an organization that specializes in artificial intelligence audits, there is surprisingly little by way of technology here. Sure, there are the E-cars, and the surveillance cameras, but aside from that, scores of employees are bustling around the sprawling grounds. Women washing clothes on washboards, young men drawing water from the well and an old butler posted at the entrance to the house giving directions. There are bowls of fruit and vegetarian snacks everywhere. It is pleasantly cool in the castle, yes, everything about the place is very castle-like. She has two rooms and a modern bathroom all to herself; everything here looks ultra-modern, in contrast to the rest of the building. The latest weather data and community news appear in a corner of the bathroom mirror. That’s how she finds out that the kick-off meeting will last three days. „There I go saying ‘kick-off’ again, I’m already picking up their language: that is not A-OK-AI. “ Those last words are the advertising slogan of a well-known AI voice assistant, and indeed: the characteristic double ring can be heard in the bathroom as the system waits for input from the unsuspecting user.
Hannah gets ready for the first meeting before the scheduled “AI Dinner.” She’s expecting it to be a work meeting, so doesn’t bother getting all done up for it. And she’s especially surprised when she arrives downstairs in the lobby to find a slew of TV cameras running. People are being interviewed and photographed, and she sees journalists wandering around asking the experts to explain the extraordinary potential of AI and how important it is that this technology be dealt with ethically—not the way it is in the USA or China, as they say. What a wonderful world it will be with AI taking so many problems off our hands—and it can even be exported. The remaining events that follow in the next few days at the castle aren’t especially big on content, either. Moderators often trade in generalizations and platitudes, and the agenda is peppered with PR-heavy breaks—plenty of photo-ops and interviews, in some cases, even with an international media presence. Hannah is rather disappointed: she was expecting much more along the lines of substantive work. At the same time, she met a lot of interesting people active in her area of expertise, and she must concede that she’s enjoyed these few days of respite from her daily grind. Maybe things like this are needed now and then, and she should just relax a bit—she certainly has earned it by working so diligently the rest of the time.
These types of meetings take place every couple of months, and within two years the experts have penned a final report, signed by all parties. With its smartly designed visuals, the document features prominently in AI&I4F’s current ad campaign promoting the option of obtaining an AI Quality Seal for European value-based AI products. But, in Hannah’s view, the document is anything but “visionary” in substance. At its core, it merely outlines the overall state of discourse on the subject and otherwise falls far short of presenting the participants’ ideas, visions, and potentialities. Besides, there was never any mention of this campaign at the outset, and she’s not exactly on board with it because it essentially calls for “voluntary self-regulation of the economy.” Ultimately, Hannah is annoyed that she invested so much time and energy into the project that turned out to be exactly what she was critical of and had feared it would be from the beginning: the paper is riddled with shallow generalizations—after all, who would be opposed to “trustworthy AI that supports sustainability and the common good”? Although the signatories include all the relevant figures from critical circles in culture and science, the document contains little well-founded critique and few concrete constructive ideas. On the other hand, she’s come away from it with greater notoriety as an activist-influencer–she’s getting a lot more media inquiries than she used to and is thus better equipped to disseminate the results of her work and her ideas in the media.
Meanwhile, she reads with piqued interest that, while she was busy working on the AI&I4F project, her fellow activists were actively participating in political and legislative processes, both nationally and EU-wide —and she hadn’t even bothered to respond to the emails from her old clique. These activities certainly didn’t get the same kind of media attention, but maybe they are having an under-the-radar effect because the EU Parliament and the German federal government had actually asked for assessments of digital regulation in general and AI in particular within the context of sustainability—precisely her area of specialization. She’s not sure what to make of the whole thing, or how to respond to future initiatives involving AI&I4F because there won’t be any immediate action resulting from the legislative consultations either. That night, she remembers something else she told Jelena two years ago: “Activists and scientists should really think about where they invest their precious time—and where they don’t.”
Questions:
- What do you think about these types of events? Are they essential in fostering meaningful social discourse? What dangers do they entail?
- The whole castle looks like it’s been sustainably designed, but it actually reproduces clichés and artifice. Does this succeed in supporting a good work atmosphere?
- What might Hannah have done to make the meetings more productive for her?
- Isn’t it better to attract media attention than it is to work silently on deep thematic issues encapsulated in your own little cubicle? Is Hannah hypercritical in this regard?
- What forms of participation in the democratic process are advantageous? What criteria are applicable here? Do the activities of AI&I4F meet them?
- Irrespective of this scenario: What recent social issues have elicited calls to consider “ethics” and “values”? Was this topic in fact a new and uncharted territory so that it merited widespread thematization and discussion, or was the call to action perhaps merely a ploy to forestall regulation of the industry?
- Do we need a code of ethics to regulate codes of ethics? That is, a set of guidelines and red lines applied to ethical guidelines to ensure that they actually serve their purpose and aren’t merely misused as a smokescreen?
Published in Informatik Spektrum 44 (2), 2021, S. 131–133.
–Translated from German by Lillian M. Banks
Debora Weber-Wulff, Stefan Ullrich
Matthias und Melanie haben sich schon im Studium kennengelernt. Matthias hat Medizin studiert, Melanie Informatik. Sie haben sich bei der universitären Gremienarbeit kennengelernt und sind bald zusammengezogen. Matthias arbeitet nach seinem Studium aus Idealismus im öffentlichen Gesundheitsdienst. Melanie hat einen guten Job als Software-Ingenieurin, also haben sie keine Geldsorgen.
Seit Anfang der Corona-Pandemie ist Melanie im Home Office, aber Matthias hat immer mehr im Amt zu tun. Die schiere Menge an Fällen – und der ganze Papierkram drum herum – scheint ins Unendliche zu wachsen. Matthias tut, was er kann, aber es bleibt immer viel liegen. Er ist sehr frustriert darüber, wie langsam alles geht. Die Leute müssen doch schnell wissen, ob sie infiziert sind oder nicht. Er unterstützt sogar die medizinisch-technischen Assistentinnen und Assistenten und verbringt mehrere Stunden in Schutzkleidung, um Proben zu nehmen. Er und das ganze Team müssen höllisch aufpassen, die Formulare leserlich auszufüllen. Das erfolgt mit einem blauen Stift – digital ist nur der QR-Code auf dem Aufkleber, den sie oben anbringen müssen. Die Proben werden zu verschiedenen Laboren geschickt, es dauert dann aber Tage, teilweise Wochen, bis die Ergebnisse verarbeitet wurden und die Infektionskette zurückverfolgt werden kann.
Matthias beschwert sich über diese langsamen Abläufe eines Abends, als er mit Melanie auf dem Balkon bei einem Glas Wein sitzt. Melanie versteht nicht, was das Problem ist, warum es so lange dauert. Die Tests selber sind doch in wenigen Stunden durch, die Labore arbeiten inzwischen im Drei-Schicht-Betrieb. „Was ist das Problem?“, fragt sie. „Ich kann dir das leider nicht so genau sagen, die Abläufe und alles, was auf dem Amt passiert, unterliegen sehr strenger Geheimhaltung“. Seine Referatsleitung hat ihm immer wieder gesagt: Alles was im Amt passiert, bleibt im Amt.
„Sei nicht albern“, sagt Melanie. „Ich will nicht wissen, wer getestet worden ist oder das Ergebnis. Ich will nur verstehen, wie euer Laden läuft und warum es so lange dauert, bis ihr Ergebnisse habt. Ich bin doch Spezialistin in Prozessoptimierung, vielleicht kann ich helfen.“ Matthias gießt sich noch etwas Wein ein und beginnt zu erzählen. „Lach mich nicht aus“, sagt er, „und bitte nicht twittern. Jedes Labor hat andere Formulare für die Beauftragung und die Ergebnisse. Um die Aufträge gleichmäßig zu verteilen, wechseln wir die Labore regelmäßig. Und weil wir vor Ort nichts Digitales haben, füllen wir die Formulare mit der Hand aus. Mit blauer Tinte, das ist unserer Verwaltung wichtig, damit es von der Schwarz-Weiß-Kopie unterschieden werden kann. Proben und Formulare kommen in eine Post-Box, und wenn das Kästchen mit Proben voll ist, werden die Proben mit den Formularen von einem Boten zum Labor gebracht.“
„Na, das ist doch eine gute Notlösung, wäre natürlich schöner, wenn das alles gleich digitalisiert wäre, aber okay. So was kostet Zeit. Was macht das Labor mit den Ergebnissen?“ fragt Melanie.
„Sie tippen die Daten aus der Anforderung ab in ihr Befunde- und Abrechnungssystem, tragen die Ergebnisse ein, und faxen sie dann zurück an das Gesundheitsamt.“
„Faxen?!“ Melanie prustet. „In Ordnung, ich denke, wir kommen dem Problem schon näher“, scherzt sie.
„Das ist gar nicht so doof, denn das sind personenbezogene Daten. Sie sollen nicht über das Internet versendet werden.“ „Na gut, man kann es aber auch übertreiben. Ich kaufe euch ab, dass keiner das schafft, eine Verschlüsselungsinfrastruktur aufgebaut zu haben. Noch dazu für die Kommunikation mit Externen. Aber dann ist doch alles gut, dann habt ihr am nächsten Tag die Ergebnisse … als Fax!“
„Nein, so einfach ist es nicht. Der Computer, der bei uns die Faxe entgegennimmt, speichert sie als Datei mit dem Namen ,Telefax.pdf‘ ab. Immerhin werden sie durchnummeriert, aber wir haben mehrere tausend Dateien, die so heißen – täglich! Da sitzt also jemand und benennt die Dateien um, damit wir sie zuordnen können. Diese Person muss also die Datei öffnen, schauen, wie das Aktenzeichen heißt, und ob das Ergebnis positiv oder negativ ist. Die Dateien werden dann in unterschiedlichen Verzeichnisse abgelegt, je nach Ergebnis. Naja, und manchmal passiert bei der manuellen Umbenennung oder Sortierung eben ein Fehler und wir müssen bei den Laboren dann nachfragen. Jetzt, wo wir so viele Tests am Tag haben, merken wir erst, wie lange die manuelle Datenverarbeitung dauert. Hier..“, er unterbricht sich, „bricht gerade alles zusammen.“
Melanie kann kaum glauben, was sie hört. „Das ist nicht dein Ernst! Was für einen Rechner mit welcher Software setzt ihr da ein?“ „Ich weiß es nicht so genau, aber der darf nicht am Internet angeschlossen werden, da sein Betriebssystem so alt ist. Aber zum Fax-Empfang taugt er eigentlich gut genug, wenn wir gerade keine Pandemie haben“, antwortet Matthias.
Melanie schüttelt den Kopf. „Mensch, geht doch zum Megamarkt und kauft euch ein aktuelles Faxgerät, die können Dateien auch gleich weiter an eure PCs schicken, selbst wenn ihr im Home Office seid. Und kauft OCR-Software dazu, dann können die Ergebnisse gelesen und entsprechend abgelegt werden! Die Maschine macht im Gegensatz zum Menschen keine Fehler!“
„Naja, wir dürfen keine selbst gekauften Geräte einsetzen. Es muss alles über die Beschaffungsstelle und die IT gehen, es muss so ein Dings mit Datenschutz geben, ich weiß nicht wie es heißt, und noch eins mit medizinischer Sicherheit. Außerdem muss es Schulungen geben. Das dauert mindestens sechs Monate, bis so was durch ist, oft länger!“
Melanie meint nach einem weiteren großen Schluck Wein: „Weißt du was, wir beide kaufen so ein Gerät und ich richte es übers Wochenende ein. Eigentlich bin ich sehr teuer, aber das mache ich sogar kostenlos. Ich will, dass die Tests schneller durchgehen! Du musst ja auch regelmäßig getestet werden, und ich will, dass du schnell weißt, wenn du angesteckt worden bist. Na?“
Matthias ist sehr unsicher, ob er auf das Angebot eingehen soll. Es ist verlockend und hört sich wirklich einfach an, wie Melanie das beschreibt.
Fragen
- Ist es nötig, dass allgemeine Abläufe auf dem Amt der Geheimhaltung unterliegen?
- Kann in solchen Ausnahmezeiten ein moralischer Grund vorliegen, diese Geheimhaltung zu brechen?
- War es in Ordnung, dass Matthias Melanie über die Abläufe im Amt eingeweiht hat?
- Ist etwas daran auszusetzen, dass das Labor die Ergebnisse an das Gesundheitsamt faxt?
- Würde es in moralischer Hinsicht einen Unterschied machen, wenn die OCR-Software einen Fehler macht – im Gegensatz zu einem menschlichen Benennungsfehler?
- Ist Melanie zu sorglos im Umgang mit vernetzten Geräten?
- Matthias hat sich freiwillig zu Mehrarbeit verpflichtet auf Kosten der gemeinsamen Familienzeit. Wie ist dies in moralischer Hinsicht zu bewerten?
- In den meisten Städten werden nur die positiven Fälle vom Labor an das Amt übermittelt. Ändert dies etwas an Ihrer Einschätzung der Situation?
Erschienen im Informatik Spektrum 43 (5), 2020, S. 352–353, doi: https://doi.org/10.1007/s00287-020-01308-w
Dominik Pataky, Christina B. Class
Noah ist Mitgründer und CTO von SmartEcoTours, einem kleinen und aufstrebenden Startup. SmartEcoTours vermittelt auf seiner Internet-Plattform nachhaltige Reisen und Ausflüge, die von sorgfältig ausgewählten Partnern angeboten und von Kunden auf der Plattform gebucht werden können. Alle Angebote sind nachhaltig gestaltet und werden, größtenteils durch anerkannte Umweltzertifikatebeglaubigt, umweltschonend durchgeführt. Die Finanzierung der SmartEcoTours-Plattform erfolgt durch die Vermittlungsgebühren von Buchungen.
In der sechsjährigen Geschichte des Startups war Noah schon für diverse Umgestaltungen und Erweiterungen der Plattform verantwortlich, um einerseits die Stabilität des Onlineangebots zu garantieren und andererseits der immer größer werdenden Kundennachfrage nach Reise- und Urlaubszielen und dem wachsenden Angebot gerecht zu werden. Das zunehmende Interesse an nachhaltigem Reisen hat die letzten Jahre einen erheblichen Schub in den Besucher- und Buchungszahlen eingebracht. Das hat zwar für großes Umsatzwachstum gesorgt, musste gleichzeitig aber von Noah und seinen Mitstreitern technisch rechtzeitig unterstützt werden. Die Stabilität der Plattform ist essenziell, um keine Kunden zu verlieren. Auch wenn sie nicht über große Reserven verfügen, ist Noah mit der aktuellen Situation zufrieden und zuversichtlich, dass sich das Unternehmen auch weiterhin in diesem hoch kompetitiven Markt behaupten kann.
Dieser Erfolg liegt auch daran, dass zur Plattform über die Jahre mehr und mehr Funktionen hinzugefügt und neue Technologien integriert wurden. Der ursprüngliche Prototyp, bestehend aus einer Website mit dahinter liegenden Skripten und einer Datenbank, entwickelte sich im Laufe mehrerer Iterationen zu einer komplexen Software-Landschaft, eigens zugeschnitten für alle Anwendungsfälle der Plattform. Mittlerweile koordiniert Noah mehrere spezialisierte Abteilungen, z. B. für Daten-Schnittstellen, für die Verwaltung des verteilten Serverclusters sowie das Machine-Learning-Team, welches mit Hilfe künstlicher Intelligenz neue Angebote erstellen will. Leider kommt aber auch bis heute immer wieder hinzu, dass Altlasten aus der ersten Version der Plattform noch gewartet werden müssen, da bisher keine Zeit war, alle alten Komponenten ordentlich zu migrieren. Aber SmartEcoTours bietet nicht nur nachhaltige Ausflüge und Reisen an, sondern hat sich auch selbst viele Nachhaltigkeitsziele gesetzt, um langfristig eine positive Klima-und Sozialbilanz erreichen zu können. Als ausformulierte Jahresziele erstellen Noah und seine Kollegin Freya, ebenfalls Mitgründerin und CEO von SmartEcoTours, dazu jeden Januar eine Neuauflage der Corporate-Social-Responsibility-Richtlinien (CSR-Richtlinien), deren Einhaltung am Ende des Jahres von Dritten auditiert wird. So ist garantiert, dass SmartEcoTours auch das hält, was es verspricht. Darüber hinaus ist das kleine Unternehmen auch Teil eines Social-Entrepreneurship-Netzwerks, um sich mit Gleichgesinnten auszutauschen und den eigenen Überzeugungen mehr Gewicht zu geben.
Noahs Verantwortung ist im Kontext der Klimaziele unter anderem die Überprüfung der Energiequellen der Rechenzentren, in denen die eigene Plattform betrieben wird. Hierzu besucht Noah die Anlagen vor Ort beim Betreiber und lässt sich bescheinigen, dass aller Strom des Rechenzentrums aus erneuerbaren Energien geliefert wird. Auch wird die eigene Hardware so lange wie möglich verwendet und anschließend umweltgerecht entsorgt. Die Auditoren bescheinigen SmartEcoTours hier immer wieder hervorragende Ergebnisse.
Allerdings wurde in den Berichten der letzten beiden Jahre der phasenweise hohe Arbeitsdruck insbesondere in den technischen Teams erwähnt. Die Sorge, die Konkurrenz könnte die Marktposition von SmartEcoTours streitigmachen, hat im gesamten Team immer wieder zu stressigen Phasen mit wenig Schlaf und viel Frustration gesorgt. Noah ist sich bewusst, dass hier noch einiges zu tun wäre, aber auch in diesem Jahr waren nicht genügend Mittel vorhanden, um eine weitere Stelle zu schaffen. Sie konnten ihr Ziel der mitarbeiter-orientierten Gestaltung der Arbeitsbedingungen sowie des Abbaus der Überstunden wieder nicht ganz erreichen. Die Realisierung dieser Ziele ist im nächsten Jahr zu einer der Top-Prioritäten erklärt worden.
Abseits der bestehenden Herausforderungen steht nun eine folgenreiche Entscheidung der beiden Gründer an:
Nach ersten Kontakten auf der letzten Messe hat ein anderes Unternehmen, AdventureLive, Interesse an einer Beteiligung an SmartEcoTours geäußert. Nachdem Freya mit Vertretern von AdventureLive erste Gespräche führte, sucht sie das Gespräch mit Noah. Noah ist überrascht und auch schockiert. Er weiß zwar, dass ihre Reserven nicht allzu üppig sind, ist aber von der Idee einer Beteiligung nicht wirklich begeistert. Freya hingegen erläutert, dass sie neue Ideen und Angebote entwickeln müssten, um ihre Marktposition zu behalten und die vorhandenen Mittel seien zu knapp, um große Investitionen zu tätigen. Wenn sie nicht aktiv würden, könnten sie mittelfristig Probleme haben, Kunden zu halten. Es sei ja nicht so dringend und sie habe Noah nicht damit beunruhigen wollen, aber die Gelegenheit sei einfach sehr günstig: AdventureLive wollten nur 15% am Unternehmen und seien durch ihre Kompetenzen im Video-Livestreaming ein vielversprechender Partner.
In den Gesprächen ergab sich nämlich, dass sie gemeinsam ein neues und sehr attraktives Angebot aus der Kombination von Plattform und Video entwickeln könnten. Sie stellt Noah die Idee vor: Der Clou in einer Verbindung der SmartEcoTours-Plattform mit dem Video-Livestreaming-Service läge darin, dass Kunden von SmartEcoTours die Möglichkeit haben sollen, als Zusatzangebot ihr Abenteuer live über die Plattform zu übertragen. Hierfür könnten sie eine am Rucksack oder an der Ausrüstung montierbare Kamera mieten und mit dieser den Stream in Echtzeit verbreiten. Sie könnten auswählen, ob die Aufnahmen öffentlich oder nur für Freunde und Verwandte sichtbar sind. Darüber hinaus können auch eigene Kameras, z.B. solche von Smartphones, mit dem Service verbunden werden. Die Integration des Streamings wäre ein neues Feature imPortfolio von SmartEcoTours, führt zu Einnahmen durch Gerätegebühren und ermöglicht einen neuen Marketing-Kanal zu Zuschauern, welche als Neukunden der Plattformgewonnen werden könnten.
Doch Noah sieht vor allem eine riesige Welle technischer Herausforderungen auf sein Team zurollen: Wie gut ist das skalierbar? Brauchen wir neues Personal für die Verbindung der Plattformen? Was machen wir bei Inkompatibilitäten der Software, wie lange soll der Fusionsprozess anhalten? Wie werden die Videodaten ausgeliefert, ist die dafür notwendige Infrastruktur noch überprüfbar nachhaltig? Woher kommen die Kameras und wie kommen diese zu den Kunden? Wer übernimmt die Wartung und Entsorgung der Geräte? Und kann trotz des größeren Entscheiderkreises sichergestellt werden, dass die CSR von SmartEcoTours weiterhin realistisch sind?
Freya und Noah sind sich nicht wirklich einig, wie sie das Angebot bewerten sollen, müssen aber in den nächsten Tagen entscheiden, ob sie Verhandlungen aufnehmen wollen. Auf der einen Seite wäre die finanzielle Beteiligung eines umsatzstarken Partners richtig, um die Zukunft zu sichern, die notwendigen Erweiterungen des Angebots und der aktuellen Plattform vorzunehmen und die Qualität undIdeale weiter hoch zu halten. Auf der anderen Seite steht das Risiko, durch die Zusammenarbeit ihren Ruf zu riskieren, wichtige Weichen nicht mehr gemäß ihrer Unternehmensphilosophie stellen zu können und so ihre Marktposition und Wettbewerbsfähigkeit im Ökotourismus aufs Spiel zusetzen.
Fragen
- Sollten die beiden der Beteiligung zustimmen?
- Zum Thema Nachhaltigkeit zählt auch, dass Menschenweniger reisen und so die Umwelt geschont wird. Hierbei stellt sich die Frage, was zuerst kommt, die Nachfrage oder das Angebot. Könnte man behaupten, dass erst die Verfügbarkeit der Angebote auf der SmartEcoTours-Plattform eine erhöhte Nachfrage provoziert? Wie verhält sich diese Frage im Kontext des potenziellen neuen Angebots in Form von Videostreaming? Besteht das Risiko, dass das ressourcen-intensive Videostreaming später mehr Schaden verursacht, als anfangs gedacht?
- SmartEcoTours verfügt über eine von Externen auditierte CSR-Richtlinie. Wie können Kunden beurteilen, wie ernst Richtlinien gelebt werden? Woher wissen Kunden, ob Richtlinien eher dem Marketingzweck dienen? Wie können Freya und Noah Kunden über CSR-Richtlinien informieren, ohne in den Verdacht zu geraten, diese für Werbezwecke zu formulieren?
- Die angebotenen Reisen und Ausflüge von SmartEco-Tours verfügen über Umweltzertifikate. Für Außenstehende ist oft schwer nachzuvollziehen, wie gut Umweltzertifikate sind. Manche dienen eher Marketingzwecken oder sollen gesetzliche Regelungen verhindern. Die Zertifizierung kostet in der Regel Geld. Nach welchen Kriterien soll eine Firma entscheiden, welche Zertifikate beantragt werden? Wie kann ein Kunde überprüfen, wieviel ein Zertifikat wert ist? Was passiert, wenn ein Umweltzertifikat im Laufe der Zeit z.B. durch Betrügereien an Wert verliert? Inwiefern fällt das auf bereits zertifizierte Firmen und Angebote zurück? Sollte man nach Möglichkeit mehrere Zertifikate haben?
- Wären andere Modelle einer „Zertifizierung“ von Angeboten denkbar, die z. B. auf Reviews vieler Nutzer basieren? Wie könnte hier eine Qualitätskontrolle aussehen?
- Wie sollte Noah mit den kritischen CSR-Audits bzgl. der Arbeitsbedingungen in seinem Team umgehen?
- Sollte Noah neben der Überprüfung der Energiequellen auch prüfen, welche Auswirkung der Betrieb von ineffizienten Legacy-Komponenten und der Overhead von verteilen Systemen auf den Stromverbrauch hat? Könnte die verstärkte Verwendung von ausgereifter und optimierterfreier Software, welche von vielen Wettbewerbern und Nutzern zusammen offen entwickelt wird, hier einen Unterschied machen?
- Machine-Learning-Algorithmen könnten zu einem späteren Zeitpunkt bei der Sortierung und Filterung von neuen Angeboten unterstützend eingreifen. Wie kann beim Einsatz von automatisierten Prozessen, deren Entscheidungen möglicherweise gar nicht mehr zeitnah von Menschen überprüft werden können, sichergestellt werden, dass weiterhin nur die nachhaltigsten Angebote auf der Plattform angeboten werden?
- Kann Infrastruktur, die über die Anmietung von Schränken in Rechenzentren hinausgeht, überhaupt kontrolliert werden? Welche Möglichkeiten hätte Noah, z. B. ein für Videostreaming notwendiges Content Delivery Network auf Umweltstandards zu prüfen?
Otto Obert, Carsten Trinitis
Emma und Noah haben beide Medizin studiert und eine lukrative Position in der anwendungsorientierten Forschungseinrichtung EMPE3 bekommen, die sich insbesondere auf das Digitaltechnologie-gestützte Management von Krisenszenarien bei Pandemien spezialisiert hat. So liegt es in der Natur der Sache, dass bei EMPE3 sowohl Mitarbeiter(innen) mit medizinischer als auch mit informationstechnologischer Ausbildung beschäftigt sind, wie die beiden Informatiker Olivia und Ersoy. Darüber hinaus verfügen die meisten von ihnen zusätzlich über einen Abschluss in Philosophie oder Ethik, da bei derart sensiblen Themen, wie sie von EMPE3 bearbeitet werden, stets auch ethische Grundsätze und Spezifika zu beachten sind.
Für Firmen und Einrichtungen wie EMPE3 winken im Zuge von anwendungsnaher Forschung im Umfeld pandemischer Krisen lukrative Aufträge und Fördermittel, unter anderem wurden von der Europäischen Union aufgrund der Corona-Pandemie kurzfristig hohe Summen an Forschungsgeldern zur Verfügung gestellt.
Aus Emma, Noah, Ersoy und Olivia ist ein Spezialistenteam gebildet worden. Dieses Team hat ganz aktuell die Führung eines EU-Projektes namens PANDEMANIA übertragen bekommen, an dem zahlreiche weitere Partner aus dem In- und Ausland beteiligt sind. Projektziel ist die Entwicklung von Systemen zur Eindämmung und Entscheidungshilfe bei Pandemien.
Hauptschwerpunkte dabei sind die gemeinsame und einheitliche Entwicklung einer konkreten KI-Lösung auf mobilen Endgeräten zur Selbstdiagnose von Symptomatiken und automatisierten Benachrichtigung der Personen, die mit Infizierten in relevantem Kontakt standen (Tracing-App) sowie die Modellierung eines KI-basierenden Assistenzsystems zur transparenten und jederzeit vollständig nachvollziehbaren Entscheidungshilfe in Triage-Fällen (Triage-Assistenzsystem zur evidenzbasierten Ersteinschätzung der Behandlungsdringlichkeit und somit Priorisierung von z.B. konkurrierenden Intensiv- und Beatmungspatienten besonders bei Ressourcenengpässen).
Das Team hat hierbei mit seiner Kernkompetenz die Aufgabe, einen mit allen an der Entwicklung beteiligten Partnern abgestimmten einheitlichen Anforderungsrahmen samt dessen Einhaltung zu vereinbaren, der über die gesetzlichen Vorgaben hinaus (das jeweils strengste nationale Gesetz) wirkt und dabei insbesondere wertebasierte ethische Grundsätze berücksichtigen soll.
Weitere assoziierte Partnerländer sind neben EU-Ländern, vertreten durch die EMPE3, noch die EU-Nachbarn Asika, Eurasien und die Vereinigten Inseln.
Asika möchte seine Interessen insbesondere bei der Tracing-App durchsetzen, um über den notwendigen und gleichzeitig datenschutzkonformen Funktionsumfang hinaus auch noch die robuste Einhaltung der Quarantäne von Infizierten zu überwachen und Personen aktiv aufzuspüren, die relevanten Kontakt zu Infizierten hatten.
Da Eurasien mit einer nahezu flächendeckenden Überwachung auf Basis von Kameras und Gesichtserkennung sowie einem Social Scoring sowohl das Nachverfolgen von Infektionsketten als auch eine möglicherweise notwendige Richtung keine besonderen zusätzlichen Anforderungen.
Die Vereinigten Inseln hingegen haben besonders bei der Modellierung eines Assistenzsystems zur Entscheidungshilfe in Triage-Fällen individuelle Anforderungen angemeldet, die allen anderen Beteiligten auch nicht transparent werden sollen.
Olivia ist Hauptansprechpartnerin für die Delegation der Vereinigten Inseln, die durch Tommy vertreten wird. Sie versucht, Tommy das fünfstufige Triage-Design schmackhaft zu machen, auf das man sich eigentlich ursprünglich nach langwierigen Verhandlungen geeinigt hatte. Tommy möchte aber für die Version der Vereinigten Inseln eine exklusive sechste Stufe, die erlauben soll, alle fünf vorherigen Stufen zu übersteuern und damit mehr oder weniger willkürlich und völlig intransparent zu entscheiden. Tommy will Olivia darüber hinaus überzeugen, gar die pure Existenz dieser sechsten Stufe geheim zu halten und in der Öffentlichkeit nur von einer für alle einheitlichen Lösung zu sprechen.
Ersoy hat es mit Azra von der eurasischen Delegation zu tun. Azra trägt alle Entscheidungen mit und ist bedingungslos kooperativ bei der gemeinsamen ethik-konformen Lösungsentwicklung. Ersoy weiß genau, dass diese gemeinsam entwickelten Lösungen dort nie zum Einsatz kommen werden, da eine bereits vollständige Überwachung samt Social Scoring implementiert ist. Eurasien will dennoch um jeden Preis als vorbildlicher Entwicklungspartner erscheinen.
Die für Asika sprechende Esther macht gegenüber Noah erst gar keinen Hehl aus ihrer Haltung: Falls die Tracing-App im Infektionsfall keine genauen geografischen und zeitlichen Daten der relevanten Kontaktpersonen liefert (und das bei nachgewiesenen Infizierten in Quarantäne sogar in Echtzeit), würde Asika für diesen Teil aussteigen und eine vom eigenen Geheimdienst zur Terrorismusbekämpfung bereits sehr erfolgreich eingesetzte Lösung nutzen (Tracking per GPS-Ortung). Immerhin steht Asika voll hinter dem fünfstufigen Triage-Lösungsansatz.
Emma, die innerhalb aller direkt beteiligten Partnern der EU für Konsens sorgen muss, hat es da nur vermeintlich leichter. Besonders die Interessenvertreter der europäischen Pharmaindustrie würden sehr gerne aus rein kommerziellen Gründen die zu Beginn als nicht verhandelbar vereinbarten sogenannten „Roten Linien“ aufweichen. Auch wenn diese Gruppe von Emma nicht überzeugt werden konnte, ordnen sie sich zumindest den Rahmenbedingungen unter, um nicht ihrer Außenwirkung und Reputation zu schaden. Jedoch möchte die Pharmalobby im Falle des Eintretens einer Pandemie verbindlich Exklusivrechte eingeräumt bekommen. Das dann zum jeweiligen Zeitpunkt als am besten geeignete bereits zugelassene und verfügbare europäische Medikament aus zum Beispiel der Behandlung von HIV, Ebola oder Malaria soll kostenfrei, aber eben exklusiv, eingesetzt werden dürfen, bis zur Entwicklung und WHO-Zulassung eines der spezifischen Bekämpfung des aufgetreten Virenstammes dienenden Wirkstoffes. Abgesehen davon steht zumindest der überwiegende Teil der beteiligten Partner aus Europa voll und ganz hinter dem vereinbarten Anforderungsrahmen, insbesondere zu den wertebasierten ethischen Grundsätzen.
Emma, Noah, Ersoy und Olivia müssen für die nächste Sitzung des hochrangigen Projekt-Steuerungsgremiums, bestehend aus dem EU-Gesundheitskommissar als Vorsitzenden und den EU-Länder-Gesundheitsministern samt deren Staatssekretären, einen Statusbericht vorbereiten. Dieser soll einen Überblick über alle Partnerländer geben, differenziert nach gesetzlichen Vorgaben, ethischen Grundsätzen sowie den beiden Hauptthemen Tracing-App und Triage-Assistenzsystem. Sie tauschen zu Beginn ihres Vorbereitungstreffens ihre Erfahrungen aus, wundern sich über das Verhalten ihrer jeweiligen Länderansprechpartner und suchen Antworten auf Ihre Fragen …
Fragen
Arbeitsziel ist es, die verschiedenen Ebenen zu durchleuchten und einzuordnen – im Übergang von echter Überzeugung zu realer Wirksamkeit auch ohne Überzeugung dahinter, über „totales“ ethisches Reinwaschen bis hin zu unverhohlener Ignoranz. Damit sollen gute Kompromisse von nicht so guten, oder gar faulen, zu unterscheiden gelernt werden.
- Welche Partnerländer verhalten sich bei welchem der beiden Schwerpunktthemen (Tracing-App und Triage-Assistenzsystem) vorbehaltlos vorbildlich und stehen voller Überzeugung zum einheitlichen Anforderungsrahmen und zur Einhaltung auch der wertebasierten ethischen Grundsätze?
- Ist ein Partner nur dann vorbildlich, wenn er sich auch bei beiden Schwerpunktthemen an den Anforderungsrahmen hält?
- Wie bewerten Sie die zwarmangelndeÜberzeugung einiger Partner zu den ethischen Grundsätzen, wenn sie diese aber dennoch mittragen und einhalten?
- Auch wenn eine „Medikamentenspende“ aus einem sonst knallhart kalkulierenden Wirtschaftszweig auf den ersten Blick altruistisch und philanthropisch erscheint:Welche Aspekte „hinter den Kulissen“ sprechen für eine vermeintlich nur vorgetäuschte „WeißeWeste“? Nennen Sie die aus Ihrer Sicht wichtigsten drei.
- Bei welchen Konstellationen kann man eindeutig von „ethischem Reinwaschen“ sprechen?
- Wie ordnen Sie das Verhalten von Partnern ein, die offen gegen den gesetzlichen wie auch ethischen Teil des Anforderungsrahmen verstoßen?
- Lassen sich ein Verstoß gegen den gesetzlichen Teil und ein Verstoß gegen den ethischen Teil unterschiedlich be- und verurteilen und wenn ja, wie könnte man das beschreiben?
- Wie würden Sie die vier verschiedenen Ebenen im Übergang von echter Überzeugung zu Zweifel und dennoch realer Wirksamkeit, über „totales“ ethisches Reinwaschen bis hin zu offener Zuwiderhandlung beurteilen?
Zusatzfragen, die zwar über das Kernthema ethisches Reinwaschen hinausgehen, aber von besonderer Bedeutung sind:
- Inwieweit ist es sinnvoll und ethisch vertretbar, europa bzw. länderweit oder entsprechend der Betroffenheit von Gegenden grundsätzlich eine App (Tracing) sämtlichen Bürgern vorzuschreiben, um das Infektionsrisiko zu minimieren oder Beschränkung zu lockern? Differenzieren Sie Ihre Begründung weiter mit Blick auf die App-Varianten mit einem zentralen oder dezentralen Ansatz (stark vereinfacht: pseudonymisierte Daten der relevanten Begegnungen werden zentral auf einem Server gespeichert oder verbleiben dezentral auf den jeweiligen Endgeräten) und darüber hinaus noch zusätzlich mit der Möglichkeit einer Standortbestimmung (Tracking).
- Wäre der Einsatz eines transparenten und jederzeit vollständig nachvollziehbaren Triage-Assistenzsystems grundsätzlich ethisch vertretbar? Wie beeinflusst Ihre grundsätzliche Einordnung der Einsatz besonders in Ländern, in denen ansonsten eine besonders große Gefahr von fehlerbehafteter, willkürlich, politisch oder nicht-medizinisch induzierter Einflussnahme besteht? Auch wenn natürlich Triage-Entscheidungen am Ende immer von Ärzten getroffen werden, die sich dem hippokratischen Eid verpflichtet haben.
Erschienen im Informatik Spektrum 43(3), 2020, S. 227-229, doi : 10.1007/s00287-020-01282-3
|
|
Beiträge als RSS abonnieren
Kommentare