|
|
Christina B. Class, Stefan Ullrich, Carsten Trinitis
Nadia und Heinz sind seit der zwölften Klasse zusammen und, wie ihre Freunde manchmal neidvoll sagen, ein echtes Traumpaar. Sie haben zwei Söhne, 14 und 9 Jahre und leben in einer größeren Stadt in einer Dreizimmerwohnung. Nadia hat Kunstgeschichte studiert und in diesem Fach auch promoviert. Leider hatte sie nach einem achtmonatigen Praktikum in einem Museum keine Anstellung in ihrem Bereich gefunden und arbeitet nun zu 80 % in einem lokalen Supermarkt zum Mindestlohn. Heinz hat Journalistik studiert. Auch er hat leider keine Festanstellung gefunden und arbeitet Teilzeit als Paketzusteller. Sofern möglich, arbeitet er noch als freischaffender Journalist für die lokale Tageszeitung. Aber die Aufträge sind eher selten und nicht gut bezahlt. Die Arbeitsmarktlage in ihrer Gegend bietet keine großen Alternativen, zumindest nicht ohne die passende Ausbildung. Sie kommen mehr oder weniger zurecht, aber es ist nicht einfacher geworden. Die beiden Söhne haben zwar das größere der beiden Schlafzimmer bekommen, aber Nadia und Heinz würden ihren Kindern gerne eigene Zimmer geben, immerhin ist der Große ja ein Teenager. Nach zwei Jahren intensiver Wohnungssuche und angesichts der steigenden Mietpreise auch für ihre Wohnung, haben sie es aufgegeben, eine neue Wohnung zu finden. Zum Glück haben sie einen kleinen Balkon, das war während der diversen Quarantänen aufgrund von COVID-19-Kontakten ein richtiger Luxus.
Die Familie nutzt gemeinsam einen Rechner, den Heinz auch für seine Artikel benötigt. Als die Schule während der Pandemie auf Onlineunterricht wechselte, bot die Schule den Eltern zum Glück an, Tablets auf Kredit zu beschaffen. Es fiel Nadia schwer, darum zu bitten, und es war nicht einfach, die Schulleitung von ihrer Bedürftigkeit zu überzeugen. Sie war damals so stolz auf die Promotion gewesen, dass sie den Doktorgrad in ihre Papiere eintragen ließ. Und Heinz hat in den letzten Jahren immer wieder Artikel über die Schulpolitik des Kreises und des Landes geschrieben. Eine „Frau Doktor“ und ein bekannter Journalist können keine Tablets für die Söhne kaufen. Das war ein Spießrutenlauf. Zum Glück waren sie erfolgreich – die Raten von insgesamt 50 € pro Monat sind zwar auch nicht zu vernachlässigen, aber immerhin konnten beide Jungs am Onlineunterricht teilnehmen.
Nadia graut auch schon wieder vor dem nächsten Schuljahr. Die Schulbücher liegen fast alle in neuen Auflagen vor, sodass sie für beide Jungs Bücher kaufen müssen. Von wegen Lernmittelfreiheit!
Alle vier haben Smartphones, wobei das von Nadia schon recht alt ist, und viele Anwendungen nicht mehr laufen. Aber für sie reicht es. Der jüngere Sohn hat das alte Smartphone von seinem Vater bekommen, er war zwar nicht begeistert, aber hat sich damit arrangiert. Aber sie will sich nicht beklagen, sie sind alle gesund und abgesehen von den Finanzen eine glückliche Familie.
Am heutigen Abend wollen sie nicht darüber nachdenken. Heute treffen sie sich zur zwanzigjährigen Abiturfeier in einem Restaurant, und das wollen sie einfach genießen. Manche haben sie seit zehn Jahren nicht gesehen. Wie es ihnen wohl ergangen ist? Nach und nach treffen alle ein. Nachdem sie sich bei einem Plausch auf der Terrasse in kleinen Gruppen begrüßt haben, setzen sie sich zum Essen an den Tisch. Es sind nur 20 Personen gekommen, sodass sie alle an einer großen Tafel Platz nehmen. Nach dem Essen berichtet Andreas stolz von seinem letzten Projekt: Er hat sich mit einem Softwareunternehmen selbstständig gemacht und eine neue App für den lokalen Verkehrsverbund geschrieben. Nutzt man diese, erhält man immer den besten Preis für Fahrten. Nach und nach sollen bis auf an zentralen Haltestellen die Fahrkartenautomaten abgeschafft werden. Für den Notfall gäbe es beim Fahrer dann noch Einzelkarten. Aber die am Automaten erhältliche Mehrfahrtenkarte benötige ja wirklich niemand, die könne man zur Not an der Servicestelle besorgen, zumal man bei der App einen um 10 % besseren Preis erhalten würde. Ganz besonders stolz berichtet er von der Zusammenarbeit mit einem Senioren- und Behindertenverein. Die App sei soweit als möglich barrierefrei und würde hierfür die neueste Technologie verwenden. Auf Nachfrage schwärmt er von den Möglichkeiten der neuesten Generation der gängigen Betriebssysteme.
In einer Pause wendet Nadia ein, dass sich aber nicht jeder die neuesten Smartphones leisten könne. Was ist mit denen? Da lacht Andreas auf und meint: „Ach, die Hartz-4-Empfänger sollen sich nicht so anstellen! Die können ja wohl zur Servicestelle gehen, die haben ja eh Zeit. Außerdem müssen sie ja nicht so oft mit dem Bus fahren.“ Nadia muss schlucken, Heinz neben ihr jedoch wirft vor lauter Ärger sein Bier um und fährt Andreas an. Was er sich denn einbilde, Armut beträfe auch viele Leute, die arbeiten. Sie zum Beispiel wüssten trotz erfolgreichem Studium und Arbeit oft nicht, wie sie unvorhergesehene Kosten stemmen sollten. Und nein, sie könnten sich garantiert keine solch tollen Smartphones leisten. Sie würden immer mehr ausgeschlossen, mit jeder groß angekündigten Neuheit sei es für sie schwerer, mithalten zu können.
Am Tisch herrscht betretenes Schweigen, dass Heinz laut wird, ist man nicht gewöhnt. Leise meldet sich Maria: „Seit mein Mann mich vor drei Jahren mit der Kleinen sitzen gelassen hat, weiß ich oft auch nicht, wo das Geld für das Nötigste herkommen soll. Ich habe seit zwei Monaten jeden Cent zur Seite gelegt, um heute hier dabei sein zu können. Und seit mein Smartphone vor vier Monaten kaputt gegangen ist, nutze ich wieder mein altes Handy, um wenigstens erreichbar zu sein.“
Fragen
- Armut ist ein gesellschaftliches Problem. Armutsbetroffene sind von vielen Bereichen ausgeschlossen und haben nur eingeschränkte Möglichkeiten der Teilhabe, insbesondere auch bei der Freizeitgestaltung. Ist das ein ethisches Problem?
- Finanzielle Möglichkeiten entscheiden, ob sich jemand Hardware, Internetzugang und/oder Softwarelizenzen leisten kann. Welche konkreten Folgen hat diese Trennung zwischen denen mit und denen ohne Zugang? Ist das ein ethisches Problem?
- Je nach Region in Deutschland sind Menschen von einem akzeptablen Internetzugang abgeschnitten, da weder der Ausbau des Mobilfunks noch des Glasfasernetzes ausreichend erfolgt ist. Was ist der Unterschied zwischen Menschen, die aufgrund des Wohnorts und solchen, die aufgrund eingeschränkter finanzieller Möglichkeiten abgeschnitten sind? Gibt es einen Unterschied?
- Welche Verantwortung hat eine Gesellschaft, Menschen aufgrund mangelnder finanzieller Möglichkeiten nicht von digitalen Dienstleistungen abzuschneiden? Welche Dienstleistungen sind relevant?
- Verwaltungen setzen zunehmend auf Onlinedienste, um z. B. bestimmte Dokumente zu beantragen oder Termine auszumachen. Welche alternativen Zugangsmöglichkeiten sind aus Ihrer Sicht ethisch geboten?
- Es gab aus unterschiedlichen Gründen auch bisher schon Unterschiede bei den Möglichkeiten und dem Zugang, z. B. Behinderung oder Alphabetisierungsgrad, sowie unterschiedliche Möglichkeiten zwischen Stadt und Land. Handelt es sich bei den Unterschieden in der digitalen Teilhabe einfach um eine andere Dimension? Wiegen diese Unterschiede stärker? Sind sie aus ethischer Sicht anders zu bewerten?
- Wie sollen diese Themen in der Informatik-Ausbildung und -Lehre angesprochen werden? Wie kann dafür sensibilisiert werden?
- Wie können Fragen der digitalen Teilhabe armutsbetroffener Menschen in der Softwareentwicklung beachtet werden? Für welche Art von Projekten ist das erforderlich?
- Müssten soziale Kosten ebenfalls Bestandteil der Softwareentwicklung sein?
- Gehört das Thema Armut aus Ihrer Sicht zum Bereich Inklusion?
- Welche Rolle spielen informationstechnische Systeme für die Beteiligung am öffentlichen/gesellschaftlichen Leben?
- Ist es aus technischer Sicht unbedingt notwendig, die neueste Version von Apps so zu gestalten, dass sie nur auf der neuesten Hardware mit dem neuesten Modell läuft? Würde hier nicht schon etwas Abwärtskompatibilität helfen?
- Ein Gedanke zum Schluss: Wieder einmal kam vieles anderes dazwischen und es war, trotz anderer Planung, am Schluss doch wenig Zeit, um diese „Gewissensbits“ zu schreiben. So blieben wir bei unserem gewohnten Vorgehen, der Erstellung einer ersten Version durch das Autorenteam und Versand an die Liste der aktiven Fachgruppenmitglieder für Feedback. Wir wollten beim ursprünglichen Thema bleiben, und auf die Schwierigkeiten hinweisen, die Armutsbetroffene haben, wenn sie sich keinen adäquaten Zugang zur Technologie leisten können. Aber aus Zeitgründen haben wir hierbei keine Betroffenen eingebunden. Dies passiert oft, zu oft, nicht nur bei dieser Kolumne. Ist das ein ethisches Problem? Rechtfertigt unsere gute Absicht die Tatsache, dass wir auch hier „über“ statt mit Personen sprechen? Was müssen wir tun, um dies in Zukunft zu vermeiden? Wie können wir Betroffene in unsere Gedanken, Diskussionen und Tun besser einbinden?
Zum Weiterlesen
Ein Positionspapier der Diakonie Deutschland zu „Digitalisierung und Armut“ vom 05.01.2021.
https://www.diakonie.de/fileadmin/user_upload/Diakonie/PDFs/Stellungnahmen_PDF/21-1-5_Digitalisierung_und_Armut_Thesen_Diakonie_CD.pdf
Erschienen im Informatik Spektrum 45 (3), 2022, S. 194–196, doi: https://doi.org/10.1007/s00287-022-01460-5
Constanze Kurz, Debora Weber-Wulff
Chris und Rose arbeiten in einem Roboter-Team bei einem mittelständischen Unternehmen, das Spielwaren herstellt. Dem Trend der Zeit folgend, gibt es schon seit mehreren Jahren eine wachsende eigene Abteilung für vernetztes elektronisches Spielzeug. Chris und Rose gehören zu einer kleinen Gruppe, die kuschlige, bewegliche Roboter konzipiert und baut, die speziell – aber nicht nur – an Kinder vermarktet werden.
Die Tierchen sind meist raupen- oder wurmartig gebaut, weil dadurch die selbständige Bewegungsfähigkeit der Roboter leichter und mit weniger Energieaufwand umzusetzen ist. Gleichzeitig verringert sich dadurch die Verletzungsgefahr auch für kleine Kinder. Sie wurden zum Verkaufserfolg, nicht nur wegen des weichen Fells, sondern weil sie interaktiv sind und sprechen und singen können. Zusätzlich ist eine akustische Überwachungsfunktion eingebaut, die mit einem Smartphone verbunden werden kann, zum Beispiel dem der Eltern. Verlässt man den Raum, können die Kuscheltiere als unauffällige Aufpasser fungieren.
Chris arbeitet gerade an einer neuen Variante einer beweglichen Raupe, deren Software neue Formen der Interaktion beinhalten soll. Immer neue Lernspiele, Quiz und Rätselspiele sollen über die Computer oder Smartphones der Eltern geladen werden können. Speziell auf Kinder zugeschnittene lernfähige Spracherkennung wird die Antworten verarbeiten, zusätzlich sollen große Knöpfe auf dem Körper der Raupe zur Eingabe der Antworten dienen.
Rose ist für das Testen der neuen Roboter-Raupen zuständig. Ihr Fokus ist die Sicherheit in dem Sinne, dass die Kuscheltiere durch ihre Bewegungen keine Gefährdung darstellen dürfen. Sie kriechen nicht allzu schnell und können wahrnehmen, wenn sie angehoben werden, sodass sie ihre Bewegungen in diesem Fall ändern. Die Ergebnisse sind ausgesprochen erfreulich, keinerlei Gefährdung konnte attestiert werden. Die Kinder der Testgruppe können von den bunten Kuscheltieren kaum lassen.
Allerdings hat Rose ein Problem entdeckt, das sie zunächst nicht an Chris und ihre Vorgesetzte weitergibt, sondern nur als kurios notiert. Bei einer Reihe der neuen Rätselspiele gibt die Software nämlich nicht die korrekten Antworten, sondern erzählt Blödsinn. Rose lacht zuerst, als sie hört, dass eines der Kinder sagt, dass ein Pinguin kein Vogel sei, sondern eine Hundeart. Sie spricht das Mädchen darauf an, welches aber beharrt, das hätte doch „Wurmi“ gesagt. Das Kind reagiert verstört, als Rose ihm sagt, dass das nicht stimme.
Als sich falsche Antworten häufen, setzt Rose das Problem in der Teambesprechung auf die Tagesordnung. Sie fragt, wer denn eigentlich die Korrektheit der Antworten der Roboter prüft. Es sei doch hinlänglich erforscht, dass Kinder den elektronischen Freunden sehr viel Vertrauen schenken würden.
Chris entgegnet leicht genervt, dass man für die Kinderspiele extra einen zertifizierten Softwareanbieter ausgesucht hätte. Sie hätten eine besondere künstliche Intelligenz entwickelt, um hunderte von Quizfragen zu entwickeln. Sie werden auch automatisch in viele Sprachen übersetzt, da kann man unmöglich eingreifen. Wie stellt Rose sich das vor, soll man jedes Quiz durchhören? Unmöglich!
Rose erwidert, dass die Fragen ja über die Handys der Eltern nachgeladen werden können, also kann man doch wohl Korrekturen anbringen. Die Spielesoftware ist auch gar nicht unsere Expertise, erwiderte Chris. Wir stellen doch nur die Hardware der Roboter her und sind auch nur für die Locomotion, die Programmierung der Bewegungen des Roboters, zuständig.
Rose ist verblüfft über so viel Ignoranz, denn es geht schließlich um Roboter auch für recht kleine Kinder. Sie interveniert erneut. Den aufkommenden Streit beendet die Chefin Anne, indem sie ankündigt, die Spiele prüfen zu lassen. Rose hat eine Ahnung, was das bedeutet: Das Thema ist zu den Akten gelegt worden.
Rose beginnt, sich mit der für Kinderspiele zertifizierten Softwarefirma zu beschäftigen. Sie will wissen, wie die Fragen zusammengestellt werden. Sie freundet sich mit einem Mitarbeiter der Firma, Henri, bei einem Meetup an. Henri erzählt bereitwillig darüber, dass sie keine richtige KI einsetzen, sondern die Fragen einfach auf der Basis einer öffentlichen Wissensdatenbank gewinnen.
Rose schaut dort nach und stellt erschrocken fest, dass jemand tatsächlich dort eingetragen hat, dass Pinguine Hunde seien. Anscheinend kann jeder beliebigen Unsinn eintragen, niemand prüft die Inhalte. Rose ändert den Eintrag über Pinguine, spontan beschließt sie aber, „Katze“ statt „Hund“ als Oberklasse einzutragen. Sie weiß, dass nächste Woche die Software auf den neuesten Stand gebracht wird. Mal sehen, ob sich etwas ändert.
In der Tat, als sie endlich diese Frage zu hören bekommt, wird „Katze“ als korrekte Antwort angegeben. Was soll Rose nun tun? „Wurmi“ wird schon sehr erfolgreich verkauft, das Team ist bereits mit dem Folgeprojekt beschäftigt.
Fragen
- Ist es ein ethisches Problem, dass Chris beruflich einen Roboter für Kinder baut und programmiert, dessen Spielesoftware jemand Drittes liefert? Muss man zwischen dem Kinder-Roboter an sich und der Software für Spiele unterschieden?
- Macht es einen Unterschied, dass Chris nicht genau weiß, was die tatsächliche Software auf den Robotern sein wird? Muss sich Chris genauer erkundigen?
- Ist es ethisch problematisch, wenn man Unerfahrenheit und Naivität von Kindern nicht ausreichend berücksichtigt?
- Hätte Rose das Problem mit den falschen Antworten sofort weitergeben sollen? Sie notiert es als kurios und geht dem erst später nach. Ist dies problematisch?
- Ist es in Ordnung, dass Rose Druck ausübt und Fragen stellt? Die Software ist ja nicht ihr eigentliches Aufgabengebiet.
- Hätte Rose nicht einfach akzeptieren sollen, was Anne sagt? War es okay, dass sie weiter geforscht hat?
- War es in Ordnung, dass Rose sich bewusst mit Henri angefreundet hat, um Wissen über seine Firma zu gewinnen?
- Hätte Rose nicht wenigstens „Vogel“ statt „Katze“ in den Wissensdatenbank eintragen können? So hat sie den Unsinn weiter bestehen lassen.
- Sollten offene Wissensdatenbanken nicht kontrollieren, was für Inhalte dort gespeichert werden? Ist das überhaupt möglich?
- Müssen Systeme für Kinder mit besonderer Sorgfalt bedacht werden? Könnte es sein, dass falsche Fakten quasi „negativ prägend“ wirken?
- Müsste es nicht – vergleichbar mit anderen Medien für Kinder – eine verantwortliche Redaktion geben? Bei Fernsehsendungen für Kinder und Schulbüchern gibt es auch nicht anonyme verantwortliche Personen für die Inhalte.
- Wie kann die Qualität von Lernspielen kontrolliert werden? Sollte Hardware, wie die Roboter-Raupe, offene Schnittstellen haben, sodass jeder Lernspiele hochladen kann? Zu Plüschtieren und Spielzeug-Robotern werden insbesondere auch von Kindern „emotionale Bindungen“ aufgebaut. Wie groß ist die Gefahr, dass Kinder durch Spiele auch mit z. B. rassistischen Gedanken oder Verschwörungstheorien indoktriniert werden?
- Im Kontext Kinderbetreuung und Gefahrenprävention zuhause mag die zusätzliche akustische Überwachungsfunktion in Verbindung mit einem Smartphone sehr nützlich erscheinen. Jedoch mitgenommen in den Kindergarten oder zu Freunden wird die Kuscheltier-Roboter-Raupe schnell zu einer Abhöreinrichtung, der man im Unterschied zu einem klassischen Babyfon diese Fähigkeit nicht sofort ansehen kann. Wie sollte man mit diesem Konflikt umgehen?
Erschienen im Informatik Spektrum 45 (2), 2022, S. 121–122, doi: https://doi.org/10.1007/s00287-022-01441-8
Rainer Rehak, Nikolas Becker, Pauline Junginger, Otto Obert
Nivedita hat sich schon immer für das Messen und Bewerten interessiert. Schon während ihrer Schulzeit hat sie eine detaillierte Übersicht über alle öffentlichen Bäume in ihrer Heimatstadt erarbeitet und diese nach ihrem Zustand klassifiziert. An ihrem Computer erfasste sie die Baumdaten in einer eigenen Datenbank. Als ihre Mathematiklehrerin von ihrem Engagement erfuhr, ermutigte sie Nivedita, ihre Datenbank dem örtlichen Straßen- und Grünflächenamt zur Verfügung zu stellen, das zu diesem Zeitpunkt noch mit einem analogen Katalogsystem arbeitete. So begann Niveditas Karriere als Programmiererin.
Während ihres Studiums jobbte Nivedita in verschiedenen Firmen. Einmal ging es um die Analyse von Monitoringdaten von Festplatten für die Predictive Maintenance, also darum, Ausfälle der Festplatten vorhersagen zu können. Ein anderes Mal ging es um die Auswertung von medizinischen Daten. Auf Basis der Hauttrockenheit bestimmter Körperareale sollten bestimmte Krankheitsbilder erforscht werden. Sie hatte viel Freude an diesen Jobs, die ihr auch Studium und mehrere Reisen nach Südostasien finanzierten.
Nun hat sie ihren ersehnten Abschluss und wird prompt von der Firma QuantiImprov angeworben, einem jungen Unternehmen im Fitnessbereich, das smarte Fitnessarmbänder und Fitnessapps herstellen will. Die Firma ist begeistert von Niveditas Interesse an und Erfahrungen mit Bio-Datenerfassung und -messung. Auch Nivedita gefällt das Angebot. Die Arbeitsbedingungen sind gut und die Firma scheint ihr seriös. So willigt Nivedita ein und fängt bereits im nächsten Monat bei QuantiImprov als Junior-Entwicklerin an.
Ihr erstes Projekt ist ein brandneuer Armband-Prototyp, der zunächst firmenintern getestet werden soll. QuantiImprov möchte Armbänder entwickeln, die sehr genau das Stresslevel der Trägerin messen können. Möglich wurde dies durch eine ausgefeilte chemische Analyse der Bestandteile des Schweißes der jeweiligen Träger*innen. Die Personalabteilungen einiger großer Unternehmen haben bereits Interesse signalisiert. Sie wünschen sich, durch das Armband frühzeitig zu erkennen, in welchen ihrer Abteilungen die Arbeitsbelastung zu hoch ist, um Mitarbeiter*innen aktiv und frühzeitig vor Überlastung schützen zu können. QuantiImprov erhofft sich von dem neuen Produkt, neben dem Fitnessbereich einen ganz neuen Markt erschließen zu können.
Nivedita macht sich beschwingt an die Arbeit und kommt gut voran. Kurz nach dem Abschluss der Programmierung der Firmware des Armband-Prototypen und der dazugehörigen smarten App findet bereits ein Auftaktevent mit den Marketing- und Vertriebsabteilungen statt, um den weltweiten Produktauftritt zu besprechen. Auch Nivedita ist eingeladen und kommt in einer Pause bei leckeren Häppchen an einem Stehtisch mit dem netten und kommunikativen Kollegen Jack ins Gespräch, der im wachstumsstarken südostasiatischen Markt im Vertrieb tätig ist. Dort wird seiner Aussage nach bald eine größere Menge der Armband-Prototypen samt Betaversion der App im Rahmen eines Public-Beta-Programms mit ausgewählten Firmenkunden getestet. Mit am Tisch steht auch Ling, die in Indonesien für marktspezifische Sonderentwicklungen verantwortlich ist. Sie hat dem Gespräch von Nivedita und John aufmerksam zugehört und ergänzt, dass sie den Auftrag bekommen hat, für den dortigen Markt ein weiteres Feature für die Folgeversion des Armbands zu entwickeln. Mit den drei vorhandenen Sensoren am Armband ließen sich neben der Schweißproduktion auf der Haut noch eine ganze Reihe weiterer Körperfunktionen ablesen, die mit einer entsprechenden Softwareerweiterung Rückschlüsse auf den Aufmerksamkeits- und Leistungslevel der Träger*innen zulassen.
Nivedita findet das spannend, bekommt nun aber doch etwas Bauchgrummeln. Ursprünglich sollte das Armband doch eine Unterstützung für Mitarbeiter*innen sein, indem die Personalabteilungen strukturelle Defizite und überlastete Abteilungen identifizieren können. Die neuen Funktionen zielen jedoch stärker darauf ab, die individuelle „Performance“ zu messen. Die Vorstellung, dass das von ihr entwickelte System so verwendet und dadurch negative Auswirkungen auf individuelle Karrierewege haben könnte, behagt ihr gar nicht. Zudem kann es möglicherweise auch mal falsch liegen.
Am nächsten Tag sucht sie daher das Gespräch mit ihrer Vorgesetzten und äußert ihre Bedenken. Diese winkt jedoch ab und versichert Nivedita, dass Sie sich keine Gedanken machen solle. Das Armband werde im Anschluss an die interne Testphase eine aufwendige und kostenintensive Zertifizierung durch die Firma EUCertifiedAI durchlaufen. Ein solches Produkt dürfe in Europa nur vertrieben werden, wenn EUCertifiedAI ihnen die Einhaltung aller üblichen Industriestandards und Gesetze für Produktsicherheit bescheinige. Zudem mache man auch die erweiterte Corporate-Social-Responsibility-Zertifizierung mit, die belegt, dass das Produkt nicht diskriminiert und sozialverträglich wirkt. Die Performancevariante werde voraussichtlich ebenfalls so getestet und zertifiziert, auch wenn sie gar nicht in Europa vermarktet werden soll.
Nivedita wird dadurch ein wenig beruhigt. Wenn das Produkt von einer darauf spezialisierten Firma auf die Einhaltung der europäischen Vorgaben getestet wird und sogar eine CSR-Zertifizierung erhält, müsste das ja in Ordnung sein. Sicher haben sich viele Expert*innen ausreichend Gedanken gemacht, an welche Voraussetzungen eine solche Produktzertifizierung geknüpft ist. Und dann kann es natürlich auch anderswo eingesetzt werden.
Ihren nächsten Urlaub möchte Nivedita auf der indonesischen Insel Java verbringen. Sie erinnert sich, dass ihre Kollegin Ling, die sie auf dem Auftaktevent wenige Monate zuvor kennengelernt hat, in Jakarta auf Java lebt. Ling war ihr sympathisch und sehr gerne würde sie auch erfahren, wie weit die Entwicklung der erweiterten Version vorangeschritten ist. Kurzentschlossen schickt sie Ling eine E‑Mail.
Ling freut sich sehr, von Nivedita zu hören und die beiden verabreden sich vor Ort zu einem gemeinsamen Abendessen. Sie verstehen sich gut und so kommt es, dass Ling ihr nach dem dritten Glas Wein ein Geheimnis anvertraut: Eine der indonesischen Firmen, die im Rahmen des Beta-Programms die Armbänder bei der Belegschaft einsetzte, hat kürzlich mehrere Hundert Mitarbeiter*innen entlassen. Eine davon hätte nun QuantiImprov-Indonesien auf Schadensersatz verklagt. Die Person behauptet, ihr sei zu Unrecht aufgrund der Performancedaten des QuantiImprov-Armbands gekündigt worden. Sie hätte eine seltene Hautkrankheit und die Sensoren des Armbands hätten bei ihr vermutlich nicht richtig funktioniert.
Nivedita ist schockiert. Hatte sich ihre Befürchtung nun doch bewahrheitet? Haben die Tester*innen von EUCertifiedAI schon einmal von dieser Krankheit gehört und hatten sie wirklich den korrekten Einsatzzweck untersucht, fragt sie sich innerlich. Offenbar ist sie nun sichtlich blass geworden, denn Ling reicht ihr ein Glas Wasser und sagt: „Du musst dir keine Sorgen machen“. Sie ergänzt: „Die Firma streitet ab, dass die Entlassungen etwas mit unseren Armbändern zu tun haben. Sie hätten sich nur an den Quartalszahlen und üblichen Performanceindikatoren orientiert.“ Sie sei sich sicher, dass die Entlassene ihre Vorwürfe nicht beweisen könne. Und selbst wenn die Kündigungen in Zusammenhang mit den Armbanddaten stünden – sei es denn nicht die Verantwortung der anderen Firma, welche Schlüsse sie aus den Daten einer korrekt zertifizierten Anwendung ziehe?
Fragen
- Inwiefern befreit eine erfolgreiche Zertifizierung durch EUCertifiedAI den Hersteller QuantiImprov von seiner moralischen Verantwortung?
- Welche moralische Verantwortung haben Hersteller solcher Produkte?
- Hätte Nivedita sich anders verhalten sollten, als sie von der Performanceversion erfuhr? War es ausreichend, das Gespräch mit ihrer Vorgesetzen zu suchen oder war es gar zu viel?
- Hätte sich Nivedita informieren müssen, wie ihr Armband von Ling weiterentwickelt wird?
- Inwieweit ist es ethisch gesehen einen Unterschied, ob das Armband mit den zusätzlichen Funktionen zur Performancemessung ausgestattet wird?
- Ist es ausreichend, ein Produkt nach europäischen Maßstäben und Gesetzen zu testen, auch wenn es weltweit vertrieben wird?
- Darf es bei den grundlegenden Anforderungen an eine Zertifizierung unterschiedliche Ausprägungen geben, je nachdem in welchem Land oder Kulturkreis mit stark unterschiedlichen bis widersprüchlichen Wertevorstellungen dies durchgeführt wird?
- Welche Rolle spielt Diversität in der Produktentwicklung – und im Zertifizieren? Welche sollte sie spielen und warum?
- Wer sollte alles Einblick in die konkreten Zertifizierungsunterlagen eines Produktes erhalten?
- Unter welchen Voraussetzungen und in welchem Kontext ist der Einsatz eines Armbands ohne jegliche Tests vorstellbar?
- Ist das beschriebene Armband ein sinnvolles und ethisch vertretbares Produkt?
Erschienen im Informatik Spektrum 45 (1), 2022, S. 47–49, doi: https://doi.org/10.1007/s00287-021-01431-2
René Buchfink, Christina B. Class, David Zellhöfer
Die Hochschule Langestadt ist eine kleine Hochschule, die sich als strategisches Ziel gesetzt hat, in allen Studiengängen ein barrierefreies Studium anzubieten. So wurden verschiedene Behindertenverbände und Fachexpert*innen bei der Ausgestaltung der Lehrräume eingebunden, um das Ziel der Barrierefreiheit bestmöglich zu erreichen. Ebenso konnten die jeweiligen Fachexpert*innen wertvolle Impulse in die Curricula einbringen, um das Thema Barrierefreiheit ganzheitlich in den Hochschulalltag einzubringen.
Da die Akustik der Hörsäle und Seminarräume in den alten Gebäuden als besonders herausfordernd für Menschen mit Hörbehinderungen wahrgenommen wird, wurden die Lehrräume mit neuen Beschallungsanlagen (PA-Anlagen) und modernen Lautsprechersystemen ausgestattet, welche den betroffenen Teilnehmer*innen die Teilnahme an Veranstaltungen erleichtern. Das installierte System stößt aufgrund von Umgebungsgeräuschen jedoch schnell an seine Grenzen, wie begleitend stattfindende Umfragen bei betroffenen Studierenden zeigen. Die Hochschule Langestadt handelt umgehend und entscheidet sich, die bestehende Technik um ein Active-Noise-Cancelling-Modul (ANC) zu ergänzen, um Störfrequenzen aktiv zu unterdrücken. Datenschutzrechtlich ist das System nicht zu beanstanden, da die zur Verarbeitung nötige Aufzeichnung aufgrund der kurzen Latenz rein lokal erfolgt, ohne dass Tonaufnahmen gespeichert werden.
Nachdem alle Systeme ertüchtigt wurden, steht dem Regelbetrieb nichts mehr im Weg.
Da ändert sich plötzlich der Studienalltag durch die COVID-19-Pandemie: Präsenzveranstaltungen werden unmöglich, sodass die angeschaffte Technik nunmehr die Online-Lehre unterstützen soll. Die Hochschule entscheidet sich schnell, die vorhandenen Beschallungsanlagen um eine Videoaufnahmemöglichkeit zu ergänzen. Um die Videos auch barrierearm anbieten zu können, erwirbt die Hochschule ein ergänzendes Softwaremodul, welches cloudbasiert die Videos transkribiert und untertitelt. Dieses wird vom Hersteller für die Lehre während Corona kostenfrei angeboten.
Mit dem Rückgang der Inzidenzzahlen kehrt die Hochschule Langestadt langsam zur Hybridlehre zurück und bietet nach und nach mehr Präsenzveranstaltungen an. Da sich die eingesetzte Technik während der Corona-Semester bewährt hat und eher Barrieren ab- als aufgebaut hat, entscheiden die Hochschulleitung und die zuständigen Gremien, sämtliche Lehrveranstaltungen weiterhin online zu übertragen und im Lern-Management-System (LMS) als Aufzeichnung bereitzustellen. Ein Antrag auf Landesmittel aus dem Fond für Inklusionsmaßnahmen wird problemlos bewilligt, immerhin kann die Hochschule den Erfolg der geplanten Maßnahmen durch Evaluation der Lehre zu Corona-Zeiten nachweisen. Die bereitgestellten Mittel ermöglichen der Hochschule, Evaluierungslizenzen für den dauerhaften Betrieb des Transkriptionsmoduls zu erwerben. Diese preislich reduzierten Lizenzen erlauben es dem Hersteller, Daten zum Training der Systeme und weiterer Anwendungsszenarien nachzunutzen. Die Hochschule betreibt selbst Forschung in diesem Bereich. Die Verantwortlichen an der Hochschule sind daher gerne bereit, aktiv an der Fortentwicklung des Systems mitzuarbeiten.
Da die prinzipielle Funktionsweise des Systems bereits durch den Datenschutzbeauftragten der Hochschule überprüft wurde, verzichtet man auf die erneute Einbindung der ohnehin schon überlasteten Stelle. Die Studierenden und das Lehrpersonal werden per Rundmail und Ankündigung im LMS über die Verstetigung der Technik informiert. Die Hochschule Langestadt erhält ein positives Presseecho. „Selten hat sich der Abbau von Barrieren in eine Win-Win-Situation für alle Beteiligten verwandelt“, schreibt das Langestädter Tageblatt. Die Hochschule dient dem Hersteller des Systems auch als Referenzkunde.
Einige Monate später kommt Andrea, eine sehr beliebte und engagierte Professorin für Benutzerinteraktion und Mensch-Computer-Schnittstellen, von ihrem Forschungsfreisemester zurück. Sie sieht die Ankündigung, als sie die Vorlesung für das neue Semester im LMS vorbereitet und ist ziemlich verärgert. Sie beschwert sich bei der Hochschulleitung und im Forum des Lern-Management-Systems. Sie sehe ein, dass dieses System die Barrierefreiheit unterstützt und war in der Corona-Zeit auch bereit, sich darauf einzulassen. Aber sie fühle sich durch die Tatsache, dass ihre Veranstaltungen aufgenommen und dann transkribiert würden, eingeengt, könne nicht mehr so frei diskutieren und sie merke das auch an der Art, wie Studierende Fragen stellten. Ja, die Anzahl Fragen habe merklich nachgelassen. Die Spontanität fehle, eine aufgenommene Veranstaltung biete nicht mehr den Freiraum, Fehler zu machen, unausgegorene Ideen zu teilen und schränke letztendlich die Kreativität ein. Gerade in einer Design-Vorlesung sei dies wesentlich. Sie möchte dieses System nicht nutzen.
Ihre Beschwerde führt zu einigen hochschulinternen Diskussionen. Die begleitende Evaluierungsgruppe des Systems wird daher aufgerufen, sich an einem Treffen mit den von Andrea geäußerten Einwänden auseinanderzusetzen und nach Alternativen für die Sicherstellung der Barrierefreiheit zu suchen. In Vorbereitung auf das Treffen möchte sich die Gruppe auch ein Bild über die Darstellung der Hochschule als Referenz machen. Max, ein studentisches Mitglied der Gruppe, und selbst von einer Hörbehinderung betroffen, findet die Darstellung der Hochschule als erfolgreiche Fallstudie sofort, da sie prominent beworben wird. Er klickt auf den Link zur Fallstudie. Auf der Website erscheint neben einem genehmigten Auszug aus einer untertitelten Videoaufzeichnung einer Lehrveranstaltung ein Extrakt einer Transkription. Über einen Download-Button lässt sich der Transkriptionsausschnitt als PDF herunterladen – fast wie im LMS. Praktisch für die Diskussion, denkt Max. Er zögert nicht lange und klickt auf den Link.
Die Datei ist ungewöhnlich umfangreich und scheint den gesamten Redeinhalt eines Vorlesungsblocks zu enthalten. Es dauert nicht lange, bis Max Teile einer hitzigen Diskussion erkennt, die er mit Maren am Rande der Vorlesung vor einer wichtigen Sitzung des Studierendenrats geführt hat. Mist, dieses Gespräch war für niemanden bestimmt. Offenbar speichert der Hersteller die Daten zumindest in Textform dauerhaft. Da müsste er dringend drauf aufmerksam machen. Aber der Inhalt dieser Diskussion ist nun wirklich für niemanden gedacht.
Fragen
- Durfte die Hochschule Evaluationslizenzen erwerben, ohne erneut die Stelle des Datenschutzbeauftragten einzubinden? Oftmals verändern sich Lizenzbedingungen im Laufe der Zeit. Es ist nicht immer einfach, die Konsequenzen von Änderungen abzusehen. Wer entscheidet, wann der Datenschutzbeauftragte erneut einzubinden ist?
- Wie kann sichergestellt werden, dass die Daten nur für das Training von Software genutzt werden?
- Werden Aufzeichnungen von Vorlesungen zur Verfügung gestellt, wird es im Laufe der Zeit mehrere Versionen geben. Wie kann sichergestellt werden, dass für Prüfungen die jeweils gültige Version zur Anwendung kommt? Wie können Versionen mit Fehlern wieder „aus der Welt geschafft“ werden? Gibt es einen Unterschied zu anderen Formen von Unterlagen, die den Studierenden zur Verfügung gestellt werden?
- Es besteht ein Unterschied zwischen schriftlichen Unterlagen, die gegebenenfalls Korrektur gelesen wurden, und freier Sprache in einer Veranstaltung, insbesondere auch, wenn man spontan auf Fragen reagiert. Durch Aufzeichnung werden Fehler und unpräzise Aussagen dauerhaft festgehalten. Setzt dies Dozierende besonders unter Druck? Führt dies unter Umständen dazu, dass weniger frei gesprochen und Spontanität umgangen wird? Besteht die Gefahr, dass man weniger auf Fragen der Studierenden eingeht? Wie können Dozierende eventuelle Fehler korrigieren? Wie können Studierende eine geäußerte Frage sicher wieder zurücknehmen und aus dem Protokoll löschen, wenn sich eine Irrelevanz oder gar „Peinlichkeit“ zeigt? Wird das Recht auf Vergessen tangiert? Gilt dies auch dann, wenn die Aufzeichnungen nur innerhalb eines Kurses im LMS zur Verfügung gestellt werden?
- Wird eine Veranstaltung aufgezeichnet, werden auch Studierendenmeldungen aufgezeichnet: Wie kann eine wirksame, transparente Einverständniserklärung für ein solches System aussehen? Muss hier darauf aufmerksam gemacht werden, dass die Daten zum Training der Software verwendet werden? Was passiert mit Studierenden, die eine solche Einverständniserklärung nicht abgeben wollen? Dürfen diese Studierenden dann trotzdem an der Veranstaltung teilnehmen? Unterliegen Sie dann quasi einem Redeverbot? Wie könnte das sichergestellt werden? Oder können Veranstaltungen, in denen diese Erklärung nicht von allen abgegeben wurde, nicht mehr aufgenommen und transkribiert werden? Was bedeutet das dann für hörbehinderte Studierende und die Barrierefreiheit?
- Fragen, Diskussionen und Fehler sind ein wichtiges Element des Lernens. Verursacht die Aufzeichnung aller Meldungen und Fragen der Studiereden ein „Abwürgen“ von Fragen und situativen Anmerkungen? Nehmen sich Studierende zurück, führt die Nutzung eines solchen Systems zur impliziten Selbstzensur? Entsteht dadurch ein schweigendes Auditorium? Was bedeutet das für die Qualität der Lehre und die Chancen für alle Studierenden?
- Menschen vergessen in vermeintlichen privaten Situationen und „geschützten“ Räumen schnell, dass sie aufgezeichnet werden. Dozierende und Studierende könnten nach einer Weile also vergessen, dass die Veranstaltung aufgezeichnet und transkribiert wird, auch wenn sie davon Kenntnis haben. Sie drücken sich dann u. U. anders aus, als sie es täten, wenn ihnen in dem Moment bewusst wäre, dass sie aufgezeichnet werden. Ist dies problematisch? Wie könnte das verhindert werden?
- Kann man die Ziele Barrierefreiheit, Datenschutz und Persönlichkeitsrechte gegeneinander aufwiegen? Welche Kriterien können für solch eine Bewertung herangezogen werden? Inwiefern können die Bedürfnisse Studierender mit und ohne Hörbehinderung gegeneinander abgewogen werden? Wie sind die Bedürfnisse der Dozierenden im Vergleich zu den Bedürfnissen hörbehinderter Studierenden zu gewichten? Ist es denkbar, dass Dozierende, die solche Systeme nicht nutzen wollen, an einer solchen Institution nicht mehr unterrichten können?
- Könnten/Sollten nach der Transkription vermeintliche Nebengespräche entfernt werden? Kann eine Software Nebengespräche sicher von Unterhaltungen im Rahmen des Unterrichts unterscheiden? Könnte dies im Rahmen einer manuellen Nachbearbeitung erfolgen? Welche Gefahren sehen Sie? Welche Möglichkeiten des Missbrauchs gibt es? Ist es sinnvoll, eine Transkription rein durch Software erstellen zu lassen? Wie bewerten Sie die Möglichkeit, eine manuelle Transkription oder manuelle Nachbearbeitung in einem Niedriglohnland zu erstellen?
Weitere Informationen
Erschienen im Informatik Spektrum 44 (6), 2021, S. 456–458, doi: https://doi.org/10.1007/s00287-021-01396-2
Georg Rainer Hofmann, Debora Weber-Wulff
Ahmad, Benjamin und Celina treffen sich nach Arbeitsschluss in einem Café. Die drei haben zusammen an der Universität Memmingen studiert. Sie sind alle im Fintech-Gewerbe tätig, aber für unterschiedliche Firmen. Nachdem sie ihre Bestellungen aufgegeben haben, beginnt Ahmad von seiner Firma zu erzählen. „Wir sind dabei, digitales Bargeld herzustellen!“ Benjamin zieht die Augenbrauen zusammen. „Was wollt ihr da machen, digitales Bargeld? Bargeld ist nicht digital – und digitales Geld ist kein Bargeld. Beides gleichzeitig geht nicht.“ Er grinst Ahmad herausfordernd an.
„Doch, doch“, sagt Ahmad. „Wir werden mit einer Blockchain-Technologie arbeiten, damit unser digitales Geld so anonym wie Bargeld ist. Und wir wollen halt eine Lösung aus der EU haben, wegen der DSGVO. Datensparsamkeit ist unser oberstes Gebot!“ Celina verschluckt sich gerade an ihrem Tee. „Nee, Blockchain? Sag mal, hast du damals in der Uni nicht beim Thema Kryptografie aufgepasst? Blockchain kann keine Anonymität garantieren! Wann immer du mit deinem ‚digitalen Bargeld‘ zahlst, gibt es quasi ein Bewegungsmuster in der Blockchain. Im Laufe der Zeit kann man dich ohne weiteres de-anonymisieren – man erkennt deine charakteristischen Geldausgaben, wenn man es darauf anlegt. Ich arbeite ja für diese Rabattkartenfirma ‚Memmingen-Card‘. Von daher weiß ich genau, dass man aus den Daten der Zahlungsvorgänge die jeweiligen Inhaber unserer ‚Memmingen-Card‘ rekonstruieren kann.“
Der Kuchen kommt, und die Freunde fokussieren ihre Aufmerksamkeit für eine Weile auf die Leckereien.
Nach einer Weile fragt Benjamin in die Runde; „Habt ihr auch von dem großen Ransomware-Hack bei dieser einen Bank neulich gehört? Wir sind ja hier ‚nur‘ in einem Café – aber was ist, wenn du gerade tanken musst und diese digitalen Zahlungssysteme, Blockchain oder was auch immer, nicht erreicht werden können? Dann stehst du dumm da, denn du kannst das Benzin an der Tankstelle nicht bezahlen, das du aber dringend brauchst!“
Celina: „Und überhaupt, was passiert, wenn alle Leute auf digitales Geld bei der Bank umsteigen wollen oder müssen? Wenn es, wie jetzt, Negativzinsen gibt, dann kann man mit Bargeldbesitz noch ausweichen. Denn wenn alles Geld als digitales Geld bei den Banken liegt, werden diese daran sehr gut verdienen können. Nee, nee, ich meine, wir dürfen das Bargeld nicht aufgeben.“
Ahmad fragt weiter: „Aber was machst du denn jetzt für ein Projekt, Benjamin?“ – „Naja, auch wir sind dabei, ‚irgendwas‘ mit Blockchain zu machen. Der Aufsichtsrat hat beschlossen, dass wir uns hierzu Kompetenzen aufbauen müssen. Der Vorstand hat unser Team angewiesen, nach dem Motto: Hier ist viel Geld und wenig Zeit, macht mal was damit.“ Aber Ahmad will weiter wissen: „Und was wollt ihr denn konkret machen?“ Benjamin antwortet: „Wir sind dabei, die persönlichen täglichen finanziellen Transaktionen auf Blockchain-Basis zu implementieren.“
Darüber regt sich Celina auf, „Mensch, dann bleiben ja die Transaktionsdaten auf ewig erhalten. Eure Blockchain vergisst ja nichts! Können wir das wollen, dass man auch in 25 Jahren noch weiß, dass wir heute in diesem Café gesessen sind, und was wir hier ausgegeben haben?“ Ahmad wirft ein: „Ach komm, in 25 Jahren gibt es ganz andere Technologien, da wird man das nicht mehr nachvollziehen können. Und wen interessiert das dann überhaupt noch?“ Benjamin stellt klar, dass der Sinn von Transaktionen ja gerade der ist, dass man Jahre später nachvollziehen kann, was passiert ist. Das ist wichtig, um ggf. bei Strafermittlungen erforderliche Nachweise zu erbringen.
Gegen Ende der Kaffeerunde kommt die Kellnerin zum Abrechnen. Celina zieht ihre Geldbörse und Bargeld aus der Tasche. „Oh, haben Sie das Schild am Eingang nicht gesehen? Wir nehmen kein Bargeld mehr an. Haben Sie keine Kreditkarte oder eine girocard? Wir sind hier ein rein digitales Unternehmen. Wir haben schon zu oft Falschgeld untergejubelt bekommen.“
Celina besteht darauf, bar zu bezahlen, denn wenn sie digital bezahlt, kann ihre Frau auf dem Kontoauszug sehen, dass sie noch im Café war – und sie hatte eigentlich versprochen, weniger oft in den teuren Innenstadtcafés zu essen. Sie sagt, sie zahle sowieso lieber in bar. „Da weiß ich immer, wieviel Geld ich noch habe. Bei diesen Karten vergesse ich manchmal schon, wieviel Geld ich ausgegeben habe.“ Da schaltet sich Benjamin ein: „Na, dann zahl ich halt zusammen mit meiner Karte und ihr gebt mir das dann in bar.“ Er grinst Ahmad an: „Wobei du das doch eh abschaffen willst, das Bargeld.“ Celina zückt aber doch noch ihre ‚Memmingen-Card‘, um die Rabattpunkte für die Ausgaben im Café zu sammeln. „Das kriegt meine Frau nicht mit“, sagt sie, und grinst.
Fragen
- Wenn Celina unbedingt mit Bargeld zahlen will, ist es dann okay, wenn Benjamin einspringt und für sie die „digitale“ Bezahlung übernimmt?
- Celina will nicht mit Karte zahlen, aber sie zögert nicht, Rabattpunkte zu sammeln. Ist das ein Widerspruch?
- „Irgendwas mit Blockchain“ ist sehr angesagt. Ist es sinnvoll, dass Benjamin für eine technische Lösung unbedingt Einsatzgebiete sucht?
- Müsste Ahmad nicht genauer fragen, ob die Anonymität der Kunden durch die von ihm realisierte Blockchain wirklich geschützt ist? Verstehen alle Kunden von Ahmads Firma wirklich, was Pseudoanonymität ist?
- Ist es sinnvoll, dass Ahmad an einer europäischen Lösung arbeitet, statt nur auf ausländische Ideen zu setzen?
- Sollten Firmen darauf bestehen dürfen, dass die Kunden bargeldlos bezahlen? Reicht ein Schild am Eingang aus? Schließlich sind Bargeldgeschäfte gesetzlich erlaubt.
- Sollte Bargeld besser abgeschafft werden? Das würde Schwarzgeldgeschäfte doch sehr erschweren.
- Müsste Benjamin spezielle Datenschutzvorkehrungen treffen, wenn er die Privatsphäre von Kunden mit Transaktionen dokumentiert?
- Inwiefern können Personen gänzlich ausgeschlossen werden, wenn sie nicht im Besitz der Infrastruktur sind? Nicht jede Person hat zum Beispiel eine Kreditkarte.
Erschienen im Informatik Spektrum 44 (5), 2021, S. 374–375, doi: https://doi.org/10.1007/s00287-021-01396-2
Carsten Trinitis, Debora Weber-Wulff
Kevin is a computer science student at the University of Erdingen, Germany. For the past two semesters, the Coronavirus has had him studying from home, and it’s starting to grate on his nerves. In particular, his math teacher, Katrin, is a stickler for maintaining high exam standards. While she doesn’t force you to come in to take them on campus, she still requires that they be completed under a strict time limit. None of the candidates can perform all the equations in the allotted time.
So Kevin writes Katrin, asking if she might make the exams less difficult by waiving the time limit—after all, she could proctor the exams using “Panopticom” monitoring software. Immediately following the outbreak of the COVID-19 pandemic, the university put Panopticom in place as a measure designed to ensure the integrity of online exams. The system uses AI to detect suspicious behaviors. No sooner had the company’s sales rep pitched the product than college administrators were sold on it and sealed the deal on a package that covered the whole school. Another reason they decided to go ahead with it without even consulting faculty was that the package deal was cost-effective.
Katrin adamantly opposes Kevin’s suggestion that she make the exam easier. She rejects his proposal to use Panopticom. She’s a staunch advocate for data protection, and in her response to Kevin, she meticulously outlines her reasons for saying “no.” She considers it a severe invasion of student privacy. Besides, not everyone has a quiet, child- and pet-free workspace at home. These systems are easily fooled, and you can never tell exactly which behaviors AI will classify as “suspicious.” So you can’t rule out the possibility that many students taking the exam will be subject to hidden disadvantages.
Panopticom is no substitute for human supervision, and—most importantly—Katrin doesn’t want to place all her students under suspicion from the outset. Besides, the video and audio data will be stored in a Cloud somewhere. And who knows what the company plans to do with that data or how long they intend to keep it. Finally, an online marketing agency is listed at the same address as Panopticom, and the extent to which the two companies work together is unclear.
Kevin shoots back, saying that “everyone” has a home computer. Katrin tells him: no, not everyone—many people share their devices and, above all, bandwidth with other family members. Not only that, but many of these machines are antiquated and don’t even have built-in cameras. In cities, where housing space is limited, students often share workspaces with family, cats, and dogs, not to mention housemates. The latter might just happen to traipse naked by the camera. She’s seen it all while cameras were running during her lectures.
Katrin also knows there are services out there that will solve math problems within minutes for a fee. Those are the reasons she refuses to minimize the scope of her exams and why she covers as much as she can in her lectures so she can better assess which topics have thoroughly been understood. So she’s sticking to her plan and keeping the exam as it is—difficult, on a high level. But still, everyone passes.
Nevertheless, one student files a complaint with the exam oversight board because he “only” got a C on the exam. He contends that if the exam had been less difficult and monitored by Panopticom, he’d have definitely scored a B or better. The exam board notifies the administration, and they, in turn, ask Katrin to comment.
Once again, Katrin outlines her reservations in detail. But the administration doesn’t agree—they want to be seen as a “modern” university that employs all the benefits of digitalization and AI so they can continue to offer high-quality education despite the pandemic. Her colleague Karl used Panopticom and busted forty percent of students taking his exam for cheating! That must mean that the technology performs perfectly. Especially in computer science, it’s unacceptable for a lecturer to be so staunchly opposed to using all the tools in the digital toolbox. The university administration issues a formal letter of reprimand against Katrin.
Katrin decides to call in Dirk, the university’s data protection officer. Her first point of contention involves privacy. “Yes,” Dirk says, “this involves the collection of highly personal sensitive data. But university bylaws stipulate that exceptions must be permitted during the pandemic.”
“But where exactly are these data stored?” Katrin asks. “The company is based in Serbia, which is not an EU country.”
“Oh,” Dirk responds, “I didn’t know that. Hmm. What do we do now that colleagues like Karl have already administered countless exams?”
Katrin argues that the instructors should decide whether they want to use remote monitoring. Above all, she thinks it imperative that students be informed beforehand about every aspect relevant to using the system. She believes that is Dirk’s responsibility as a data protection officer. But he disagrees: That’s the lecturers’ job, thank you very much!
But Katrin wants to avoid any more trouble with the administration. She’s not sure what she should do in the coming semester…
Questions:
- Would it have been better for university administrators to have consulted faculty before purchasing the software? But wouldn’t this necessarily have slowed down the process?
- Is it problematic for a marketing company to operate under the same address as Panopticom? Just because they have the same address doesn’t necessarily mean that they’re connected in any way. How much effort must the university invest to rule out any connection between the two companies?
- What are the minimum job requirements for data protection officers at universities? Shouldn’t they be expected to have a checklist of questions to ask to better test and assess such systems?
- Did the students already know that Panopticom was storing their data in a non-EU country? Would that have made any difference to them?
- Whose job is it to inform students about which data is being collected, where it is being stored, and for how long? What activities or events are classified as suspicious?
- What would you do if you were in Katrin’s shoes?
- What do you think of the argument that the university implemented state-of-the-art technology to be seen as a “modern” institution? Is there an ethical dimension to this argument?
- Is forcing students to agree to use such systems as Panopticom justifiable? Shouldn’t university students who don’t want to be spied on be offered an alternative?
- Shouldn’t exams be made easier in exceptional times like the COVID-19 pandemic, with easier questions, more time, and no supervision? Or does that diminish students’ achievements? Would “COVID Degrees” be worth less than others?
— Translated from German by Lillian M. Banks
Christina B. Class, Gudrun Schiedermeier
In einer nicht zu fernen Zukunft …
Im Bereich der Digitalisierung ist in den letzten Jahren in der Bundesrepublik Deutschland viel zu wenig investiert worden. Sei es im Zusammenhang mit der Infrastruktur, digitalen Ausstattung von Schulen und Behörden oder der Digitalisierung von Prozessen. Die Corona-Pandemie hat das Ausmaß der Versäumnisse verdeutlicht und aufgezeigt, dass vieles nicht nur „nice to have“ ist. Die neue Bundesregierung plant daher größere Investitionen und will Deutschland im Bereich der Digitalisierung voranbringen. Hierzu hat das neue Digitalministerium einige Studien beauftragt. Eine erste Studie des Unternehmens BestIdeas AG befasst sich mit Fragen der Verbreitung und des Einsatzes der Smart ID Card. Insbesondere wird untersucht, wie der elektronische Identitätsnachweis attraktiver gemacht werden kann. Obwohl das Gesetz 2021 beschlossen wurde [1] und die Basisinfrastruktur mittlerweile vorhanden ist, haben nur sehr wenige Bundesbürger*innen die App installiert. Das Digitalministerium steht unter Druck, da die Kosten doch höher als veranschlagt ausgefallen sind und erste Testläufe größere Sicherheitslücken aufgedeckt haben, die von der Presse detailliert ausgebreitet wurden. Um hiervon abzulenken, schlägt die Beraterfirma BestIdeas AG vor, einen gut dotierten Wettbewerb für Apps zu veranstalten und die besten Ideen dann baldmöglichst umzusetzen.
In einer ersten Runde sollen daher Ideenskizzen eingereicht werden. Einige ausgewählte Teilnehmer*innen erhalten dann einen Vertrag, um ein detailliertes Konzept und einen Prototypen zu entwickeln. Diese sollen dann baldmöglichst in der Verwaltung eingeführt und den Bürger*innen zur Verfügung gestellt werden.
Peter hat Informatik studiert und gemeinsam mit seiner Kommilitonin Sabine das Startup QuickSolutions GmbH gegründet. Sie haben sich auf App-Entwicklungen für Android und Apple spezialisiert und auch einige Spiele entwickelt, die ziemlich gute Kritiken erhalten haben. Um ihre Einnahmen etwas aufzubessern, haben sie auch IT-Supportaufgaben in kleineren Firmen in der Stadt übernommen. Da aber viele Angestellte im Home Office tätig waren, sind spürbar Einnahmen weggebrochen und Sabine und er müssen immer noch sehen, wie sie das Unternehmen über Wasser halten. Nach dem Joggen sitzt Peter abends auf dem Balkon, trinkt ein Bier und surft ein bisschen in Entwicklerblogs. Dort findet er einen Hinweis auf den Wettbewerb des Digitalministeriums und wird schlagartig hellwach. Er ruft sofort Sabine an. Am nächsten Morgen sitzen sie auf der Terrasse ihres Lieblingscafés und diskutieren mögliche Ideen:
„Warum eigentlich muss es der elektronische Identitätsnachweis sein?“, fragt Peter. „Warum nicht auch der Führerschein? Ich bin am letzten Samstag mit Heike ins Restaurant gefahren und habe meine Papiere vergessen. Da vor uns ein Unfall war, wurden auch wir von der Polizei kontrolliert. Mensch, das war echt blöd, so ohne Papiere. Wir haben ein Bußgeld bekommen und am Montag musste ich auf das Revier und den Führerschein vorzeigen. Die haben drauf bestanden… Warum kann man nicht den Führerschein auf dem Handy haben und vorzeigen?“ Sabine starrt ihn an: „Mensch, das ist eine tolle Idee“, sagt sie. „Und die App sollte dann so programmiert sein, dass man den elektronischen Führerschein nur auf ein Handy bekommt, auf dem der elektronische Identitätsnachweis vorhanden ist. Bei all den Autofahrern könnte das echt eine Killer App werden.“ „Ja, das wäre schon genial“, meint Peter, „dann wäre unsere Firma endlich mal aus dem Gröbsten raus. Aber ich bin mir nicht sicher, ob wir das so einfach machen könnten. Die Sicherheitsanforderungen sind doch immens.“ „Tja“, meint Sabine, „da hast du wahrscheinlich Recht“. „Na ja, wir haben ja schon reichlich Erfahrung mit der Entwicklung von Apps. Warum eigentlich nicht.“ „Aber ein Spiel ist doch was anderes als eine solche App.“, wirft Sabine ein. „Da müssen Datenschutzauflagen berücksichtigt und alle möglichen Sicherheitsaspekte beachtet werden. Davon haben wir doch keine Ahnung.“
Peter grübelt und trinkt ein paar Schluck Kaffee. Dann grinst er Sabine an: „Ach Quatsch, können wir da nicht einfach ein bisschen Verschlüsselung einbauen? Es ist doch nur ein Führerschein. Was soll da schon passieren. Außerdem wäre das nicht die erste App, die noch nachgebessert werden müsste. Trotzdem sind andere Apps groß rausgekommen und die Entwickler haben viele Millionen verdient. Wir können doch immer noch nachbessern, wenn was schief geht. Außerdem sind ja keine Gesundheitsdaten betroffen.“
Sabine beginnt sich für die Idee zu begeistern: „Und es geht jetzt ja nur um eine erste Idee. Wenn wir weiterkommen, erhalten wir genauere Informationen über die Schnittstellen und können uns für den Prototypen noch in Ruhe ein Sicherheitskonzept überlegen. Warum also nicht!“
In den nächsten Tagen entwerfen sie die geforderte Ideenskizze: Alle, die einen Führerschein besitzen, können über die App einen QR-Code anfordern. Die App kann nur aktiviert werden, wenn hierzu der elektronische Identitätsnachweis auf dem Gerät vorhanden ist. Nach Eingabe der Führerscheinnummer, werden die Daten zur Überprüfung an das Kraftfahrt-Bundesamt geschickt. Wenn von dort die Bestätigung für die Richtigkeit der Daten kommt, wird ein QR-Code erstellt und dieser an das Handy geschickt, auf dem sich der/die Benutzer*in eingeloggt hat. Dieser QR-Code beinhaltet Informationen über den/die Inhaber*in sowie die Daten des Führerscheins. Damit die Information nicht von allen gelesen werden kann, wird sie für die Erstellung des QR-Codes verschlüsselt. Als Lesegerät ist u. a. ein Diensthandy der Polizei mit einer entsprechenden App vorgesehen, welche die Informationen des QR-Codes entschlüsselt und anzeigt. Viel Zeit investieren Sabine und Peter in den Entwurf des User Interfaces der App und der Beschreibung der Vorteile für Führerscheininhaber*innen, Behörden und Polizei. Die Ideenskizze muss sich ja gut verkaufen können.
Überzeugt von ihrer Idee, reichen sie drei Wochen später die Ideenskizze in den Wettbewerb ein, und sie erhalten mit anderen den Auftrag, ein Konzept und einen Prototypen zu entwickeln. Als sie den Vertrag erhalten, sind sie erleichtert, denn es gibt nur recht wage Sicherheitsauflagen.
Nach kurzer Diskussion und Verteilung der Aufgaben im Team stürzen sie sich mit Feuereifer in die Umsetzung. Sie gehen ganz methodisch vor und erstellen erstmal eine solide Datenbeschreibung und definieren die Schnittstellen. Sie entscheiden sich, für den Prototypen die Datenbank auf ihrem zentralen Firmen-Server abzulegen, da dies leichter umzusetzen ist. Die Verschlüsselung der Daten für die QR-Codes erfolgt auch intern. Für ein vernünftiges Schlüsselmanagement und eine entsprechende Infrastruktur haben sie keine Zeit und bauen darauf, dass die App nicht in falsche Hände gerät. Sabine, die sich in der Zwischenzeit über Security-Probleme und deren Lösungen schlau gemacht hat, wirft ein, das das nach allen Warnungen anerkannter Sicherheitsforscher*innen große Schwachpunkte seien, selbst wenn sie die Personendaten verschlüsseln. Sie schieben die Bedenken dann aber schnell zur Seite. Die Zeit drängt und wie Peter sagte, ist es doch nur ein Führerschein. Nächtelang testen sie die Software und bessern Bugs aus.
Gemeinsam mit den anderen geförderten Projekten stellen sie den Prototypen der App am nächsten Digitalisierungsgipfel vor. Kurz vor dem Termin ist die erste Version ihrer App fertig. Eine professionelle Präsentation und ein Testlauf, bei dem zum Glück nichts schief geht, überzeugen die Ansprechpartner*innen im Ministerium und die App wird frei gegeben für die Nutzung in einem Bundesland. Die App wird auf Polizeihandys installiert und innerhalb weniger Tage haben einige Tausend Führerscheininhaber*innen den QR-Code erzeugt. Viele davon haben hierfür zuerst den elektronischen Identitätsnachweis installiert. Ein voller Erfolg! Einige Tage läuft alles bestens und in der Presse erscheinen begeisterte Artikel.
Doch dann schafft es ein anonymer Hacker, ohne elektronischen Identitätsnachweis in das System einzudringen, seine Daten in die Datenbank einzuschleusen und sich einen QR-Code für einen Führerschein zu erzeugen. Die Bestätigung über die Richtigkeit der Daten durch das Kraftfahrt-Bundesamt hat er geschickt vorgetäuscht. Es ist ganz einfach. Er veröffentlicht die Anleitung auf seinem wenig beachteten Blog, der im Ausland gehostet wird. Carla, eine Journalistin, stolpert über den Blogeintrag und wird hellhörig. Was ist denn da los? Sie kontaktiert Jürgen, einen befreundeten Informatiker, der IT-Sicherheitskonzepte für Firmen testet und verbessert. Gleichzeitig stellt sie die Anfrage nach dem Informationsfreiheitsgesetz und erhält eine Kopie der Verträge zwischen dem Ministerium und QuickSolutions GmbH. Nachdem sie diese durchgelesen hat, kann sie nur den Kopf schütteln. Auch ohne eine Sicherheitsexpertin zu sein, sieht sie sofort, dass die Anforderungen unzureichend beschrieben sind. Kurz darauf erhält sie einen Anruf von Jürgen, der weitere Schwachstellen gefunden hat: „Was ist das schon wieder für ein Schnellschuss! Keine richtigen Vorgaben, keine vernünftige Sicherheitsprüfung und dann eine solche App bei der Kontrolle von Führerscheinen einsetzen.“ Carla möchte einen Artikel darüber schreiben, aber Jürgen ist etwas zögerlich. Den Anweisungen des Blogs zu folgen und weitere Tests zu machen sei nicht ganz auf der legalen Seite gewesen. Und er wolle seine Firma nicht gefährden. Und außerdem, würde das denn etwas ändern? Glaube sie wirklich, dass sich die Vergabe von Projekten und die Sicherheitsanforderungen ändern würden? Dass IT-Sicherheitsfachleute in solche Entscheidungen einbezogen würden und deren Urteil wichtiger wäre als schnelle, vorzeigbare „Erfolge“ und Vitamin B?
Fragen
- Eine wichtige Aufgabe der Presse ist die Information der Öffentlichkeit über Probleme und Missstände. Hierzu gehört auch, wenn Projekte der Regierung teurer und weniger erfolgreich sind als angekündigt. Dies setzt die Politik unter Druck, zu handeln. Was ist die Rolle der einzelnen Akteur*innen in diesem Fall Politik, über die berichtet wird, Presse und die Rezipient*innen?
- Häufig werden schnell Lösungen umgesetzt, um die offensichtlichen Probleme anzugehen und die Öffentlichkeit zufrieden zu stellen. Welche Gefahren ergeben sich dadurch? Wie kann sichergestellt werden, dass nicht nur schnelle, sondern gute Lösungen entwickelt werden? Wer müsste hierzu einbezogen werden?
- Gerade in Zeiten der Onlinemedien ist der Druck groß, Themen schnell zu bearbeiten und schnelle Lösungen anzubieten. Wir könnte man diese Situation verbessern? Wer trägt die Verantwortung dafür?
- Mandatsträger*innen müssen sich regelmäßigen Wahlen stellen. Oft werden sie an kurzfristigen Erfolgen und Plänen gemessen. Längerfristige Themen oder solche, die zu unpopulären Maßnahmen führen, sind häufig schwer zu vermitteln und stehen einem Erfolg bei Wahlen oft entgegen. Welche Möglichkeiten gibt es, längerfristigen Themen und Folgen wieder mehr Beachtung zu schenken und bei politischen Entscheidungen wieder mehr in den Vordergrund zu rücken? Welche Rolle und Möglichkeiten haben wir hierbei als Bürger*innen?
- Häufig werden Politiker*innen und/oder Ministerien durch Berater*innen aus der Wirtschaft unterstützt. Welche Vor- und Nachteile ergeben sich dabei? Welche Interessenskonflikte können Sie identifizieren? Kann man die Politik, die sich an anderen Maßstäben messen muss als wirtschaftliche Unternehmen, mit ähnlichen Kriterien messen und beraten? In welchen Bereichen ist (mehr) ökonomisches Denken gefordert? In welchen Bereichen stehen ökonomische Maßstäbe den Zielen der Politik entgegen? Welche möglichen Gefahren für unsere Demokratie sehen Sie?
- Peter und Sabine nehmen mit ihrer Firma QuickSolutions GmbH an dem ausgeschriebenen Wettbewerb teil, ohne über die entsprechende Expertise im Bereich von sicherheitsrelevanter Software zu verfügen, die sie für ihre Idee benötigen. Wie beurteilen Sie das? Inwiefern sollte vergangene Expertise offengelegt werden? Sollten solche Firmen ausgeschlossen werden? Wäre es möglich, einen Wettbewerb für Ideen zu veranstalten und den Gewinner*innen dann Expert*innen zuzuordnen, die sich um die Sicherheit kümmern?
- Nicht zuletzt wegen des Marktdrucks und fehlender Kapazitäten kommen oft nicht vollkommen ausgereifte Produkte auf den Markt. Gerade im Bereich der Software hat man sich anscheinend an Fehler und Schwachstellen gewöhnt und daran, dass immer wieder Updates notwendig werden. Bekanntgewordene Sicherheitslücken und Datenleaks erfahren oft nicht die notwendige Aufmerksamkeit. Sind wir zu nachlässig geworden? Haben wir uns zu sehr daran gewöhnt? Stellen wir zu geringe Anforderungen? Verstehen wir vielleicht oft die Tragweite der Probleme zu wenig? Welche Möglichkeiten haben wir, Fragen des Datenschutzes und der IT-Sicherheit wieder vermehrt in das Blickfeld zu rücken? Wie können wir dem „Mir passiert schon nichts“, „Es sind ja keine geheimen Informationen“ bzw. dem „Ich habe schon nichts zu verbergen“ am besten entgegentreten?
- Wie kann sichergestellt werden, dass bei den Auftraggebern*innen in Politik und Verwaltung genügend Expertise ist, um sicherheitsrelevante Anforderungen zu formulieren und Verträge entsprechend auszustellen? Sollten entsprechende Tests von staatlicher Seite vorgeschrieben werden? Wer ist dann für die Definition, Durchführung und Überwachung von Tests zuständig? Wie kann man damit umgehen, wenn in den Behörden die notwendige Expertise fehlt? Wie vermeidet man Abhängigkeiten von Unternehmen und Berater*innen, die dann u. U. auch eigene Ziele verfolgen?
- Sollte sicherheitsrelevanter Code in staatlichen Anwendungen grundsätzlich offengelegt werden und unabhängige Experte*innen Zeit erhalten, diesen vor Einführung zu prüfen und Stellungnahmen abzulegen? Muss Kritik an Softwareanwendungen frei zugänglich publiziert werden, um Transparenz zu ermöglichen? Wie sollten Prozesse aussehen, um von vorhandener Expertise zu profitieren und in Zusammenarbeit mit der interessierten und vorhandenen Community gute IT-Lösungen für staatliche Aufgaben zu entwickeln?
- Carla und Jürgen haben eine im Internet vorhandene anonyme Hack-Anleitung verwendet, um die App zu überprüfen. Wie bewerten Sie solche anonymen Anleitungen? Durfte Jürgen die Anleitung testen? Hätte Carla sich an die Behörden wenden sollen, als sie die Anleitung gefunden hat? Müssen Personen, die Sicherheitslücken aufzeigen, besser geschützt werden? Welche Prozesse sollten vorhanden sein, um die Behörden auf solche Schwachstellen aufmerksam zu machen? Wie kann sichergestellt werden, dass dann angemessen reagiert wird und die Schwachstellen behoben werden?
- Jürgen ist ziemlich frustriert und glaubt nicht mehr daran, dass sich bei der Vergabe von Aufträgen und Umsetzung von Sicherheitsanforderungen etwas verändern wird. Wie sehen Sie das? Handelt es sich um Einzelfälle? Gibt es mittlerweile ein System „schnelle App“, das einen teuren Flickenteppich wenig getesteter Apps mit Einzellösungen und Sicherheitsproblemen begünstigt? Was können wir tun?
[1] Golem.de Smartphone-Ausweis und Passfoto-Datenbanken beschlossen, 21. Mai 2021. https://www.golem.de/news/trotz-kritik-smartphone-ausweis-und-passfoto-datenbanken-beschlossen-2105-156671.html. Zugegriffen: 11. Juni 2021
Erschienen im Informatik Spektrum 44 (4), 2021, S. 302–305, doi: https://doi.org/10.1007/s00287-021-01374-8
Carsten Trinitis, Debora Weber-Wulff
Kevin ist Student der Informatik an der Universität Erdingen. Seit zwei Semestern studiert er wegen Corona zu Hause, und es nervt langsam gewaltig. Gerade seine Dozentin für Mathematik, Katrin, besteht darauf, das Niveau der Klausuren hochzuhalten, sodass man die Prüfung zwar nicht vor Ort, aber dennoch unter Zeitdruck schreiben muss. Kaum ein Kandidat ist in der Lage, alle Aufgaben innerhalb der vorgegebenen Zeit zu lösen.
Kevin schreibt daher Katrin und bittet darum, dass sie die Klausuren weniger schwer gestaltet, indem sie auf den Zeitdruck verzichtet – sie kann ja schließlich die Überwachungssoftware Panoptikum einsetzen. Die Universität hat Panoptikum sofort nach Beginn der Corona-Pandemie erworben, um die Integrität der Prüfungen auch online zu gewährleisten. Das System nutzt KI, um verdächtige Verhaltensweisen zu detektieren. Das hat die Hochschulleitung sofort überzeugt, als die Vertreterin der Firma das System vorgestellt hat. Es war auch nicht so teuer, einen Rahmenvertrag für die gesamte Hochschule abzuschließen, daher hat die Hochschulleitung gleich zugeschlagen, allerdings ohne mit dem Lehrpersonal Rücksprache zu halten.
Katrin ist strikt gegen Kevins Bitte, die Prüfung leichter zu gestalten. Den Vorschlag, Panoptikum einzusetzen, lehnt sie ab. Sie ist aktive Datenschützerin und listet in ihrer Antwort an Kevin minutiös auf, warum sie das ablehnt. Sie hält es für einen massiven Eingriff in die Privatsphäre der Studierenden: Nicht alle haben einen ruhigen, kinder- und tierfreien Arbeitsplatz, und die Systeme lassen sich sehr leicht überlisten. Man weiß auch nicht genau, welche Verhaltensweisen von der KI als „verdächtig“ klassifiziert werden. Dass also manchen Prüflingen verdeckte Nachteile entstünden, kann Katrin daher nicht ausschließen.
Panoptikum kann eine wirkliche Aufsicht nicht ersetzen, und vor allem will Katrin die Studierenden nicht unter Generalverdacht stellen. Zudem werden die Video- und Audiodaten irgendwo in der „Cloud“ gespeichert. Dabei ist völlig unklar, was die Firma noch mit den Daten vorhat, und wie lange sie diese aufbewahren wird. Schließlich ist auch noch eine Online-Marketing-Firma unter derselben Anschrift wie Panoptikum zu finden. Es ist nicht ersichtlich, inwieweit diese Marketing-Firma mit Panoptikum zusammenarbeitet.
Kevin hält postwendend dagegen, „jede/r“ habe doch schließlich einen Rechner zu Hause. Katrin sagt: Nicht jede/r, manche müssen sich Geräte und vor allem Bandbreite mit anderen Familienmitgliedern teilen, und obendrein sind etliche Geräte uralt und haben gar keine Kamera. In Städten, in denen der Wohnraum begrenzt ist, teilt man oft ohnehin den Arbeitsraum mit Familie, Katze und Hund, und auch noch mit WG-Mitbewohnerinnen. Letztere können mitunter schon mal unbekleidet an der Kamera vorbeihuschen. Das habe sie alles in ihren Vorlesungen mitbekommen, wenn die Kamera eingeschaltet war.
Katrin weiß auch, dass es Dienste gibt, die innerhalb von wenigen Minuten gegen Bezahlung Mathematikaufgaben lösen können. Daher will sie den Umfang nicht zu gering halten und das Spektrum ihrer Lehrveranstaltung möglichst breit abdecken, um besser beurteilen zu können, welche Themen wirklich verstanden worden sind. Katrin bleibt also dabei, lässt die Klausur wie geplant schreiben – schwierig, auf hohem Niveau, dennoch bestehen alle.
Trotzdem beschwert sich ein Student, der „nur“ eine 3,0 in der Klausur bekommen hat, beim Hauptprüfungsausschuss. Er führt an, wenn die Klausur weniger schwer und überwacht durch Panoptikum durchgeführt worden wäre, hätte er definitiv eine 2,0 oder besser bekommen. Der Ausschuss informiert die Hochschulleitung, und diese fordert Katrin auf, dazu Stellung zu nehmen.
Katrin wiederholt ausführlich ihre Bedenken. Das sieht jedoch die Hochschulleitung nicht ein, sie will gerne eine moderne Universität sein, die den Segen von Digitalisierung und KI einsetzt, um weiterhin trotz Pandemie hochwertige Bildung anzubieten. Schließlich habe auch Kollege Karl Panoptikum eingesetzt, und damit gut 40 % der Teilnehmenden an seinen Prüfungen als Schummler entlarven können! Die Technik funktioniere also bestens. Gerade in der Fakultät für Informatik sei es nicht akzeptabel, dass eine Dozentin dieses Fachs digitale Werkzeuge in diesem Maße ablehnt. Die Hochschulleitung spricht eine Rüge gegen Katrin aus.
Katrin entschließt sich, Dirk, den Datenschutzbeauftragten der Universität, einzuschalten. Sie beginnt ihre Argumentation zunächst mit der Privatsphäre. Ja, sagt Dirk, es handelt sich um hochpersönliche sensible Daten, die dabei entstehen. Aber die Hochschule hat ja in ihrer Satzung festgelegt, dass dies im Ausnahmefall der Pandemie zulässig sein muss. Deswegen sei die Überwachung wasserdicht rechtlich abgesichert.
„Aber wo genau werden denn die Daten gespeichert?“, fragt Katrin nach. Die Firma sitzt doch in Serbien, und dabei handelt es sich nicht um ein Land der Europäischen Union. „Oh“, sagt Dirk, „das wusste ich nicht. Hmm. Was sollen wir jetzt tun, nachdem Kollegen wie Karl das System bereits bei etlichen Klausuren erfolgreich eingesetzt haben?“
Katrin plädiert dafür, dass alle Lehrenden selbst entscheiden sollen, ob sie eine Überwachung auf Distanz wollen oder nicht. Vor allem findet sie, dass die Studierenden ausführlich vorab über alle wichtigen Aspekte des Systemeinsatzes informiert werden müssen. Hier sieht sie Dirk als Datenschutzbeauftragten in der Pflicht, das sieht er jedoch anders. Das sollen die Dozierenden doch bitte selbst machen.
Katrin will aber keinen weiteren Ärger mit der Hochschulleitung haben. Sie ist unschlüssig, was sie im kommenden Semester tun soll …
Fragen
- Wäre es besser gewesen, wenn die Hochschulleitung zunächst einmal das Lehrpersonal konsultiert hätte, bevor sie die Software erworben hat? Hätten diese aber nicht grundsätzlich den Fortschritt gebremst?
- Ist es ein Problem, wenn eine Marketing-Firma unter derselben Anschrift wie Panoptikum firmiert? Sie müssen ja nichts miteinander zu tun haben. Welchen Aufwand muss die Hochschule betreiben, um eine Verbindung zwischen den beiden Firmen auszuschließen?
- Was sind die Mindestanforderungen an Datenschutzbeauftragte an Universitäten? Sollten sie nicht von vornherein über einen Fragenkatalog verfügen, mit dem sie derartige Systeme leichter prüfen und beurteilen können?
- Wussten die Studierenden bisher, dass die Daten von Panoptikum im Nicht-EU-Ausland gespeichert werden? Hätte es für sie einen Unterschied gemacht?
- Wer ist dafür verantwortlich, die Studierenden darüber aufzuklären, welche Daten erfasst werden, wo und wie lange sie gespeichert werden, und welche Aktivitäten oder Ereignisse als verdächtig eingestuft werden?
- Wie würden Sie sich entscheiden, wenn Sie Katrin wären?
- Wie bewerten Sie das Argument, man wolle eine moderne Hochschule sein und daher moderne Technik einsetzen? Hat dieses Argument eine ethische Dimension?
- Ist es vertretbar, wenn Studierende dazu gezwungen werden, der Nutzung eines Systems wie Panoptikum zuzustimmen? Sollte die Hochschule Studierenden, die nicht so überwacht werden wollen, eine Alternative anbieten?
- Sollten nicht in besonderen Zeiten wie der Corona-Pandemie die Prüfungen erleichtert werden, mit einfacheren Aufgaben, mehr Zeit, fehlender Aufsicht? Oder wertet das die Leistungen von Studierenden ab? Gelten „Corona-Diplome“ dann als weniger wert?
Erschienen im Informatik Spektrum 44 (3), 2021, S. 219–220, doi: https://doi.org/10.1007/s00287-021-01355-x
Stefan Ullrich, Rainer Rehak
„Geht es dir um die Sache oder um dich?“ Hannah weiß nicht, was sie ihrer Mitbewohnerin antworten soll.
„Wenn es dir um die Sache geht“, fährt Jelena fort, „solltest du zusagen. Ethik und Nachhaltigkeit sind doch genau dein Ding. Und ein bisschen mehr Publikum kann doch auch nicht schaden!“
Hannah schaut nochmal auf das Schreiben der großen Organisation „AI & I4 Future“, die auf Social Media nicht zuletzt durch ihre visuell beeindruckenden Kampagnen bekannt wurde. AI&I4F bezeichnet sich selbst als ein visionäres Zukunftslabor und Crash-Test-Institut für Künstliche-Intelligenz-Systeme. In dem Schreiben wird sie eingeladen, zusammen mit Expert*innen und Aktivist*innen aus ganz Europa ein Manifest für eine nachhaltige und gemeinwohlorientierte Künstliche Intelligenz zu erarbeiten. Die Einladungsliste liest sich erstklassig, es sind ebenso gestandene Wissenschaftler*innen darunter wie populäre Schauspieler*innen; zu Veteran*innen der Anti-Atomkraft-Bewegung gesellen sich junge Influencer*innen aus der Ökotech-Szene – kurzum, es scheinen alle relevanten Stakeholder ausgewählt zu sein.
„Stakeholder“, wiederholt Hannah plötzlich laut zu sich selbst, „ich denke schon genau so wie SIE. Was soll denn Multi-Stakeholder überhaupt heißen?“ Jelena stutzt und zupft ein wenig verträumt an den zahlreichen Schichten ihrer selbstgenähten Kleidung. „Ist es ein Problem für dich, dass diese AI-Leute einfach so stylisch sind und echt gute Visuals produzieren?“ Hannah will es ja nicht zugeben, aber neben inhaltlichen Fragen ist auch das irgendwie ihr Problem. Sie kommt sich etwas albern vor, doch nach einigem Hin und Her entscheidet sie sich, im Expert*innen-Gremium mitzumachen.
Das erste Treffen aller Beteiligten findet wenige Wochen später auf einem alten Gutshof im Süden des Landes statt, dem Hauptsitz von AI&I4F. Sie werden vom Bahnhof mit Elektroautos abgeholt, Hannah sitzt mit dem bekannten Transformationsforscher Mats Hillebork auf der Rückbank. Durch Plexiglas-Abtrennung und Maske kann sie ihn nicht so gut verstehen, sie ist auch kein native speaker, aber er scherzt ganz offensichtlich über den Aufwand des Treffens. Auf Englisch teilt er ihr mit, dass der Gutshof einst der Fugger-Handelsfamilie gehört hat und von AI&I4F schließlich zu einem Vorzeigehof in Sachen Nachhaltigkeit umgebaut wurde. Ob Hannah sich nie gefragt habe, warum eine historische Mühle das Logo von AI&I4f ziere? Aber so richtig ökologisch nachhaltig sei das nicht, meint Hillebork, als sie an der Mühle vorbeisteuern. „Das ist eine Mühle der Habsburger aus Spanien, die wurde vor 10 Jahre Ziegel für Ziegel und Balken für Balken hierher geschafft, die alte Bockwindmühle war wohl nicht schick genug!“ Hillebork lacht, und so weiß Hannah nicht, ob es ein kruder Scherz war oder sie auch alles richtig verstanden hat.
Für eine auf Künstliche-Intelligenz-Audits spezialisierte Organisation findet sich erstaunlich wenig Technisches hier. Sicher, die E‑Autos sind da, auch die Überwachungskameras, aber ansonsten tummeln sich eine Unmenge von Angestellten auf dem weiten Gelände. Frauen, die Wäsche auf Waschbrettern waschen, junge Männer, die Wasser aus dem Brunnen schöpfen und ein alter Butler, der in der Tür steht und ihnen die Richtung ins Haus weist. Überall stehen Schalen mit Obst und vegetarischen Leckereien. Es ist angenehm kühl im Schloss, ja, es wirkt wirklich wie ein Schloss. Sie hat zwei Zimmer nebst modernem Bad für sich allein, hier sieht alles ultramodern aus, im Gegensatz zum restlichen Gebäude. Die aktuellen Wetterdaten und neuesten Community-Nachrichten erscheinen in einer Ecke des Badezimmerspiegels. Das Kick-Off-Meeting wird drei Tage dauern, macht sie sich klar. „Ich sage schon wieder Kick-Off, ich übernehme schon wieder deren Sprache, das ist nicht Aye Aye, AI“. Die letzten Worte sind der Werbeslogan einer bekannten KI-Sprachassistenz, und tatsächlich: Im Bad ist das charakteristische Doppelklingeln zu hören und ein System wartet auf die Eingabe der überraschten Nutzerin.
Hannah macht sich bereit für das erste Treffen vor dem angekündigten „AI-Dinner“. Sie erwartet ein Arbeitsessen, zieht sich also nicht besonders schick an. Sie ist daher sehr überrascht, als sie unten in der Lobby ankommt und dort viele Fernsehkameras laufen. Es werden Interviews und Fotos gemacht und der ein oder die andere Journalistin geht herum und lässt sich von den Expert*innen die besonderen Möglichkeiten der KI erklären und wie wichtig ein ethischer Umgang damit sei, gerade in Abgrenzung zu den USA und China, wie es heißt. Wie schön wird die Welt der Zukunft, wenn die KI uns so viele Probleme abnimmt und noch dazu exportiert werden kann. Auch die restlichen Aktivitäten der nächsten Tage auf dem Schloss gehen inhaltlich nicht besonders tief, werden von der Moderation oft hin zu Allgemeinplätzen bewegt und sind regelmäßig von öffentlichkeitsorientierten Pausen mit Fototerminen und Interviews durchzogen, teilweise sogar mit internationalen Medien. Hannah ist ein wenig enttäuscht, da sie viel mehr inhaltliche Arbeit erwartet hätte. Andererseits trifft sie viele interessante Menschen aus ihrem Themenbereich, und auch die paar Tage mal ganz aus ihrem Alltag zu sein genießt sie sehr, wie sie sich eingesteht. Vielleicht muss sowas auch ab und zu einfach mal sein und sie sollte das alles nicht zu eng sehen, verdient hat sie es jedenfalls durch ihre harte Arbeit den Rest der Zeit.
Diese Art Treffen finden nun alle paar Monate statt und innerhalb von zwei Jahren entwerfen die Expert*innen ein Abschlussdokument, unterzeichnet von allen Beteiligten, optisch sehr ansprechend gestaltet und prominent durch die aktuelle AI&I4F-Kampagne beworben, die ein optionales KI-Güteprüfsiegel für europäische Value-Based-AI propagiert. Inhaltlich ist das Dokument jedoch Hannahs Ansicht nach wenig visionär, gibt im Kern nur den allgemeinen Stand der Diskussion wieder und bleibt auch sonst weit hinter den Ideen, Vorstellungen und Möglichkeiten der Beteiligten zurück. Und auch von der Kampagne war anfangs keine Rede gewesen, deren Ziele sie so gar nicht teilt, weil sie im Prinzip eine „freiwillige Selbstkontrolle der Wirtschaft“ bewirbt. Hannah ärgert sich letztendlich doch, dass sie so viel Zeit und Energie hineingesteckt hat, wenn am Ende sowas dabei herauskommt, was sie am Anfang ja eigentlich schon kritisiert und befürchtet hatte: Das Papier enthält viele oberflächliche Allgemeinaussagen – denn wer wäre denn gegen „vertrauenswürdige KI im Sinne des nachhaltigen Gemeinwohls“? – und wenig fundierte Kritik oder konkret-konstruktive Ideen, dafür ist es jedoch unterschrieben von allen relevanten Personen aus der Kritiker*innen-Szene. Andererseits ist sie als Person nun bekannter, bekommt viel mehr Medienanfragen als vorher und kann somit ihre Arbeitsergebnisse und Ideen viel besser medial verbreiten.
Sie liest mit Interesse, dass einige ihrer aktivistischen Mitstreiter*innen in der Zeit, in der sie für das AI&I4F-Projekt gearbeitet hatte, an Gesetzgebungs-Konsultationen öffentlicher Stellen sowohl auf nationaler Ebene als auch auf EU-Ebene teilgenommen hatten, also direkt als Teil politisch-legislativer Prozesse – und sie hatte nicht einmal auf die E‑Mails ihrer alten Clique reagiert. Sicherlich sind diese Eingaben weit weniger medial beachtet worden, aber vielleicht wirken sie im Hintergrund, etwa weil EU-Parlament und Bundesregierung um Einschätzungen zum Thema der Regulierung von Digitalisierung allgemein und KI im Speziellen hinsichtlich Nachhaltigkeit gebeten hatten, was ja genau ihr Bereich gewesen wäre. Sie ist unsicher, wie sie das alles beurteilen und sich zukünftig zu solchen Initiativen wie AI&I4F verhalten soll, denn auch die Konsultationen werden natürlich nicht direkt umgesetzt. In der Nacht fällt Hannah wieder ein, was sie Jelena vor zwei Jahren noch gesagt hatte: „Aktivist*innen und auch Wissenschaftler*innen sollten sich gut überlegen, wofür sie ihre kostbare Zeit verwenden – und wofür eben nicht.“
Fragen
- Wie sind solche Veranstaltungen zu bewerten, sind sie nötig für einen sinnvollen gesellschaftlichen Diskurs? Welche Gefahren liegen darin?
- Das ganze Schloss wirkt nachhaltig gestaltet, reproduziert aber Klischees und scheint sehr künstlich zu sein. Ist das im Sinne einer guten Arbeitsatmosphäre zu befürworten?
- Wie hätte Hannah die Treffen in ihrem Sinne produktiver gestalten können?
- Ist es nicht besser, mehr Medieninteresse zu wecken, als thematisch tief im eigenen Kämmerlein zu arbeiten? Ist Hannah überkritisch was das angeht?
- Welche Formen demokratischer Partizipation sind zu befürworten, welche Kriterien könnten dafür angelegt werden und fielen die AI&I4F-Aktivitäten darunter?
- Unabhängig vom Fallbeispiel: Bei welchen gesellschaftlichen Themen wurde jüngst nach „Ethik“ und „Werten“ gerufen? War das Themenfeld tatsächlich neu und unbekannt, sodass es gesellschaftlich diskutiert werden muss oder aber sollte durch den Aufruf eine Regulierung verhindert werden?
- Braucht es einen Ethik-Kodex für Ethik-Kodizes, also Leitplanken und rote Linien für Ethikleitlinien, damit sie auch einen Beitrag liefern und nicht nur als Feigenblatt missbraucht werden?
Erschienen im Informatik Spektrum 44 (2), 2021, S. 131–133, doi: https://doi.org/10.1007/s00287-021-01347-x
|
|
Beiträge als RSS abonnieren
Kommentare