Archiv

Fallbeispiel: Freigetestet

Rainer Rehak, Nikolas Becker, Pauline Junginger, Otto Obert

Nivedita hat sich schon immer für das Messen und Bewerten interessiert. Schon während ihrer Schulzeit hat sie eine detaillierte Übersicht über alle öffentlichen Bäume in ihrer Heimatstadt erarbeitet und diese nach ihrem Zustand klassifiziert. An ihrem Computer erfasste sie die Baumdaten in einer eigenen Datenbank. Als ihre Mathematiklehrerin von ihrem Engagement erfuhr, ermutigte sie Nivedita, ihre Datenbank dem örtlichen Straßen- und Grünflächenamt zur Verfügung zu stellen, das zu diesem Zeitpunkt noch mit einem analogen Katalogsystem arbeitete. So begann Niveditas Karriere als Programmiererin.

Während ihres Studiums jobbte Nivedita in verschiedenen Firmen. Einmal ging es um die Analyse von Monitoringdaten von Festplatten für die Predictive Maintenance, also darum, Ausfälle der Festplatten vorhersagen zu können. Ein anderes Mal ging es um die Auswertung von medizinischen Daten. Auf Basis der Hauttrockenheit bestimmter Körperareale sollten bestimmte Krankheitsbilder erforscht werden. Sie hatte viel Freude an diesen Jobs, die ihr auch Studium und mehrere Reisen nach Südostasien finanzierten.

Nun hat sie ihren ersehnten Abschluss und wird prompt von der Firma QuantiImprov angeworben, einem jungen Unternehmen im Fitnessbereich, das smarte Fitnessarmbänder und Fitnessapps herstellen will. Die Firma ist begeistert von Niveditas Interesse an und Erfahrungen mit Bio-Datenerfassung und -messung. Auch Nivedita gefällt das Angebot. Die Arbeitsbedingungen sind gut und die Firma scheint ihr seriös. So willigt Nivedita ein und fängt bereits im nächsten Monat bei QuantiImprov als Junior-Entwicklerin an.

Ihr erstes Projekt ist ein brandneuer Armband-Prototyp, der zunächst firmenintern getestet werden soll. QuantiImprov möchte Armbänder entwickeln, die sehr genau das Stresslevel der Trägerin messen können. Möglich wurde dies durch eine ausgefeilte chemische Analyse der Bestandteile des Schweißes der jeweiligen Träger*innen. Die Personalabteilungen einiger großer Unternehmen haben bereits Interesse signalisiert. Sie wünschen sich, durch das Armband frühzeitig zu erkennen, in welchen ihrer Abteilungen die Arbeitsbelastung zu hoch ist, um Mitarbeiter*innen aktiv und frühzeitig vor Überlastung schützen zu können. QuantiImprov erhofft sich von dem neuen Produkt, neben dem Fitnessbereich einen ganz neuen Markt erschließen zu können.

Nivedita macht sich beschwingt an die Arbeit und kommt gut voran. Kurz nach dem Abschluss der Programmierung der Firmware des Armband-Prototypen und der dazugehörigen smarten App findet bereits ein Auftaktevent mit den Marketing- und Vertriebsabteilungen statt, um den weltweiten Produktauftritt zu besprechen. Auch Nivedita ist eingeladen und kommt in einer Pause bei leckeren Häppchen an einem Stehtisch mit dem netten und kommunikativen Kollegen Jack ins Gespräch, der im wachstumsstarken südostasiatischen Markt im Vertrieb tätig ist. Dort wird seiner Aussage nach bald eine größere Menge der Armband-Prototypen samt Betaversion der App im Rahmen eines Public-Beta-Programms mit ausgewählten Firmenkunden getestet. Mit am Tisch steht auch Ling, die in Indonesien für marktspezifische Sonderentwicklungen verantwortlich ist. Sie hat dem Gespräch von Nivedita und John aufmerksam zugehört und ergänzt, dass sie den Auftrag bekommen hat, für den dortigen Markt ein weiteres Feature für die Folgeversion des Armbands zu entwickeln. Mit den drei vorhandenen Sensoren am Armband ließen sich neben der Schweißproduktion auf der Haut noch eine ganze Reihe weiterer Körperfunktionen ablesen, die mit einer entsprechenden Softwareerweiterung Rückschlüsse auf den Aufmerksamkeits- und Leistungslevel der Träger*innen zulassen.

Nivedita findet das spannend, bekommt nun aber doch etwas Bauchgrummeln. Ursprünglich sollte das Armband doch eine Unterstützung für Mitarbeiter*innen sein, indem die Personalabteilungen strukturelle Defizite und überlastete Abteilungen identifizieren können. Die neuen Funktionen zielen jedoch stärker darauf ab, die individuelle „Performance“ zu messen. Die Vorstellung, dass das von ihr entwickelte System so verwendet und dadurch negative Auswirkungen auf individuelle Karrierewege haben könnte, behagt ihr gar nicht. Zudem kann es möglicherweise auch mal falsch liegen.

Am nächsten Tag sucht sie daher das Gespräch mit ihrer Vorgesetzten und äußert ihre Bedenken. Diese winkt jedoch ab und versichert Nivedita, dass Sie sich keine Gedanken machen solle. Das Armband werde im Anschluss an die interne Testphase eine aufwendige und kostenintensive Zertifizierung durch die Firma EUCertifiedAI durchlaufen. Ein solches Produkt dürfe in Europa nur vertrieben werden, wenn EUCertifiedAI ihnen die Einhaltung aller üblichen Industriestandards und Gesetze für Produktsicherheit bescheinige. Zudem mache man auch die erweiterte Corporate-Social-Responsibility-Zertifizierung mit, die belegt, dass das Produkt nicht diskriminiert und sozialverträglich wirkt. Die Performancevariante werde voraussichtlich ebenfalls so getestet und zertifiziert, auch wenn sie gar nicht in Europa vermarktet werden soll.

Nivedita wird dadurch ein wenig beruhigt. Wenn das Produkt von einer darauf spezialisierten Firma auf die Einhaltung der europäischen Vorgaben getestet wird und sogar eine CSR-Zertifizierung erhält, müsste das ja in Ordnung sein. Sicher haben sich viele Expert*innen ausreichend Gedanken gemacht, an welche Voraussetzungen eine solche Produktzertifizierung geknüpft ist. Und dann kann es natürlich auch anderswo eingesetzt werden.

Ihren nächsten Urlaub möchte Nivedita auf der indonesischen Insel Java verbringen. Sie erinnert sich, dass ihre Kollegin Ling, die sie auf dem Auftaktevent wenige Monate zuvor kennengelernt hat, in Jakarta auf Java lebt. Ling war ihr sympathisch und sehr gerne würde sie auch erfahren, wie weit die Entwicklung der erweiterten Version vorangeschritten ist. Kurzentschlossen schickt sie Ling eine E‑Mail.

Ling freut sich sehr, von Nivedita zu hören und die beiden verabreden sich vor Ort zu einem gemeinsamen Abendessen. Sie verstehen sich gut und so kommt es, dass Ling ihr nach dem dritten Glas Wein ein Geheimnis anvertraut: Eine der indonesischen Firmen, die im Rahmen des Beta-Programms die Armbänder bei der Belegschaft einsetzte, hat kürzlich mehrere Hundert Mitarbeiter*innen entlassen. Eine davon hätte nun QuantiImprov-Indonesien auf Schadensersatz verklagt. Die Person behauptet, ihr sei zu Unrecht aufgrund der Performancedaten des QuantiImprov-Armbands gekündigt worden. Sie hätte eine seltene Hautkrankheit und die Sensoren des Armbands hätten bei ihr vermutlich nicht richtig funktioniert.

Nivedita ist schockiert. Hatte sich ihre Befürchtung nun doch bewahrheitet? Haben die Tester*innen von EUCertifiedAI schon einmal von dieser Krankheit gehört und hatten sie wirklich den korrekten Einsatzzweck untersucht, fragt sie sich innerlich. Offenbar ist sie nun sichtlich blass geworden, denn Ling reicht ihr ein Glas Wasser und sagt: „Du musst dir keine Sorgen machen“. Sie ergänzt: „Die Firma streitet ab, dass die Entlassungen etwas mit unseren Armbändern zu tun haben. Sie hätten sich nur an den Quartalszahlen und üblichen Performanceindikatoren orientiert.“ Sie sei sich sicher, dass die Entlassene ihre Vorwürfe nicht beweisen könne. Und selbst wenn die Kündigungen in Zusammenhang mit den Armbanddaten stünden – sei es denn nicht die Verantwortung der anderen Firma, welche Schlüsse sie aus den Daten einer korrekt zertifizierten Anwendung ziehe?

Fragen

  1. Inwiefern befreit eine erfolgreiche Zertifizierung durch EUCertifiedAI den Hersteller QuantiImprov von seiner moralischen Verantwortung?
  2. Welche moralische Verantwortung haben Hersteller solcher Produkte?
  3. Hätte Nivedita sich anders verhalten sollten, als sie von der Performanceversion erfuhr? War es ausreichend, das Gespräch mit ihrer Vorgesetzen zu suchen oder war es gar zu viel?
  4. Hätte sich Nivedita informieren müssen, wie ihr Armband von Ling weiterentwickelt wird?
  5. Inwieweit ist es ethisch gesehen einen Unterschied, ob das Armband mit den zusätzlichen Funktionen zur Performancemessung ausgestattet wird?
  6. Ist es ausreichend, ein Produkt nach europäischen Maßstäben und Gesetzen zu testen, auch wenn es weltweit vertrieben wird?
  7. Darf es bei den grundlegenden Anforderungen an eine Zertifizierung unterschiedliche Ausprägungen geben, je nachdem in welchem Land oder Kulturkreis mit stark unterschiedlichen bis widersprüchlichen Wertevorstellungen dies durchgeführt wird?
  8. Welche Rolle spielt Diversität in der Produktentwicklung – und im Zertifizieren? Welche sollte sie spielen und warum?
  9. Wer sollte alles Einblick in die konkreten Zertifizierungsunterlagen eines Produktes erhalten?
  10. Unter welchen Voraussetzungen und in welchem Kontext ist der Einsatz eines Armbands ohne jegliche Tests vorstellbar?
  11. Ist das beschriebene Armband ein sinnvolles und ethisch vertretbares Produkt?

Erschienen im Informatik Spektrum 45 (1), 2022, S. 47–49, doi: https://doi.org/10.1007/s00287-021-01431-2

1 comment to Fallbeispiel: Freigetestet

Leave a Reply

You can use these HTML tags

<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>