Archiv

Fallbeispiel: Leistungsfähigkeit

Christina B. Class, Debora Weber-Wulff

Die vor wenigen Jahren gegründete Marktkette YourLife verkauft Lebensmittelprodukte, mit einem Schwerpunkt auf regionale Produkte, zusammen mit einem großen Sortiment an Drogeriemarktartikeln und Wellnessprodukten. Insbesondere im Bereich der Drogerieartikel versucht sie mit Eigenprodukten einen stabilen Marktanteil in Großstädten zu erreichen.

YourLife ist auch sehr aktiv im Internet und bietet zusätzlich zum Ladenverkauf Online-Shopping an.

Diese Bereiche werden durch die Firma ITCompetenceForYou GmbH, ITC4U genannt, abgedeckt. ITC4U ist ein recht junges Unternehmen mit insgesamt 12 Angestellten.

ITC4U hat für YourLife auch einige Apps im BereichWellness und gesunder Lebensstil entwickelt, die Nutzer bei gesunder Ernährung, dem Abnehmen und regelmäßiger Bewegung im Alltag unterstützen sollen. Die Nutzer geben persönliche Daten sowie alle Aktivitäten ein und erhalten spezifische Tagespläne, Informationen und Anregungen, teilweise verbunden mit Ernährungstipps oder Hinweisen auf Nahrungsergänzungsmittel, die im YourLife-Online-Shop oder den Läden erhältlich sind. Die Apps können leicht mit den in den Märkten angebotenen Körperwaagen oder Blutdruckmessgeräten verbunden werden und weisen zusätzlich auf Sonderangebote im Markt hin, um so eine bessere Kundenbindung zu erreichen.

B. Lange arbeitet seit längerer Zeit intensiv daran, bei Frauenmit starken Zyklusbeschwerden durch gezielte Ernährungspläne und an den Zyklus angepassteNahrungsergänzungsprodukte die Beschwerden zu lindern. Zusammenmit ITC4U hat B. Lange die App Unbeschwert entwickelt, die ihre aktuellen Ansätze beinhaltet. Die App erstellt basierend auf Gesundheitsdaten und Informationen zum aktuellen Wohlbefinden und Beschwerden Vorschläge für spezifische Gymnastikübungen und Ernährung. Unterstützt wurde die Entwicklung von YourLife, die ihre Mitarbeiterinnen bittet, den Prototypen der App zu testen. Die Daten werden nicht mit YourLife geteilt, sondern zur Verbesserung der App anonymisiert und an B. Lange weitergereicht. YourLife hat die App bei den vorwiegend weiblichen Angestellten bekannt gemacht, um die Verbesserung des Prototypen zu unterstützen, bevor dieser groß angekündigt werden soll. Für diese Testzwecke steht die App nur auf dem internen App-Server, der nur nach Login mit der Personalnummer und einem PIN-Code erreichbar ist, zur Verfügung.

YourLife hat von Anfang an auf persönlichen Kontakt mit den Kunden gesetzt und daher eine große Personaldichte. In letzter Zeit hat es in einigen Filialen aber immer wieder längere Schlangen an den Kassen gegeben und die Personen, die eigentlich für die Beratung eingeteilt wurden, mussten dann auch an den Kassen einspringen. Um dies besser analysieren zu können und die Personalplanung insbesondere der Teilzeitangestellten zu optimieren, stellt YourLife alle Log-Daten der Scannerkassen der letzten 12 Monate zur Analyse zur Verfügung. ITC4U soll basierend auf diesen Daten ein System zur optimierten Personalplanung erstellen. Da sich die Kassiererinnen immer bei denKassen einloggen müssen, wird ITC4U auch gebeten, eine Leistungsanalyse der Kassiererinnen basierend auf den Daten vorzunehmen. Die Personaldaten aller Kassiererinnen, die Voll- oder Teilzeit bei YourLife arbeiten, stehen ITC4U nicht zur Verfügung.

Andreas und Markus sind mit dieser Aufgabe betraut. Sie erstellen verschiedene Kennzahlen, um die Schnelligkeit an der Kasse zu beschreiben. Hierbei ergeben sich, wenn man die Zahlen detailliert analysiert, deutliche Unterschiede basierend auf der Tageszeit. Die Schlüsse daraus können vielleicht genutzt werden, Pausenzeiten besser zu planen. Auch zeigt sich deutlich, dass die Geschwindigkeit der einzelnen Personen von Tag zu Tag Unterschiede aufweist.

Als sie amNachmittag beim Kaffee mit Clemens darüber sprechen, der für die Aufbereitung der Daten aus der AppUnbeschwert für B. Lange zuständig ist, kommt Markus die Idee, man könne, sofern diese Daten auch irgendwiemit der Personalnummer verknüpft sind, die Daten jamal mit den Performancedaten an der Kasse vergleichen.Nachdemsich die drei zuerst etwas erstaunt anschauen, da die Idee doch etwas gewagt scheint, nehmen sie es doch in Angriff. Tatsächlich kann Clemens die Personalnummer in den ihm zur Verfügung gestellten Daten erkennen. 20 Testnutzerinnen der App arbeiten auch an der Kasse und so sind schnell einige Auswertungen gemacht. Bei acht Frauen ergibt sich ein deutlicher Leistungsabfall in den ersten zwei Tagen des Zyklus, bei denen in derApp größere Schmerzen eingetragen wurden, bei 12 weiteren Personen ist ein nicht signifikanter Effekt zu beobachten.Andreas grinst die beiden anderen an: ,,Naja, jetzt weiß ichwenigstens warummeine Liebste manchmal nichts auf die Reihe bekommt!“ Die anderen beiden grinsen zurück.

Im Teammeeting von ITC4U am Mittwoch machen die beiden ITC4U-Inhaber Thomas und Frank die Ankündigung, dass Frank sich aus gesundheitlichen Gründen aus der Teamleitung zurückziehen wird. Daher bitten sie um In-Haus-Bewerbungen. Clemens zieht hörbar die Luft ein. Andreas grinst ihn an. Das wäre der Traum von Clemens und er wäre super geeignet. Als dann aber Frank seine Stellvertreterin Martina bittet, die neuen Projekte vorzustellen, beschleicht Clemens ein komisches Gefühl. Es scheint, als hätten Frank und Thomas eigentlich schon einen neuen technischen Leiter – eine Leiterin – bestimmt. Martina ist die einzige Ingenieurin in der Firma.

Beim Bier abends macht sich Markus Luft. Er und die anderen sind mit Martina nie so recht warm geworden. Sie ist immer so ernst und professionell und hat keinen Sinn für Humor. Seit sie im Großraumbüro sitzt sei es weniger entspannt und lustig, die Arbeit würde nicht mehr wirklich Spaß machen. Wenn sie dann noch für die Projekte verantwortlich sei! Nein, das ginge gar nicht. Da schaut Andreas ihn an. Das sollte doch nicht so schwierig sein … Sie sei doch eine Frau und mit ihren Analysen letzteWoche hätten sie doch gezeigt, dass die Leistungsfähigkeit von Frauen zyklusabhängig sei. Die Firma kann sich niemanden leisten, der nicht immer voll einsatzfähig sei. Markus wirft ein, dass sie ja nur wenige Daten hätten und die Effekte nur bei acht Personen signifikant seien. Andreas wischt die Bedenken beiseite, immerhin hätten sie es da schwarz auf weiß und sie wüssten ja wohl alle, dass ihre Frauen manchmal schlechte Launen hätten. Da fangen sie alle drei an zu lachen. Markus bietet an, diese Ergebnisse morgen so nebenbei bei Thomas und Frank anzusprechen. Andreas hebt sein Glas: Auf Clemens, den neuen technischen Leiter!

Auf demNachhauseweg fühlt sich Clemens nicht sehr gut. Ob sie die Daten wirklich so weitergeben sollten? Vielleicht schadet das Martina mehr, als nur in Bezug auf die Bewerbung zur technischen Leiterin? Und was ist, wenn Thomas oder Frank die Daten so interessant finden, dass sie die Daten an YourLife weitergeben? Und überhaupt, riskieren sie Probleme, weil sie die Daten einfach so zusammengefügt haben?

Fragen

  • Ist es richtig, In-Haus-Bewerbungen für eine Teamleitung bei einer so kleinen Firma zu verlangen? Sollten die Geschäftsführer das nicht einfach selber bestimmen?
  • Ist so eine Verknüpfung zweier Datenmengen zulässig? Es geschieht ja innerhalb der Firma. Wenn es rechtlich zulässig ist, ist es ethisch vertretbar?
  • Gibt es rechtliche Vorschriften für eine Analyse von Performance-Daten? Müssen die Mitarbeiterinnen aufgeklärt werden darüber, was die Firma mit den Daten vor hat?
  • Die App in vorliegendem Beispiel wurde gezielt für Frauen mit Beschwerden entwickelt. Schwächt dies die Aussage, die aus der Verknüpfung der Daten gezogen werden können?
  • Data Mining ist ein nützliches Instrument, um Zusammenhänge zu entdecken, die man sonst nicht vermutet. Worin bestehen die Gefahren, die Zusammenhänge falsch zu interpretieren, zum Beispiel also eine Kausalität zu unterstellen? Wenn Zusammenhänge fest gestellt werden, sollen diese verwendet werden? Gibt es Gründe, festgestellte Zusammenhänge nicht zu verwenden?
  • Wie wird die Signifikanz von Zusammenhängen festgestellt? Ist eine Aussage ,,signifikanter Zusammenhang“ objektiv?
  • Es ist schwer, aus Daten gewonnene Zusammenhänge richtig zu interpretieren. Welche Voraussetzungen braucht es hierfür? Wie kann man Außenstehenden, welche die Methoden nicht kennen, die entdeckten Zusammenhänge erklären? Es können hierbei ja leicht Missverständnisse entstehen.
  • Im beschriebenen Fall möchte Markus die Inhaber von ICT4U auf die wenigen Daten hinweisen, in denen Frauen zu Beginn des Zyklus etwas weniger leistungsfähig sind. Er möchte nicht darauf hinweisen, wie wenige Daten sie haben, und auch nicht direkt Martina ansprechen. Jedoch hofft er, dass diese Information Entscheidungen beeinflussen wird. Wie ist sein Verhalten zu bewerten? Wenn Frank und Thomas darauf anspringen, wie muss dann ihr Verhalten bewertet werden? Wie groß ist das Risiko, dass wir uns unbewusst durch auf diese Weise dargestellten und mit vermeintlich ausreichenden Daten ,,untermauerten“ Zusammenhänge beeinflussen lassen?
  • Kennen Sie Beispiele von einem ,,allzu lockeren“ Umgang mit Zusammenhängen, die man in Daten gesehen hat? Hatten diese Beispiele negative Konsequenzen? Positive Konsequenzen?
  • Wir Menschen tendieren oft dazu, andere in Schubladen zu stecken. Vergrößert sich diese Gefahr durch die zunehmende Datenanalyse? Oder werden wir vielleicht lernen, dass das Gegenüber nicht so leicht zu erfassen ist, je mehr verschiedene Zusammenhänge uns bekannt werden? Kann die Vielfalt von Informationen, die wir über unser Gegenüber erhalten, auch dazu führen, dass wir diese nicht mehr so leicht in Schubladen stecken?

Erschienen im Informatik Spektrum 41(3), 2018, S. 208–210

Fallbeispiel: Blockchain-Disruption?

Wolfgang Coy,  Stefan Ullrich

Pia hat sich nach einem Studium der Mathematik für eine Promotion in der Informatik entschieden. Sie besucht sogar Vorlesungen in der praktischen Informatik, obwohl sie das nicht müsste; es interessiert sie aber ungemein, wie mathematische Formeln plötzlich in Software-Produkten eingesetzt werden. Ihre Kommilitoninnen und Kommilitonen findet sie sehr sympathisch, allerdings scheinen sich viele nicht für die Theorie der Informatik zu interessieren, sondern nur, wie man möglichst effizient und zuverlässig ein gegebenes Problem löst. Pia hat sich rasch mit Alex angefreundet, inzwischen gehen sie regelmäßig zusammen in die Mensa und hängen im Arbeitsraum schweigend auf dem gleichen Sofa an ihren Rechnern ab. Alex hat seinen Master noch immer nicht geschrieben, weil ihn seine Startup-Firma SERVANDA komplett einnimmt, die er mit zwei BWL-Studenten, einer Designerin und einer Medieninformatikstudentin gegründet hat. Seit einigen Wochen kommt er gar nicht mehr in die Uni, Pia trifft ihn eines Abends eher zufällig. Sie begrüßen sich herzlich und gehen in das nahe gelegene Teehaus am alten Hafen.

Alex erzählt, dass er jetzt im FinTech-Sektor arbeitet. ,,Bitcoins? Kasino-Kapitalismus? Zahlst Du den Kaffee – oder muss ich schon einspringen? Ich kenn den heutigen Kurs nicht“ fragt Pia. ,,Nein, nein. Blockchain-Anwendungen. Total seriös. Und ich zahle, auch wenn wir noch keinen Umsatz machen. Unseren ersten richtig dicken Kooperationspartner haben wir schon.“ grinst Alex. ,,Aber Blockchain ist doch sowas von 2017“, frotzelt Pia, ,,damit lockt man doch keine weiteren Kunden mehr an.“ ,,Denkst du, es sind doch keine spekulierenden Privatkunden, sondern Firmen, die sich für Langzeitverträge interessieren.

Es geht um die Langlebigkeit von Verträgen, wenn sich die Umstände ändern. Brexit, Privatisierung, Verstaatlichung – unser Vertragssystem garantiert die Integrität noch in 100, 200 Jahren! Pacta sunt servanda!“ ,,Ich kann kein Französisch“, scherzt Pia, ,,aber von der Blockchain verstehe ich vielleicht einiges. Ich verstehe beispielsweise, dass wir noch gar keine Aussagen über ihre Integrität in zehn oder gar einhundert Jahren machen können.“ ,,Wir“, unterbricht sie Alex, ,,haben demnächst sogar ein erstes consumer-Produkt. Eine App, mit der man digitale Tagebücher in der Cloud abspeichern kann – total sicher mit einem Passwort und für beliebig lange Zeit. In unserer Blockchain. DiaryChain soll sie heißen. Tagebuch in der cloud. Total privat. Unantastbar! Verschlüsselt! Lebenslang! Und wirklich neu: Gemeinsame Tagebücher: Texte, Bilder – auch solche die nicht jeder sehen soll –, Filme. Oder die Geschichte einer Krankheit, Befunde, Entwicklungen, medizinische Eingriffe, positive und negative ärztlicheMaßnahmen, Messwerte der iHealth-Geräte usw. Kann man später dann mal mit Abstand betrachten. Oder Passworte. In der Blockchain! Von überall aus erreichbar mit einem einzigen Masterpasswort.“ ,,Sorry, wie wollt ihr diese Daten vor fremdemZugriff schützen?“ ,,Behold: Das Masterpass – mit mindestens zwölf Zeichen.“ ,,Und das soll ausreichen? Wie sicher ist denn eure Software überhaupt?“ ,,Kein Problem, die Blockchain-Software ist Open Source. Da kümmern sich andere drum, man kann die Verschlüsselung ja auch der Technikentwicklung anpassen.“

Pia wird etwas unruhig. ,,Wird die denn zuverlässig weiter gewartet? Soweit ich weiß, sind weniger als zehn Prozent angefangener Blockchain-OS-Systeme noch aktiv. Die anderen werden nicht geupdatet, wenn Schwachstellen in der Krypto sind, oder besser gesagt, wenn Schwachstellen gefunden werden, denn wir sprechen ja hier immer noch von Software, Software ist nie fehlerfrei. Und eine klare Definition, was sie eigentlich machen soll, steht ja letztlich auch aus.“ ,,Bei uns ist Software sicher!“, trumpft Alex auf. ,,Heißt das, Eure Blockchain ist formal verifiziert? Kann ich kaum glauben.“ ,,Nee, das

nun nicht. Aber Kirami, ja, genau, der Kirami von der Krypto-Foundation, hat geschrieben, dass er sie so lange er etwas Zeit findet, weiter warten will und Updates pusht. Und wenn er aufhört, macht es jemand anders, die developer community ist riesig. Und was soll dann schon noch schief gehen? Sie läuft ja bei uns.“ Pia ist nicht überzeugt, dass SERVANDA-Software einfach jahrelang oder gar jahrzehntelang läuft, ohne dass Fehler auftreten, die unbedingt behoben werden müssen. Aber da ist noch ein weiteres Problem, das ihr in den Kopf kommt. ,,Die Daten sind ja nun für immer in der öffentlich einsehbaren Chain, wie sichert ihr die denn? Zehn Zeichen lange Passwords sind heute schon problematisch. Zwölf ist derzeit Standard.

Aber in zehn Jahren – oder gar fünfzig? Es gibt ja jetzt allerlei Versuche mit Quantenrechnern. Für die sind die meisten Verschlüsselungen ein Klacks, wenn sie entsprechend viel Bits gleichzeitig nutzen können. Bei 12 Zeichen wären das,Moment mal, kommen ja nur die Zeichen in Frage, die auf allen verwendeten Eingabegeräten genutzt werden können – das sind, glaub ich 72 verschiedene. Bankenüblich heißt daswohl. Also grob 75 Bit für 12 bankenübliche Tastaturzeichen. Meinst Du dass in zehn Jahren keine Quantenrechner auftauchen, die mit 75 Qbits rechnen. Oder halt in 20, 30 oder 50 Jahren?“ ,,Ach ja, Quantencomputer“, unterbricht Alex ihren Redeschwall ,,die kommen so schnell nicht.“

Alex’ Euphorie wird durch die Einwände ein wenig gedämpft, aber sein breites Grinsen verschwindet nie ganz. ,,Pia, ganz ehrlich, unsere Klitsche besteht eher aus Designern und PR-Strategen und etwasManagement. Ich bin der einzige Programmierer. Wir haben aber eine richtig coole Website, stehen in allen Suchmaschinen an oberster Stelle und haben die besten Referenzen. Ich verstehe ja deine mathematischen Einwände, aber das ist eben Theorie. Ganz praktisch können wir ein System anbieten, das nicht manipuliert werden kann und das ohne externe Aufsicht auskommt.“

,,Alex, die Quanten-Disruption wird kommen. Und selbst wenn nicht die Krypto gebrochen wird, wie stellt ihr denn sicher, dass sich genug Leute an diesem System beteiligen? Dass es überhaupt mit handelsüblicher Hardware betrieben werden kann? Was, wenn es einfach nicht mehr genutzt wird, oder schlimmer, was, wenn es geforked wird? Was, wenn die Transaktionskosten so teuer werden, dass bestehendeVerträge einfach nicht mehr geändert werden können, weil es die Vertragspartner ruinieren würde? Was, wenn…“ ,,Ich seh schon, wir brauchen vielleicht wirklich einen Mathe-Freak bei uns. Wie ist denn deine Gehaltsvorstellung? Hättest du Interesse, bei uns einzusteigen und dich um diese Themen zu kümmern?“ ,,Nein, danke, ich muss viel zu viel lesen und noch viel mehr schreiben, das schaffe ich nicht zusätzlich.“

Als sie sich verabschiedet haben und Pia sehr lange auf den Bus warten muss, schaut sie sich auf der Website von SERVANDA um. Noch während sie surft, wird die Website aktualisiert. Unter der Überschrift ,,5 Fakten, warum Sie auf SERVANDA vertrauen können“ liest sie nun: ,,Mehr als 90% der Blockchain-Lösungen sind anfällig für die Quanten-Disruption. Unser System wird regelmäßig an den neuesten Stand von Wissenschaft und Technik angepasst, so dass sie sicher sein können: Pacta sunt SERVANDA!“

Fragen

  • Dürfen Informatiker denkbare Risiken in ihren Produkten offen lassen? Müssen Sie an der Lösung arbeiten, sowie sie erkannt werden? Müssen Sie sie wenigstens offen ansprechen?
  • Open-Source-Software-Lizenzen beginnen oft mit einem Haftungsausschluss, kann sich eine Entwicklerin oder ein Entwickler so einfach aus der Haftung stehlen? Oder Nutzerinnen und Nutzer?
  • Ist es ein moralisches Problem, bei Software-Problemen zu sagen: Davon versteh ich nichts, das macht die community?
  • Gehen die relevant erscheinenden Risiken Pia überhaupt etwas an?
  • Besitzt Pia eine moralische Verpflichtung, Arbeit in die Lösung der von ihr angesprochenen Probleme zu stecken? Hätte Sie Alex’ Arbeitsangebot annehmen sollen?
  • Sind Sicherheitslücken, noch dazu unentdeckte, überhaupt ein moralisches Problem?
  • Wie soll man verantwortlich mit Software umgehen, die hundert Jahre eingesetzt werden soll?
  • Sind Entwicklerinnen und Entwicklermoralisch dazu verpflichtet, zukünftige Technologien wie Quantencomputer in ihre Überlegungen einzubeziehen?
  • Das Start-Up besteht aus mehreren Personen. Tragen die (Medien-)Informatikerinnen und Informatiker eine größere Verantwortung als die anderen Firmenmitglieder? Tragen die Gründungsmitglieder eine größere Verantwortung als die Angestellten?

Erschienen im Informatik Spektrum 41(2), 2018, S. 146-147

Fallbeispiel: Assistenzsystem als Killbot?

Constanze Kurz, Debora Weber-Wulff

Ansgar hat seinen Informatik-Master gerade abgeschlossen und nach einer Probezeit eine wichtige Entscheidung getroffen: Er hat begonnen,Vollzeit in einer Rüstungsfirma zu arbeiten. Es fiel ihm nicht ganz leicht, weil er keine besondere Vorliebe für das Militär hat, doch durch seine Masterarbeit war er mit der Firma bereits vertraut und überzeugt, eine interessante und angenehme Arbeitsatmosphäre für seinen ersten Job gefunden zu haben. Er hofft, mit dem guten Gehalt seine Schulden aus dem Studium schnell zurückzuzahlen.

Sein neuer Arbeitgeber stellt Kettenfahrzeuge mit festmontierten Abwehrwaffen her. Es sind defensive Systeme, die darauf programmiert sind, Zivilisten, aber auch Tiere als Ziele sicher zu vermeiden, jedoch feindliche Fahrzeuge abzuwehren. Die Firma liefert Hard- und Software zwar hauptsächlich an das Militär, hat aber mittlerweile sehr viel mehr Umsatz im zivilen Bereich. Denn die Softwarevarianten der Systeme eignen sich auch hervorragend für alles, was eine treffsichere optische Analyse und Objekterkennung braucht – und verkauft sich blendend.

Ansgar ist durch seine Masterarbeit ein Spezialist für die Auswertung vor allem optischer Signale geworden, in diesem Bereich hat er bereits als Student gearbeitet. Seine Software, die er im Team mit zwei älteren Kollegen, Sabine und Ingo, in vielen Monaten konzeptioniert und programmiert hat, nutzt Techniken der künstlichen Intelligenz. Seine beiden Kollegen haben mehr Erfahrung als Ansgar und konnten ihm viel beibringen.

Mit der von dem Team erstellten Software können vorab bezeichnete Objekte optisch sicher erkannt und klar unterschieden werden von solchen, die nicht mit sehr hoher Wahrscheinlichkeit zugeordnet werden können. Diese Unterscheidung ist besonders für die militärische Anwendung von Bedeutung, denn die Softwareergebnisse liefern den Systemnutzern in Echtzeit Informationen darüber, was für ein Objekt die Sensoren aktuell aufzeichnen. Im Nachtbetrieb erleichtert das denmilitärischen Nutzern die Entscheidung, wann die Waffen benutzt werden und wann nicht, denn im Dunkeln ist das System den Augen des Menschen haushoch überlegen.

Mit einer neuen Geschäftsentscheidung der Unternehmensleitung aber tun sich Sabine und Ingo schwer: Die schriftlich übermittelte neue Software-Spezifikation enthält die Anforderung, die aus den Sensordaten errechnete Objekterkennung mit der Schussvorrichtung desWaffensystems direkt zu verknüpfen. Sie wissen, was das heißt: Ihre Software wird damit vielleicht die Entscheidung über Leben und Tod treffen – ohne dass ein Mensch den Finger am Abdruck hat. Wird mit sehr hoher Wahrscheinlichkeit ein bestimmtes Objekt erkannt und gleichzeitig errechnet, dass es sich weder um einen Zivilisten noch um ein Tier handelt, soll die Schussvorrichtung selbständig auslösen.

Sabine ist entsetzt. Für sie ist es ein himmelweiter Unterschied, ob ein Soldat sofort die Softwareergebnisse sieht und dann eine besser informierte Entscheidung treffen kann oder ob dieWaffe dann selbst auslöst. Damit wird aus dem Softwaresystem ein LAWS (Lethal AutonomousWeapon System), und damit will sie nichts zu tun haben. Sie weigert sich sofort, weiter daran mitzuwirken, und stellt einen Antrag, in die zivile Sparte der Firma zu wechseln

Ingo hingegen könnte sich schon vorstellen, dass man bei ehrlicher Betrachtung der Auswertung vergangener Einsätze gerade im Nachtbetrieb zu dem Ergebnis kommt, dass die Software weit bessere Ergebnisse als ein Mensch liefert und deswegen sehr viel mehr Zivilisten und Tiere schützt als ihnen schadet. Er hat im Grunde genommen wenig Sorgen und kann sich vorstellen, die Software in diese Richtung weiterzuentwickeln. Er sieht allerdings erheblichen Forschungs- und Diskussionsbedarf, um abzuklären, unter welchen Bedingungen ein automatischer Schuss auszulösen ist.

Ansgar hingegen findet die älteren Kollegen irgendwie unmodern. Er ist sich sicher, dass in Zukunft unglaublich viele Echtzeitentscheidungen durch Software getroffen werden, sowohl im zivilen als auch im militärischen Bereich.Man könne doch das Rad nicht zurückdrehen. Er freut sich schon jetzt auf durch Software gesteuerte Autos und wäre einer der ersten Kunden. Gerade wegen der überragend guten Erkennungsleistung ihrer Software versteht er die Bedenken der Kollegen nicht. Wollen sie ernsthaft argumentieren, dass irgendein Soldat mitten in der Nacht mehr sehen könnte als die Kombination ihrer Software mit den Sensordaten?

Fragen

  1. Ist es sinnvoll, KI-Methoden von als Assistenzsystemkonzipierter Software auf tatsächlich autonome Schießvorrichtungen anzuwenden? Müssen dazu nicht ganz neue ethische Fragen diskutiert werden? Welche wären das?
  2. Wie könnte man überhaupt testen, ob die Methode der Erkennung bei echten Einsätzen wirklich funktioniert?
  3. Muss sich Ansgar für einem autonomen Einsatz stärker dafür
    interessieren, mit welcher Genauigkeit die Software arbeitet? Warum eigentlich? Die Soldaten verlassen sich doch schon heute auf die Ergebnisse der Software.
  4. Ändert sich dadurch etwas, dass Ansgar unerfahrener ist als die Kollegen? Sollten oder müssen Sabine und Ingo hier Einfluss auf ihn nehmen?
  5. Ist es vertretbar, dass eine KI-Software über Leben und Tod entscheidet, wenn die bisher gemessenen Erkennungsraten weit über menschlichen Fähigkeiten liegen und damit vielleicht Leben von Zivilisten oder Tieren gerettet würden? Kann man bei Waffensystemen überhaupt davon reden, Leben zu retten?
  6. Falls sich sowohl Sabine als auch Ingo entscheiden, die gewünschte Weiterentwicklung nicht vertreten zu können: Darf sich Ansgar aus ethischer und zwischenmenschlicher Sicht anmaßen, im Zweifel allein zu entscheiden, ob er die gemeinsam geschaffene Software auch für autonome Waffensysteme weiterentwickelt oder nicht? Muss er Rücksicht nehmen auf die Entscheidung der Teammitglieder?
  7. Ansgar ist neu im Job. Er weiß, dass er diese Arbeitsstelle braucht und dass er eine schlechtere Position als die erfahrenen Kollegen hat. Wie beeinflusst das seine Entscheidung?
  8. Wäre es anders, wenn die Software zunächst für die Katastrophenschutz entwickelt worden ist und nun militaristisch eingesetzt wird?

Erschienen im  Informatik Spektrum 41(1), 2018, S. 65-66.

The Machine Fired Me

A very troublesome tale (https://idiallo.com/blog/when-a-machine-fired-me) of a software-based decision system running wild. Well worth reading!

 

Bericht: gewissensbits@Turing-Bus

Die Gesellschaft für Informatik und die Open Knowledge Foundation Deutschland fahren im Rahmen des Wissenschaftsjahrs 2018 mit dem mobilen Bildungsprojekt Turing-Bus in die ländlichen Gebiete der Republik. Beim offiziellen Tourstart am 22. Mai wurden mehrere Workshops angeboten, darunter ein gewissensbits-Workshop. Aus dem Ankündigungstext:

Wir haben das Diskutieren verlernt, es geht nur noch darum, laut und im Recht zu sein. Dabei ist es gar nicht so leicht, zu wissen, ob man im Recht ist. Und selbst wenn du glaubst, dies zu wissen, kannst du manchmal durch den Einsatz von Technik in eine Situation kommen, in der du gar nicht richtig handeln kannst. Anhand von Videos und Texten solcher Situationen wollen wir über Ethik und die Rolle der Technik für unser Zusammenleben diskutieren.

Jugendliche im Rijksmuseum Amsterdam

Jugendliche im Rijksmuseum Amsterdam. Original-Photo (c) 2014 Gijsbert van der Wal.

Vierzehn Schülerinnen und Schüler diskutierten bei schönstem Sonnenschein draußen über drängende Probleme des allzu sorglosen Umgangs mit informationstechnischen Systemen. Zunächst wurde über die Rolle der digitalen Medien diskutiert, illustriert wurde dies mit einem Bild einer Gruppe Jugendlicher, die im Rijksmuseum Amsterdam über ihre Smartphones gebeugt vor einem Gemälde saßen. Die im letzten Jahrtausend Geborenen interpretieren dieses Bild stets als anschauliches Beispiel für den Sittenverfall der Jugend, die Rembrandt ignorieren und lieber im Web surfen. Die digital natives im Workshop hingegen wussten genau, was dort zu sehen war: Die Gruppe informierte sich umfassend dank Museums-App über die soeben gesehenen Gemälde.

Dieses Beispiel zeigt, wie einfach sich falsche Nachrichten verbreiten, wenn die Geschichte mit den eigenen Vorurteilen übereinstimmt und die Aufregung über das Gelesene groß genug ist. Im Workshop lernten wir aber auch, wie einfach man diese Fake News nun entlarven kann. Den Leserinnen und Lesern der Yellow Press der letzten Jahre des 19. Jahrhunderts war nicht klar, dass sich die Betreiber der größten Boulevard-Zeitungen auf Kosten der Wahrheit einfach Geschichten ausdachten. Kleine, harmlose, aber auch große mit fatalen Folgen. Mit Hilfe der digitalen Medien ist die Recherche nun sehr viel zugänglicher, es gibt immer mehr freie Korpora für Dokumente und Photos, außerdem neue Werkzeuge, etwa die Bildersuche anhand von Bildern (anstelle eines Suchbegriffs).

Abschließend diskutierten wir über den Dauerbrenner der maschinellen Entscheidung. Wenn du einem selbstfahrendes Auto programmieren würdest, welche Regeln wären das? Das Lernen anhand von bisherigen Praktiken wurde von den Schülerinnen und Schülern sehr kritisch gesehen, da sich menschliche Vorurteile dann verfestigen würden. Als Beispiel wurden Wohnort, Hautfarbe und Geschlecht angeführt. Die Maschine würde dann aufgrund von arbiträren Merkmalen eine »Entscheidung« treffen, was mit der Menschenwürde und dem Diskriminierungsverbot nicht vereinbar ist.

Die Schülerinnen und Schüler waren sehr viel kritischer und reflektierter als es medial immer dargestellt wird. Sie diskutierten ganz sachlich und thematisch präzise, waren aber sichtlich desillusioniert. So begeisterten sie sich für bestimmte Dinge, wollen diese aber nicht im Studium verfolgen, weil sie sich von einer anderen Studienwahl bessere Berufschancen versprechen. So thematisierten wir abschließend auch noch das Motto des Wissenschaftsjahrs »Arbeitswelten der Zukunft«, freilich mit einem ermunternden Ausblick: Ihr habt es selbst in der Hand, diese Zukunft zu gestalten. Zivilgesellschaftliche Organisationen wie die GI helfen euch gern dabei.

Update: Inzwischen ist auch die offizielle Pressemitteilung veröffentlicht.

Dazu Prof. Dr. Hannes Federrath, Präsident der Gesellschaft für Informatik e.V.: „Als Gesellschaft für Informatik e.V. wollen wir junge Menschen dazu ermutigen, sich konstruktiv und kritisch mit der sich wandelnden, digitalen Arbeitswelt auseinander zu setzen. Ein grundlegendes Verständnis der Informatik ist dafür ein entscheidender Faktor. Mit dem Turing-Bus wollen wir Schülerinnen und Schüler für dieses spannende Fach begeistern.“
https://gi.de/meldung/gewissensbits-senseboxen-digitale-flugblaetter-und-haustiere-auf-tour/

Fallbeispiel: Inspiration

Christina B. Class, Rainer Rehak

Andrea ist bei allen ihren Kommilitonen sehr beliebt und lacht viel. Als sie an einem Nachmittag beim Beachvolleyballspiel plötzlich bewusstlos wird und stürzt, sind alle sehr betroffen. Im Krankenhaus wird festgestellt, dass sie an einer bisher nicht diagnostizierten Diabetes und einer Schilddrüsenunterfunktion leidet. Dazu kommen Nahrungsmittelunverträglichkeiten. Die Ärzte raten Andrea, ihr Gewicht etwas zu reduzieren, und geben ihr verschiedene Medikamente. Sie soll zudem ihre Ernährung genau protokollieren, um die Nahrungsmittelunverträglichkeiten detailliert festzustellen. Andrea findet das alles recht kompliziert und sucht sich Unterstützung durch diverse Apps für ihr Smartphone. Da keine einzelne der Apps ihren Anforderungen genügt, verwendet sie verschiedene Apps gleichzeitig, um Kalorienaufnahme und -verbrauch, Gewicht, Ernährungspläne, Sportaktivität, Blutdruck, Blutzucker und noch andere Daten zu erfassen.

Beim Picknick zusammen mit ihren Freunden sieht Eva, die sich ihr Studium mit der Entwicklung von Apps finanziert, wie Andrea mit den verschiedenen Systemen hantiert. Eva meint spontan, sie sollten doch einfach gemeinsam eine App entwickeln, die Andrea unterstützen kann. Mit Chris, der Medizin studiert, setzen sie sich zusammen und entwickeln eine auf Andreas Bedürfnisse zugeschnittene App. Sie verbinden diese mit den Signalen von einer Fitnessuhr sowie den Daten eines neuartigen Blutzuckermessgeräts. Eva implementiert außerdem eine Verschlüsselung der gemessenen Informationen, so dass selbst die für Backups exportierten Daten vor fremdem Zugriff geschützt sind. Chris meint eines Abends spaßeshalber, sie sollten doch einfach eine Firma gründen, es sei doch alles vorhanden. Gesagt, getan, so entsteht einige Wochen später die ACE GmbH, und sie stellen die entwickelte App mit einem geringen Preis, aber unter der freien GNU General Public Licence (GPL) mit dem Namen „FitUndGesund“ per Appstore zur Verfügung.

Nach einiger Zeit entdeckt eine Nahrungsmittelwissenschaftlerin die App zufällig und installiert sie testweise. Sie ist sofort begeistert von denMöglichkeiten und stellt die App in einem Erfahrungs- und Testbericht auf ihrem reichweitenstarken Gesundheitsblog vor. Daraufhin steigen die Downloadzahlen der App von wenigen Downloads pro Woche auf Dutzende pro Tag an.

Auf diese Weise wird auch Franka von der FutureFit AG auf die App aufmerksam. Sie leitet das Entwicklungsteam für das neue Fitnessarmband der Firma, das mit modernen Sensoren ausgestattet werden soll. Die FutureFit hat in letzter ZeitMarktanteile verloren und daher ist ein Erfolg des Fitnessarmbands für die Zukunft der Firma dringend angeraten. Dem Team um Franka fehlt es bisher jedoch an überzeugenden neuen Ideen, mit denen sie sich von der Konkurrenz abheben können. Hier kommt ihr die App „FitUndGesund“ gerade recht. In der nächsten Teamsitzung weist sie Jörn auf die App hin und bittet ihn, sie zu testen und sich für Möglichkeiten zur Nutzung der Daten vom FutureFit-Armband inspirieren zu lassen. Jörn lädt die App sogleich herunter und ist hellauf begeistert. Sie passt wunderbar zu den ohnehin angedachten Use Cases und stellt die gesammelten Daten auf verblüffend intuitive Weise dar. Damit könnte man das Fitnessarmband erfolgreich auf dem Markt platzieren. Um genauer zu verstehen, wie die App die Daten analysiert, lädt er den Quellcode herunter. Je mehr er sich die App ansieht, umso mehr ist er von der Arbeit der drei Studenten beeindruckt; sowohl von der Softwarequalität als auch vom Bedienkonzept her. Etwas Ähnliches zu erstellen würde ziemlich aufwändig sein, zumal die Geschäftsleitung zunehmend Druck macht.

Aber die Studenten haben das ganze ja unter einer freien Lizenz zur Verfügung gestellt, da könnte er den Code doch einfach frei verwenden. Gedacht, getan. Durch die Verwendung des App-Codes kann Jörn die Werte der Armbandsensoren in die Anwendung integrieren und die Oberfläche anpassen. Da er zukünftige Kooperationsmöglichkeiten offenhalten bzw. sie nicht unnötig technisch erschweren soll, entfernt er kurzerhand die von Eva eingebaute Verschlüsselung der Daten und baut noch eine Sharing-Funktionalität ein. Jörn denkt sich dabei nur scherzhaft: „Wer das Armband und die App benutzt, der legt eh keinen Wert auf Datenschutz“. Nach mehreren Wochen intensiver Arbeit, stellt er die App in der nächsten Teamsitzung vor. Franka ist begeistert. Sie erkundigt sich, ob die App sich ausreichend von „FitUndGesund“ unterscheidet, man wolle ja keine Probleme mit ACE bekommen. Jörn schaut sich verstohlen um und meint dann etwas unsicher: „Ja, das ist nun unsere Entwicklung! Das kann man doch schon an der Benutzerführung erkennen!“

Ein paar Monate später ruft Chris die anderen ACE GmbH Gesellschafter Eva und Andrea für ein dringendes Treffen zusammen. Die drei finden sich auch zeitnah wieder auf der Picknickwiese ein und so berichtet Chris von einemaktuellen Paper eines Medizinjournals, das er regelmäßig liest. Dort hatte eine Arbeitsgruppe anhand genau der medizinischen Daten, die auch ihre App abfragt, die Neigung zur Alkoholsucht mit hoher Wahrscheinlichkeit voraussagen können. Ihre App wird sogar namentlich erwähnt. Nun überlegen sie, ob sie die App aus dem Store nehmen, eine Warnung einbauen oder einfach nichts tun. Die Daten selbst können ja die App nicht einfach so „verlassen“ und liegen selbst exportiert nur verschlüsselt vor, somit können die Daten ihrer App gar nicht für andere Zwecke verwendet werden. Die drei beschließen, erstmal eine Nacht darüber zu schlafen.

Auf dem Nachhauseweg beschleicht Eva ein zunehmend komisches Gefühl. In einem Entwicklerforum hatte sie vor kurzem eine Diskussion über die GPL-Lizenz bei Apps mitbekommen. Einige waren der Meinung, dass man sich von solchen Apps problemlos inspirieren lassen und auch den Code verwenden dürfe. Solange man nicht den ganzen Code nutzt, sei das ja wohl kein Problem. Ob vielleicht doch der Code ihrer App von anderen verwendet wird? Immerhin ist sie in letzter Zeit recht bekannt geworden. Zu Hause angekommen, setzt sie sich sofort an ihren Computer und programmiert ein Script, das alle Apps aus dem Fitnessbereich des Appstore herunterlädt und deren Binärcode nach den Zeichenketten, Funktions- und Symbolnamen ihrer eigenen App durchsucht. Das kann zwar Stunden dauern, aber bis zum Morgen sollte es durchgelaufen sein. So kann sie wenigstens noch etwas schlafen. Am nächsten Morgen wacht sie auf und schaut sogleich auf die Ergebnisse. Die neue Fitness-App einer gewissen FutureFit AG hat eine Übereinstimmung von 82 %, das kann kein Zufall sein. Sofort ruft sie die beiden anderen an …

Fragen

  1. Ist es vertretbar, dass Andrea, Chris und Eva eine App, die viele sensitive Daten sammelt, ohne weitere externe Beratung veröffentlichen?
  2. Ist GPL eine geeignete Lizenz für eine solche App? Oder ist GPL eventuell sogar eine gebotene Lizenz, damit jederzeit überprüft werden kann, was mit den Daten geschieht und dass diese nicht verändert werden?
  3. Franka hat ihrem Team den klaren Auftrag gegeben, sich von einer bestimmten App inspirieren zu lassen, um ihrer Firma aus Schwierigkeiten zu helfen. Ist dies moralisch vertretbar? Wie weit darf eine solche Inspiration gehen?
  4. Jörn hat sich durch die App nicht nur inspirieren lassen, sondern den Quelltext mit der Absicht zu kopieren genau studiert. Ist es unter diesen Umständen vertretbar, den Quelltext genau zu studieren? Oder hätte Jörn davon Abstand nehmen sollen?
  5. Jörn hat ganz bewusst den Verschlüsselungsteil entfernt, um „Kooperationsmöglichkeiten offenzuhalten“, also die anderweitige Nutzung sensibler Daten zu ermöglichen.Wie bewerten Sie diese Herangehensweise? Stehen Firmen nicht zunehmend unter Druck, die gesammelten Daten zu nutzen und auszuwerten, um konkurrenzfähig zu bleiben?Was für Folgen hat das?
  6. Sollte Franka noch weiter bezüglich des ACE-Quellcodes nachhaken, weil die Unsicherheit von Jörn ja merkbar war? Oder kann sie sich zurücklehnen und mit seiner Antwort zufrieden geben?
  7. Verschiedene Sensoren in Verbindung mit Gesundheits-Apps können dabei helfen, die Körperfunktionen zu überwachen und gesundheitliche Probleme festzustellen oder Sportdaten zu analysieren. Durch Data Mining etc. geben diese Daten zunehmend auch implizite Informationen preis, insbesondere „Risiken“, „Tendenzen“, können ermittelt und zum Nachteil der / mit negativen Konsequenzen für die Benutzer ausgelegt werden. Muss dies um der gesundheitlichen Vorteile willen hingenommen werden? Gäbe es Wege, dies zu verhindern?
  8. Gibt es irgendwelche moralische Bedenken betreffend des Skripts, das Eva geschrieben hat, und das den Binärcode von Apps durchsucht?
  9. Wie sollten die Drei nun vorgehen und warum?

Erschienen im Informatik-Spektrum 40(6), 2017, S. 607-609.

Faites vos jeux

Benjamin Kees, Stefan Ullrich

Walter ist Chef der kleinen Firma AC-Games, die seit über 17 Jahren ein für die Nutzerinnen und Nutzer kostenloses Spieleportal für Online-Gemeinschaftsspiele, meist Rollenspiele, anbietet. Auf dem Portal finden sich aber auch einfache ,,casual games“, unter ihnen vor allem Geschicklichkeitsspiele. Der Kundenstamm ist recht groß, allein mit den einhundert aktivsten Spielerinnen und Spielern können die Traffic-Kosten und der gesamten technische Support über Werbeeinnahmen finanziert werden. Bis zur Finanzkrise vor zehn Jahren stimmte auch der Umsatz im Shop für die virtuellen Gegenstände, doch nun, seit zwei, drei Jahren wird mit dem bisherigen Geschäftsmodell nicht mehr genug Geld verdient, um den Mitarbeiterinnen und Mitarbeitern die Gehälter auszuzahlen. Die Spielehersteller nutzen das Portal in Zeiten von App-Stores kaum noch, die Aufträge bei der Online-Werbung gehen zurück und die Spieler kaufen auch immer seltener virtuelle Artefakte mit hartem Geld ein, kurz:Walter und seinen Mitarbeitern – schon recht alte IT-Hasen – droht die Erwerbslosigkeit. Da kommt das Übernahmeangebot des Datenhändlers Data Broker GmbH zur rechten Zeit.

Bei der nächsten Team-Sitzung wird heiß diskutiert. Ein Datenhändler, das gehe ja wohl gar nicht, echauffieren sich die einen, aber den Dienst einfach abschalten und die Spieler mit ihren liebevoll ausgefeilten Avataren hängenlassen gehe ja wohl auch nicht, entgegnen die Befürworter. Walter wunderte sich ohnehin darüber, dass ausgerechnet ein Datenhändler ein so hohes Gebot abgibt, da sie nur die persönlichen Angaben abfragen, die für die Bezahlung der Artefakte notwendig sind. Selbst die Idee einer ,,Crowdfunding“-Kampagne wird diskutiert, aber schließlich entscheidet man sich für den Datenhändler, nachdem die Geschäftsführung zu dem Schluss kam, dass dies der einzig gangbare Weg sei, und sie ja keine allzu personenbezogenen Daten abfragen würden.

In der Anfangsphase der Firma waren Walter und seine Gründungspartner nicht so sensibel gegenüber dem Thema Datenschutz. In einem frühen Blog-Eintrag von AC-Games schrieb Walter über die ultimative ,,Slot Machine“. Er beschrieb eine Glücksspielmaschine, die sich mit ihrem Timing an die Spielerinnen und Spieler anpasst. Um diese Idee umsetzen zu können, mussten Verhaltensdaten irgendwie gesammelt werden, so wurden unter anderem die Reaktionszeiten der Spielenden von jedem einzelnen gespielten Spiel mitgeschnitten. Es gab noch weitere Nutzungsideen für diese Daten, die jedoch nur im internen Blog diskutiert wurden. Eine weitere Idee war es, Spieler künstlich erzeugtem Stress auszusetzen, um Wahlverhalten zu beeinflussen, so dass sie unvorteilhafte Entscheidungen trafen und dabei zum Beispiel mehr Geld ausgaben oder sich öfter am Tag anmeldeten.Walter war über die Jahre jedoch von der Idee abgekommen. Einerseits, weil ihm das Thema Datenschutz und digitale Selbstbestimmtheit immer mehr am Herzen lag, vor allem aber, weil es hierzulande mit dem Online-Glücksspiel auch rechtlich nicht so einfach ist.

Die zur Datenerhebung programmierten Systeme hätten eigentlich entsprechend umgestaltet werden müssen, aber Kathleen, die damals als einzige den Überblick hatte, was da eigentlich wie gespeichert wurde, hatte zu dieser Zeit nicht die nötigen Ressourcen. So wurde die Erfassung der Reaktionszeiten und anderer Verhaltensweisen fortgesetzt, auch wenn keine unmittelbare Verwendung mehr vorgesehen war. Als irgendwann ein Datenschutzaudit durchgeführt wurde, erwähnte der Dienstleister die ungewöhnliche Datensammlung in seinem Bericht, stellte jedoch fest, dass diese Praxis mit den AGBs der Firma und der Einwilligung der Nutzerinnen und Nutzer rechtens waren.

Durch eben diesen Datenschutzbericht der Firma war nun die Data BrokerGmbH auf die Firma aufmerksam geworden. Die Datenbanken mit über Jahre gesammelten Reaktionszeiten und Verhaltensweisen der Spieler sind nun Teil des Datenkapitals – und stoßen auf großes Interesse bei der Data Broker GmbH. Das Sahnehäubchen auf dem Datenkuchen ist, dass bei einer Übernahme nicht einmal der AGB-Text geändert werden muss, so dass die Spielerinnen und Spieler den Besitzerinnenwechsel im Idealfall nicht mitbekommen und somit ihr Verhalten auch weiter preisgebenwürden.

Der Datenbank-Administrator Hank ist erst seit kurzem bei AC-Games. Da er in dieser Firma ohnehin nicht alt werden wollte, denkt er sich in den letztenWochen vor der Übernahme, ohne großes Risiko ein paar der Ideen ausprobieren zu können, die er in den alten Blogpost von Walter gelesen hatte. Es interessiert ihn, was tatsächlich in den gesammelten Daten steckt, denn auch er war über die horrenden Summen, die Data Broker angeboten hatte, stutzig geworden. Mit ein paar statistischen Berechnungen, die er über mehrere Nächte auf den Servern laufen lässt, kann er eine Reihe von Spielertypen aus den gesammelten Daten identifizieren und den einzelnen Usern zuordnen. Auf der Shop-Seite für virtuelle Artefakte programmiert er dann einen ,,fake counter“, der künstlich die verbleibende Stückzahl je nach Spielertypus variiert. Bei manchen lässt er zuerst eine bequeme zweistellige Zahl erscheinen, die dann alle paar Sekunden um eins reduziert wird. Ob User, die er für sich mit ,,Stress-Typ“ bezeichnet  hat, wohl wirklich auf ,,kaufen“ klickt, fragt sich Hank. Dem Typus mit Hanks Bezeichnung ,,Neugierig“, zeigt Hank zunächst gar keine Zahl, sondern ein Link mit der Aufschrift ,,Verfügbarkeit prüfen“, um dann stets ,,nur noch 1 Exemplar vorhanden“ anzuzeigen. Als Hank am nächsten Abend die Verkaufszahlen aufruft ist er völlig verblüfft, wie gut er die verschiedenen Typen in ihren Handlungen hatte beeinflussen können. Als er sich ausmalt, welchen Einfluss auf die jahrelangen Kunden von AC-Games mit den Zahlen auch außerhalb des Spieleportals genommen werden könnte, kommt er ins Grübeln.

Mit ein paar simplen Befehlen könnte Hank als Datenbank-Administrator die Kunden-IDs von der Reaktionszeiten-Tabelle entfernen, allerdings war ihm vorher untersagt worden, tiefgreifende Veränderungen vor der Übernahme vorzunehmen. Er zieht auch in Betracht, seine Entdeckung Walter mitzuteilen, entschließt sich aber kurzerhand dagegen. Noch bevor die administrativen Zugänge den neuen Zuständigen übergeben werden, pseudonymisiert Hank die Kunden-IDs in der Datenbank mit den gespeicherten Verhaltensweisen. Bei ,,ein paar simplen Befehlen“ bleibt es nicht. Es wird eine lange Nachtschicht, denn ihm wird klar dass er auch alle Zusammenhänge aus den Backups entfernen muss – so dass es aussieht, als wären die Daten schon von jeher so anonym erhoben worden. Eine Zuordnungs-Tabelle, aus der sich die Zusammenhänge wiederherstellen lassen, speichert er auf einem privaten USB-Stick ab.

Fragen

  • Wie bewerten Sie, dass die Firma AC-Games trotz finanzieller Schwierigkeiten ihr Portal weiter betreiben wollen?
  • Welche moralische Verpflichtung hat Walter, seine Kundinnen und Kunden von der Übernahme zu informieren?
  • Ist es vertretbar, dass Hank die Vorgaben für die Übernahme missachtet hat, um eine datenschutzfördernde Pseudonymisierung vorzunehmen?
  • Darf Hank die Daten auf einer privaten USB-Stick abspeichern, wenn er sie nicht mit nach Hause nimmt?
  • Wie bewerten Sie, dass der Datenschutzauditbericht für Data Broker zugänglich war?
  • Welche Verantwortung hatte Kathleen, die Datenerfassung zu beenden oder zu hinterfragen, nachdem die Daten über so viele Jahre nicht benutzt wurden?
  • Ist es problematisch, dass sich die Firma ein Recht auf umfassende Datenerfassung vorbehält, auch wenn die Sammlung von Daten gar nicht so umfassend ist bzw. eine Analyse und Nutzung der Daten gar nicht erfolgt?

Erschienen im Informatik-Spektrum 40(5), 2017, S. 471-472.

Fallbeispiel: Zukunftsvision

Christina B. Class, Debora Weber-Wulff

Als Dani mit dem Hund unterwegs ist, lässt sie ihren Gedanken freien Lauf. Andi und sie hatten beim Frühstück wieder eine längere Diskussion mit ihrer Tochter Alexa, die dabei war, ein Referat über die Geschichte der Computer vorzubereiten. Sie hatte sich noch einmal vergewissert, ob es früher wirklich verschiedene Betriebssysteme gegeben habe. Sie fragte, wie denn die Menschen damit zurecht gekommen seien. Andi hatte versucht, ihr klarzumachen, dass man sich durchaus damit zurechtfinden konnte, wenn man die grundlegenden Konzepte verstanden hatte. Natürlich hätte es deutlich mehr Viren, Trojaner, Würmer etc. gegeben, weil nicht alle Firmen und Regierungsbehörden gemeinsam daran gearbeitet hätten, die Systeme abzusichern. Alexa hatte nachgefragt, wie denn die Wahlen abgesichert wurden, wenn es Sicherheitsprobleme gab. Dani hatte erklärt, dass es damals keine elektronischen Wahlen gab. Sie hat Alexa beschrieben, wie Wahlen abgehalten wurden, indem man persönlich zum Wahllokal ging oder per Briefwahl abstimmte. Erst vor 20 Jahren hätten verschiedene Interessengesellschaften angefangen, elektronische Wahlen abzuhalten. Sie begann, Alexa von Diskussionen über die Sicherheit von Wahlcomputern zu erzählen, an denen sie zu Beginn ihres Studiums beteiligt war, aber diese blockte ab. Diese alten Zeiten interessierten sie wirklich nicht, sie wolle lieber in die Stadt gehen und sich mit ihren Freundinnen treffen. Dani seufzt. Ob sie in dem Alter auch so schwierig gewesen war?

Aber sie konnte wirklich nicht klagen. Andi und sie hatten beide interessante Jobs bei One4All, dem zentralen Anbieter von Internetanwendungen, Informationsangeboten und sozialen Netzwerken.

Sie hatte Andi kennengelernt, als sie beide an der Entwicklung einer neuen App für elektronische Wahlen gearbeitet hatten. Andi war für die Entwicklung, sie für die Tests im Bereich Sicherheit verantwortlich. Es war sehr hilfreich, dass es nur ein Betriebssystem gab und nicht nur Firmen sondern auch das Kommunikationsministerium sowie Abteilungen der Polizei und nationalen Sicherheitsbehörden sich damit beschäftigten, Sicherheitslücken zu finden und schließen. Das hatte alles viel einfacher gemacht. Die App war mit der 2023 eingeführten elektronischen BürgerID verbunden und wurde mit dem Fingerabdruck aktiviert. Das Konzept von Wahlen hatte sich in Folge der Einführung elektronischer Wahlen  in den letzten Jahren völlig gewandelt. Basierend auf dem Vorbild der Volksabstimmungen in der Schweiz, wurden die Bürger auf allen Ebenen (Kommunen, Land und Staat)  in viel mehr Entscheidungen eingebunden.

Vor zwei Jahren hat man neben den eigentlichen Wahlen und verbindlichen Abstimmungen auch ein Stimmungsbarometer eingeführt. Jeder Bürger kann wie bei Wahlen genau eine Stimme abgeben. Das Ergebnis ist für die Parlamente allerdings nicht bindend, sondern hat empfehlenden Charakter. Seit Einführung des Stimmungsbarometers gibt es alle paar Tage eine Wahl oder Abstimmung. Diese elektronischen Abstimmungen und das Abstimmungsverhalten werden regelmäßig analysiert, der Slogan lautet „Politik der Bürger“. Hierzu werden aggregierte Informationen von der App nach Abstimmungen an einen zentralen Server geschickt.

Dani ist im Gegensatz zu Andi an diesem Projekt nicht mehr beteiligt. Seit drei Jahren arbeitet sie im Testteam für die Informer App. Durch die vielen Abstimmungen ist es immer wichtiger geworden, dass die Bürger über die einzelnen Positionen der Parteien und die zur Wahl stehenden Optionen informiert werden, um die Politik entsprechend ihrer Wünsche beeinflussen zu können. Die politischen Parteien und relevante Interessengruppen geben ihre Positionen zentral in das System ein. Die App filtert diese Informationen basierend auf den Wünschen der Nutzer.

Hierzu wird die Informer App bei der Installation durch den Benutzer konfiguriert. Hierbei werden Parameter eingestellt und viele verschiedene politischen Fragen beantwortet. So wird sichergestellt, dass der Benutzer die Information zu Wahlen und Abstimmungen erhält, die ihn interessiert, aber nicht überflutet wird. Die entsprechenden Matching-Verfahren wurden während einiger Jahre optimiert und die App hat von Behörden, Wählern und Interessenverbänden mehrmals gute Kritiken bekommen. Zu Beginn des Einsatzes gab es einige Bürgerorganisationen, die Bedenken angemeldet hatten, weil die App genauso wie die Wahl App auf der BürgerID basiert und beide von derselben Firma entwickelt werden. Aber die Konzepte der Prozessdatenisolation des Betriebssystems schließen einen Informationsaustausch zwischen den beiden Apps aus. Dies wurde sehr intensiv getestet.

Nach einem langen Spaziergang kommt Dani müde nach Hause und freut sich auf einen schönen Nachmittag mit ihrem Mann. Andi hat Kaffee gekocht und den Tisch auf der Terrasse gedeckt. Da zwei Tage später ein neues Stimmungsbarometer für die Budgetplanung der Stadt stattfinden soll, möchten Dani und Andi sich noch etwas Informationen in der Informer App ansehen. Das Betriebssystem und die Informer App werden jedoch gerade aktualisiert und sie warten ein paar Minuten. Nach der Aktualisierung meldet Dani sich per Fingerabdruck erneut an ihrem Telefon an und startet die App. Als es an der Tür klingelt, steht sie auf und wimmelt eine Nachbarin ab. Sie hat wirklich kein Interesse an einem Stadtbummel. Sie geht wieder auf die Terrasse und greift sich ihr Telefon. Andi ist wohl gerade in der Küche. Sie blickt auf die Informer App und stutzt. Das sind aber komische Informationen, sie interessiert sich doch nicht für Details des Flughafenausbaus! Ob das an dem Update liegen könnte? Da kommt Andi wieder auf die Terrasse und grinst Dani an. „Hast Du wieder mein Telefon genommen?“ Dani grinst zurück, reicht Andi sein Telefon und nimmt ihres. Hier sieht sie ganz andere Informationen, nämlich über den Vorschlag des Ausbaus der Waldlehrpfades.

Da Andi und sie vor Abstimmungen immer gerne und intensiv miteinander diskutieren, haben sie die Informer App gemeinsam konfiguriert, um die gleichen Informationen zu erhalten. Nun wird Dani noch mehr stutzig. Sie zeigt Andi ihr Telefon und bittet ihn, die Informationen zu vergleichen. Dani fragt sich, ob das Update evtl. die Konfiguration verändert hat. Das müsste man den Wählern dringend mitteilen. Andi schlägt vor, die Informer App auf beiden Telefonen zurückzusetzen und neu zu konfigurieren. Nach einer guten Stunde ist die Konfiguration beendet. Aber auch jetzt zeigt Informer auf beiden Telefonen unterschiedliche Informationen betreffend der Budgetplanung an. Andi und Dani sind nun wirklich irritiert und versuchen, eine Erklärung für die Unterschiede zu finden. Sie überprüfen erneut alle Parameter der App. Keine Unterschiede.

Dann meint Andi scherzhaft, dass sie wohl in den letzten Abstimmungen unterschiedlich gewählt hätten und daher die Unterschiede kommen. Dani fragt gleich nach: Wie hast Du denn bei der Verkehrsplanung abgestimmt? Andi schaut betreten zur Boden. Obwohl sie intensiv diskutiert hätten, dass der Flugverkehr unbedingt einzuschränken wäre, hat er doch für den Flughafenausbau gestimmt. Er fliegt halt wahnsinnig gerne. Dani und Andi schauen sich schweigend an. Liegen die Unterschiede nur am Update? Wäre es möglich, dass das tatsächliche Abstimmungsverhalten in die Informer App mit einfließt?

So weit eine mögliche Situation in der Zukunft.

Fragen

  • Im beschriebenen Szenario gibt es nur noch ein Betriebssystem und sowohl Firmen als auch Regierungsabteilungen sorgen für dessen Sicherheit. Ist so etwas wünschenswert? Bietet der Wettbewerb an Systemen höheren Schutz auch der persönlichen Daten und Nutzergewohnheiten?
  • Heutzutage definieren Firmen durch ihre Produkte oftmals de-facto Standards, denen Anbieter folgen müssen. Teilweise werden so auch bereits etablierte Standards leicht modifiziert. Könnte dies durch ein einheitliches Betriebssystem verhindert werden? Würde dadurch ein Ausgleich des Einflusses der verschiedenen Player geschaffen?
  • Ist die Idee, dass ein einheitliches Betriebssystem zu mehr Sicherheit führt, realistisch? Oder wären die Risiken höher?
  • Die beschriebenen Programme (die Wahl App und InformerApp) laufen auf diesem einheitlichen, besonders geschützten Betriebssystem und profitieren so von der vermehrten Sicherheit. (Das ist die Annahme des Textes). Wäre es sinnvoll, für besonders sensitive Anwendungen ein spezielles Betriebssystem zu erstellen, das in einer Virtuellen Maschine läuft, und die Anwendungen schützt? Ist das realistisch? Würde dies eventuell einen Anreiz schaffen, genau dieses Betriebssystem anzugreifen?
  • Wenn Wahlen elektronisch von zu Hause aus abgehalten werden, wird die Teilnahme an Wahlen erleichtert. Könnte dies die Wahlbeteiligung erhöhen? Besteht  die Gefahr, dass Menschen weniger überlegen, bevor sie ihre Stimme abgeben, weil die Wahl so einfach ist?
  • Der Text nimmt an, dass Wahlen über persönliche Devices möglich sind. Welche Möglichkeiten gäbe es, um sicherzustellen, dass die Person, die authentisiert wurde auch tatsächlich die Person ist, welche die Stimme abgibt? Wie kann der Wähler davor geschützt werden, dass die Wahl z.B. durch Kameras beobachtet wird? Gäbe es Möglichkeiten, sicherzustellen, dass der Wähler nicht unter Druck gesetzt wird (also die Freiheit der Wahl sicherzustellen)?
  • Wenn Wahlen elektronisch durchgeführt werden, kann die Auszählung automatisiert werden. Könnte dies, wie im Fallbeispiel beschrieben, zu einem größeren Einbezug der Bürger in den politischen Prozess führen? Werden dadurch Volksabstimmungen ermöglicht? Welche Reaktionen der Bürger sind möglich? Werden sie mehr am politischen Geschehen interessiert sein? Fühlen sie sich ernster genommen? Sind mehr Personen bereit, sich zu engagieren? Oder wird vielleicht eine größere Wahlmüdigkeit eintreten, weil Wahlen und Abstimmungen alltäglich werden?
  • Im Fallbeispiel wird ein Stimmungsbarometer erwähnt. Wie ist eine solche Idee einzuschätzen? Kann dadurch sichergestellt werden, dass „Politik für den Bürger“ gemacht wird?  Es gibt den Spruch „Nach der Wahl ist vor der Wahl“.  Welche Gefahr besteht beim Einsatz von regelmäßigen Stimmungsbarometern für strategische Entscheidungen der Politik?  Wie sehr werden Politiker, die sich der nächsten Wahl stellen müssen, beeinflusst? Laut Artikel 38 des Grundgesetzes sind die Abgeordneten des Deutschen Bundestages nur ihrem Gewissen unterworfen. Würde ein Stimmungsbarometer zunehmend Druck auf die Parlamentarier ausüben? Oder wäre es eine hilfreiche Orientierung?
  • Ist es sinnvoll, alle politischen Entscheidungen einer Mehrheitsmeinung der gesamten Bevölkerung zu unterziehen? Wird dadurch die Möglichkeit vertan, notwendige aber unbequeme Entscheidungen zu treffen? Was bedeutet Demokratie? Wie weit soll die „Herrschaft des Volkes“ gehen? Wann und wie oft sollen Bürger einbezogen werden? Welche Rolle spielen die Experten, die eine Entscheidung  / ein Gesetz vorbereiten, wenn alles durch den Bürger abgestimmt wird bzw. der Bürger eine klare Meinungsäußerung abgeben kann? Wie werden sich Entscheidungsprozesse ändern? Welche neue Rolle kommt dem  Bundestag und den Abgeordneten  zu, wenn die Bürger direkt in alle Entscheidungen einbezogen werden können und quasi ein „Volksparlament“ möglich wird?
  • Um wählen zu können, bzw. abstimmen zu können, muss der Bürger informiert werden. Die Informer App übernimmt in obiger Vision diese Rolle. Matching-Verfahren stellen aus Informationen von Parteien und Interessenverbänden Information zusammen, die als Basis für eine Wahlentscheidung dienen soll / kann. Hierbei  wird dem Nutzer nur Information zur Verfügung gestellt, die seinen vorher spezifizierten Interessen entsprechen. Wenn die Nutzerzufriedenheit auch groß sein mag, ist das sinnvoll? Wie groß ist die Gefahr, dass der Nutzer in seiner bereits bestehenden Meinung bestärkt wird? Wie können unpopuläre aber relevante Themen, den Bürgern vor Abstimmungen nahe gebracht werden? Ist denkbar, dass die Schwachen der Gesellschaft, Arme, Behinderte, etc. zunehmend übersehen und vergessen werden? Kann eine solche Art, Bürger zu informieren, zusammen mit den Stimmungsbarometern in der Vision zu einer schleichenden Auflösung des Sozialstaates führen?
  • Wird es in einem politischen System wie in der Vision möglich sein, neue Ideen, neue Parteien zu  platzieren? Oder ist ein solcher Versuch von vornherein zum Scheitern  verurteilt, da diese Ideen nicht  zum Bürger durchdringen werden,  sondern von der Informer App gefiltert werden?
  • Wenn die erdachte Informer App Zugriff auf das Wahl- und Abstimmungsverhalten des Nutzers hat, können die gelieferten Informationen diesem immer mehr angepasst werden. Basierend auf dem Abstimmungsverhalten könnte Informer sich automatisch immer mehr an den Nutzern anpassen. Die Informationen werden nicht nur auf die Interessen sondern auch auf das tatsächliche Wahlverhalten der Nutzer zugeschnitten. Zunehmend wird es möglich sein, das Abstimmungsverhalten der Nutzer vorherzusagen, nicht zuletzt, weil Informer den Nutzer mit der entsprechenden Information versorgt und somit auch Einfluss auf das Abstimmungsverhalten hat. Benötigt es dann eigentlich noch den Bürger, der abstimmt? Oder könnte dieser nicht eines Tages durch einen „Avatar“ ersetzt werden, der für ihn abstimmt? Welchen Wert hat der einzelne Bürger? Welchen Wert hat die Meinungsbildung? Ist sie noch frei?

 

Erschienen im Informatik-Spektrum 40(4), 2017, S. 387-390.

Fallbeispiel: Leistungsgrenzen

Constanze Kurz, Rainer Rehak

Frank arbeitet momentan an einer Gesundheits-App, die sowohl für Patienten als auch für sportbegeisterte Menschen nützlich sein soll. Das ganze Produkt wird letztlich aus seiner App und zusätzlich zwei Körpersensoren bestehen. Die App selbst stellt Filme und Informationen in Form von Trainingsprogrammen bereit und verarbeitet den beim Trainieren entstehenden Sensorinput. In seiner Firma ist er allein für dieses Projekt verantwortlich und steht aktuell sehr unter Zeitdruck, denn das ganze Produkt soll bereits in acht Tagen einer eingeladenen Expertengruppe präsentiert werden.

Die App soll nicht nur die Daten aus den Sensoren verarbeiten, sie stellt auch die Ergebnisse in anschaulicher Form dar und liefert zudem die Schnittstellen für die Weiterverarbeitung der Daten. Denn vor allem Ärzte und Betreuer in Rehabilitationseinrichtungen sollen die gesammelten Sensorinformationen auch langfristig nutzen, auf andere Systeme übertragen und dort analysieren können. All das steht bereits in den Spezifikationen und auch in den bunten Produktbroschüren, die das Marketing-Team der Firma vorbereitet hat.

Die beiden Sensoren, die mit der App per Funk verbunden sind, bringen Patienten oder Sportbegeisterte auf dem unteren Rücken und auf dem Bauch an, bevor sie ein Reha-Programm oder ein anderes Trainingsprogramm der App starten. Während die Bewegungen des Programmes – wahlweise mit Musik – möglichst genau vollführt werden, messen die beiden Sensoren die Körperneigung, die Geschwindigkeit, den Puls sowie die Körpertemperatur und übertragen die Daten an ein Mobiltelefon oder Tablet. Ärzte und Hobbysportler sollen so die Veränderung der Beweglichkeit genauer feststellen können.

Frank hatte an der Konzeption des Produktes mehrere Monate mitgearbeitet und war nicht wenig stolz, als er die Verantwortung für die Umsetzung der App bekam. Aber mittlerweile ist seine Euphorie gänzlich verflogen, er ist seit zwanzig Tagen im Dauerstress. Denn Frank weiß: Er kann die gesteckten Ziele nicht schaffen. Er hatte bei den regelmäßigen Status-Sitzungen das Management immer bestärkt, dass er fast fertig wäre. Eine Mischung aus Angst und Scham hatte ihn davon abgehalten, Klartext zu reden.

Zwar sind Filme und Übungen in passabler Qualität bereitstehend, aber der sensorische Input macht Frank enorme Schwierigkeiten. Er hat einfach nicht genug Erfahrung und auch einige mathematische Schwächen, so dass ihm die Verarbeitung nicht gelingen mag. Um einer Blamage zu entgehen, hat er bereits bei der firmeninternen Vorpräsentation vor einer Woche ein wenig getrickst und die tatsächliche Sensordatenverarbeitung etwas „beschönigt“. Eine echte Auswertung der Sensormessungen nimmt die App aber noch gar nicht vor, erst recht nicht langfristig.

Er hatte eigentlich die Hoffnung, die zeitliche Schieflage noch mit Überstunden ausgleichen zu können. Nun aber weiß Frank, dass er nie und nimmer eine fertige App in acht Tagen präsentieren kann, die wirklich die Sensordaten aufbereitet. Was soll er tun, alles absagen?

Fragen

  • Ist es ein ethisches Problem, dass Frank eine App vorgeführt hat, die Sensorverarbeitung nur vorgetäuscht hat?
  • Wäre es ethisch vertretbar, nur die Vorführung zu fälschen, aber am Ende dafür zu sorgen, dass das finale Produkt so arbeitet wie versprochen?
  • Hätte die Firma so ein Produkt mit so wenig Personaleinsatz fordern sollen?
  • Wie ist es ethisch zu bewerten, dass er das Vertrauen seiner Kollegen missbraucht hat?
  • Sind seine Aussagen in den Status-Sitzungen schlicht gelogen oder ist es ein manchmal notwendiges Verhalten im Arbeitsalltag?
  • Soll Frank nun dennoch an der Fertigstellung der App festhalten, auch wenn er sich überfordert fühlt?
  • Was soll Frank jetzt konkret machen? Hat er überhaupt Handlungsspielraum? Wenn ja, welchen? Hat er vielleicht Handlungspflicht?
  • Welche Verantwortung trägt das Management der Firma?
  • Sollte er sich für den mathematischen Teil der Arbeit extern Hilfe holen? Wie wäre es zu bewerten, wenn die Firma das von seinem Lohn abziehen würde?
  • Wie kann eine Firma derartigen Entwicklungen verantwortungsvoll entgegenwirken?

Erschienen im Informatik-Spektrum 40(3), 2017, S. 300-301.