|
|
Im Rahmen des diesjährigen ver.di-Kongresses beteiligen sich auch Mitglieder der Fachgruppe Ethik und Informatik der GI, und zwar am Mittwoch, den 10. September 2014.
Beschäftigte einer Stadtverwaltung sind aufgerufen, ihre privaten Smartphones und Notebooks dienstlich zu nutzen; Versicherungen berechnen den Tarif für Dienstwagen anhand des aufgezeichneten Fahrverhaltens; immer mehr Arbeitgeber statten die Berufskleidung mit RFID-Chips aus; fahrerlose Bahnen, Kassen ohne Kassierer/-innen treiben die Rationalisierung voran. Daten sind der Rohstoff der Internetökonomie, Profilbildungen die Basis neuer Geschäftsmodelle. Geheimdienste fördern Sicherheitslücken in den digitalen Infrastrukturen unseres Alltags; anlasslose Überwachung gefährdet die Persönlichkeitsrechte in Arbeitswelt und Gesellschaft.
Das Programm (pdf) ist online, leider ist aber die Anmeldung beendet und die Veranstaltung ausverkauft. Die gute Nachricht ist allerdings, dass es einen Live-Stream geben wird. Und wer nicht live zugucken kann, dem hilft vielleicht der Twitter-Hashtag #digi_arbeit.
Benjamin Kees & Rainer Rehak (ohne Autorenvermerk erschienen)
Während Hendriks Informatikstudium kam ein neues Spielekonsolenkonzept auf den Markt, bei dem der eigene Körper den Spielcontroller ersetzt, indem eine Kamera die Bewegungen des Spielers analysiert. Begeistert kaufte sich Hendrik eine solche Spielkonsole. Die Technik dahinter interessierte ihn so sehr, dass er sich in seiner Abschlussarbeit mit einem speziellen Verfahren zur Modellierung und Erkennung menschlicher Bewegungen in Videobildern beschäftigte.
 The Mall. – CC BY-NC-ND Pat Dalton… Kurz nach der Verteidigung der Arbeit erstellte er sich ein Profil bei einem Online-Businessportal mit Informationen über sein Thema und bekam schon wenig später ein gut dotiertes Jobangebot von der noch jungen Sicherheitsfirma „v-Watch“. Diese vertrieb moderne Videoüberwachungsanlagen, wobei der neuartige Ansatz darin bestand, die ständige Beobachtung der Kamerabilder überflüssig zu machen: Die Systeme sollten auffälliges Verhalten automatisch erkennen.
Obwohl er lieber irgendwas mit bewegungsbasierten Computerspielen gemacht hätte, nahm er das Angebot neugierig an und arbeitete kurz darauf mit der ebenfalls neu eingestellten Franziska zusammen, die sich mit vollautomatischen Computerlernverfahren beschäftigt hatte. Bislang gestaltete sich die händische Modellierung aller möglicher Arten von Verhaltensauffälligkeiten viel zu aufwändig, daher war die Verknüpfung von Franziskas Lernverfahren mit Hendriks Bewegungserkennung angedacht.
Das System sollte anhand von Beispielvideomaterial normales von auffälligem Verhalten zu unterscheiden lernen. Würde beim späteren Einsatz das beobachtete Verhalten zu sehr von der gelernten Normalität abweichen, sollte das Sicherheitspersonal automatisch alarmiert werden.
Nach einigen erfolglosen Versuchen bei der Erkennung komplexerer Handlungen konzentrierten sich Hendrik und Franziska zunächst auf die Auswertung von Körpersprache. Diesbezügliche Auffälligkeit wurde bei den wöchentlichen Teamsitzungen als vielversprechendes Indiz für eventuell bevorstehende gewalttätige oder anderweitig kriminelle Handlungen – also als sicherheitsrelevant – erachtet.
Da der Firma jedoch kein entsprechendes Filmmaterial zum Trainieren des Systems zur Verfügung stand und auch das Engagieren von Schauspielern nicht vom Budget abgedeckt werden konnte, entschied man sich kurzerhand, die Angestellten selbst diese Rolle übernehmen zu lassen. Hendrik war von dieser Idee gar nicht begeistert, denn er hatte Bedenken bezüglich der Brauchbarkeit des so entstehenden Materials.
Die Aufnahmesession wurde jedoch im Großen und Ganzen ein lustiger Tag, der auch das Arbeitsklima im Team von v-Watch spürbar verbesserte. Am Vormittag wurde Material für das Anlernen von Normalverhalten gedreht und nachmittags widmete man sich den Auffälligkeiten, mit denen das System später getestet werden würde. Hendrik wurde von seinen Kollegen nach der Sichtung der Bilder noch wochenlang humorvoll „Gorilla-Mann“ genannt. Nur Franziska – die einzige Frau des kleinen Teams – hatte keine Lust, bei dem Theater mitzumachen.
In der nächsten Zeit passte Franziska die Lernverfahren so an, dass sie für die Aufnahmen die erwarteten Ergebnisse lieferten. Nach den nun erfolgreichen Tests wurden Hendriks ursprüngliche Bedenken durch die Euphorie und Anerkennung der anderen über die gute gemeinsame Arbeit sowie den funktionierenden Prototypen zerstreut.
Nach einigen intensiven Monaten mit vielen Überstunden wurde das fertige System zum ersten mal in einem Einkaufszentrum installiert. Besonders Hendriks und Franziskas Modul lieferte viele Warnhinweise. Bei einer Evaluierung berichtete der Kaufhausdetektiv stolz, dass er die vom System als verdächtig eingestuften Leute immer ganz genau im Auge behalten würde. Zwar sei die Kriminalität im Kaufhaus insgesamt nicht signifikant gesunken, die Hinweise – erfahrungsgemäß meist gegen männliche Jugendliche – hätten sich jedoch schon mehrere Male bestätigt: Durch die vom System angestoßene intensivere Beobachtung war man des Öfteren auf Diebstähle und Rangeleien aufmerksam geworden. Als er dies hörte, begann Hendrik zu zweifeln, ob „sein“ System wirklich eine gute Antwort auf das gestellte Problem darstellte, denn es ging hier nicht um ein Computerspiel und falsche Bewegungen hatten echte Konsequenzen.
Fragen
Nutzen:
- Was sind „auffälliges“ und „verdächtiges“ Verhalten und inwiefern hängen diese zusammen?
- Auf welchen angenommenen Zusammenhängen von auffälligem und kriminellem Verhalten basiert das oben beschriebene System?
Nachvollziehbarkeit:
- Sind die Auffälligkeitsalarme für den Kaufhausdetektiv nachvollziehbar und nennt er sie zu Recht „Verdächtigkeitsalarm“?
- Sind die Auffälligkeitsalarme für Hendrik und sein Team nachvollziehbar?
- Ist eine Nachvollziehbarkeit für die Arbeit des Sicherheitspersonals erforderlich?
Testmaterial und Betroffene:
- Würden sich die Ergebnisse beim Praxiseinsatz ändern, wenn im Testvideomaterial nicht (nur) lebhafte junge Männer zu sehen gewesen wären?
- Würde es einen Unterschied ergeben, wenn Schauspielstudenten engagiert oder echte Videobilder aus dem Kaufhaus verwendet worden wären?
- Was bedeutet das obige System für junge Männer? Was bedeutet es für ältere Frauen? Können derartige Diskriminierungen verhindert werden?
Auswirkungen für Betroffene:
- Welche Auswirkung auf die Betroffenen hat das Wissen, dass Computer ständig alle Bilder des öffentlichen Raumes auswerten?
Erschienen in Informatik Spektrum 37 (5), 2014, S. 503–504
Benjamin Kees, Rainer Rehak
While Hendrik was completing his computer science degree, a new game console concept came on the market in which the player’s own body replaced the game controller based on a camera’s recorded analysis of the player’s movements. Hendrik was thrilled to get his hands on one of these game consoles. He was so fascinated by the technology behind it that he wrote his final thesis on the unique process for modeling and recognizing human movements in video images.
Not long after he defended his thesis, Hendrik included information about his research in a profile he created for an online business portal. He promptly snagged a lucrative job offer from “v-Watch,” a fledgling security company that sold modern video surveillance systems. Their innovative approach rendered the constant monitoring of camera images superfluous because their systems were designed to detect conspicuous behavior automatically.
While he’d have preferred working with motion-based computer games, he was genuinely interested and accepted the offer. Before long, he began collaborating with Franziska, another recent hire who was working on fully automated computer learning methods. Manually modeling all possible behavioral abnormalities was too time-consuming, so they devised a concept that linked Franziska’s learning process with Hendrik’s motion recognition system.
Based on sampled video material, their system was designed to learn to differentiate between normal and conspicuous behavior. Once it was in place, any behaviors that deviated substantially from pre-programmed “normality” would trigger an automatic alert to security personnel.
After several failed attempts at recognizing complex behavioral sequences, Hendrik and Franziska concentrated on evaluating body language. In their weekly team meetings, there was consensus over the notion that conspicuous behaviors of this nature were a promising index of potentially imminent violent or otherwise criminal activities—that is, relevant security concerns.
However, since the company didn’t have any suitable film stock to train the system and had no budget to hire actors, they decided on the fly to use employees for filming. Hendrik wasn’t altogether happy with the idea and doubted how valuable the resulting material would be.
Overall, though, the recording session made for a fun day that helped improve the work atmosphere for the v-Watch team. In the morning, they taped material for teaching normal behaviors, and that afternoon, they shot footage for conspicuous behaviors, which would later be used to test the system. Weeks after viewing the footage, Hendrik’s colleagues still jokingly referred to him as “the Gorilla guy.” Franziska, the only female member of the small team, was the only one who wanted nothing to do with the whole shebang.
Franziska soon began adapting the learning process to yield the results they anticipated based on their recordings. After some successful testing, Hendrik’s initial concerns were dispelled by his colleagues’ enthusiastic reception and positive reinforcement, who were as happy with the quality of collaboration as with the successful functioning of the prototypes.
After several intense months and tons of overtime, the finished product was installed for the first time in a shopping mall. Hendrik’s and Franziska’s module, in particular, sent out a lot of alerts. At a performance review, a department store security guard boasted about always keeping a close eye on people the system had flagged as suspicious. Even though the store saw a significant decrease in overall criminal incidents, some cases proved that the system’s alerts were justified, most often in the case of young adult males: The people it flagged for closer surveillance had been frequently involved in thefts and other brushes with the law. When he heard that, Hendrik began questioning whether “his” system was all that great a solution to the problem at hand because this wasn’t a computer game, and here, there were real-world consequences for making the wrong moves.
Questions:
Usability:
- How do you define “conspicuous” and “suspicious” behavior, and to what extent are the two related?
- What preconceived associations between conspicuous behavior and criminal activity form the basis for the system depicted here?
Relatability:
- Can the in-house detective relate to the behaviors flagged as “conspicuous,” and is he right to consider these people “suspect”?
- Can Hendrik and his team relate to the behaviors flagged as conspicuous?
- Should relatability on the part of security personnel be a prerequisite for this kind of work?
Test Subjects and Real-World Individuals:
- Would the practical application have yielded different results if the test subjects in the video were not (exclusively) young adult men living in the real world?
- Would it make a difference if paid student actors had been hired or if actual video footage from the department store had been used?
- What are the implications of the above-described system for young adult males? What are the implications for older women? Is there any way to avoid this kind of discrimination?
Ramifications for the Public at Large:
- What impact does it have on individuals to know that computers are constantly analyzing every move they make in public spaces?
Erschienen in Informatik Spektrum 37 (5), 2014, S. 503–504.
— Translated from German by Lillian M. Banks
Christine Hennig
Carola bekommt die Projektleitung für ein Software-Entwicklungs-Projekt übertragen, ihr erstes Projekt mit einem eigenem Team. Sie darf vom Kern-Team der Firma ein paar Leute übernehmen, verstärkt für ein Jahr durch weitere Programmierer von einer Leiharbeitsfirma. Carola darf sich sogar die neuen Kollegen selbst aussuchen.
Ihr Team arbeitet nach den Vorgaben des Projektmanagement-Frameworks SCRUM mit vierwöchigen Sprints zur Arbeitsplanung und täglichen Stand-Up-Meetings über die Fortschritte der Arbeit. Am Ende jedes Sprints erfolgt eine Kundenpräsentation.
Die Zusammenarbeit mit den Leih-Arbeitnehmern erweist sich allerdings als schwierig. Die Einarbeitung geht nur langsam voran, und zu allem Überfluss springen in den ersten Monaten mehrere Leih-Arbeitnehmer ab.
Micha ist fünf Monate im Team, als Dirk dazu stößt. Dirks Lebenslauf ist vielversprechend: Nach seinem Studium hat er Erfahrungen bei einer Großforschungseinrichtung, einer Frankfurter Bank, einem großen deutschen Automobilkonzern und sogar Auslandserfahrungen in der Schweiz sammeln können. Außerdem ist er sehr freundlich, umgänglich und durch seine Berufserfahrung erfreulich breit aufgestellt.
Zunächst jedoch ist Dirk durch eine Erkrankung wenig anwesend. Wenn er in der Firma ist, liegen Berge von Medikamenten auf seinem Schreibtisch. Mit seinem oft schmerzverzogenen, bleichen Gesicht sieht er auch nicht gesund aus. Entsprechend verzögert sich seine Einarbeitung. Krankschreiben lassen will er sich nicht, aus Angst vor Entlassung. Dirks Verleiher bietet Carola an, im Notfall eine Ersatzperson zu stellen, aber dann begänne die Einarbeitung erneut.
Ihr Abteilungsleiter zitiert Carola zu sich: „Deine Jungs sind teuer. Jeden Monat zeichne ich die Rechnungen ab. Sieh zu, dass sie Leistung bringen.“ Da die Leiharbeitnehmer teurer sind als interne Mitarbeiter, erwartet der Abteilungsleiter von ihnen eine höhere Leistung.
Carola fühlt sich zunehmend unter Druck. Sie ist überzeugt, dass ihr Team nur gute Leistungen erbringen kann, wenn alle gut zusammenarbeiten. Außerdem hat sie keine besseren Leiharbeitnehmer bekommen können und möchte gern mit den vorhandenen Leuten die maximale Leistung erreichen. Da im SCRUM die Teamleistung zählt, geben sich alle Mühe, die gesteckten Ziele der Sprints trotz Dirks Fehlzeiten zu erreichen. Alle sind sehr hilfsbereit, besonders Micha, der gerade erst seine eigene Einarbeitung hinter sich hat und die Probleme gut aus eigener Erfahrung kennt.
Carola schwankt in ihren Einschätzungen von Dirks Arbeitsleistung. Bei den täglichen Meetings gelingt es Dirk trotz eher geringer Arbeitsergebnisse immer wieder, bei Carola einen guten Eindruck zu hinterlassen. Trotzdem kommen ihr auch immer wieder Zweifel, die Dirk aber zerstreuen kann. Sie beschließt, nochmals alle Anstrengungen auf Dirks Einarbeitung zu fokussieren, der mittlerweile endlich gesund ist. Gleichzeitig versucht sie, weitere Mittel für eine Verlängerung der Leiharbeitnehmer aufzutreiben, um die Verzögerung auszugleichen.
Um die Motivation im Team zu erhöhen, kommuniziert sie die geplante Verlängerung für Dirk und Micha frühzeitig. Eine Weile scheint dies auch Wirkung zu zeigen. Dirks Ergebnisse werden langsam besser. Oder irrt sich Carola? Um Dirk seinen Stärken gemäß einzusetzen, lässt sie ihn sich die Aufgaben selbst aussuchen.
Vier Wochen später, Dirk ist mittlerweile sechs Monate in der Firma, steht das nächste Meeting an. Es stellt sich heraus, dass Dirk in vier Wochen gerade einmal einen Unit Test programmiert hat, der noch nicht mal im Source Code Repository eingecheckt ist. Carola ist entsetzt und sagt dies im Stand-Up auch.
Nach dem Meeting kommt Dirk in ihr Büro. Er berichtet von psychischen Problemen, die ihn nach der schmerzhaften Erkrankung und durch das jahrelange Fernpendeln als Leiharbeitnehmer aus der Bahn geworfen haben. Er versichert Carola, dass er wie aus einer Trance aufgewacht wäre und ab sofort besser arbeiten würde.
Carola verbringt ein hartes Wochenende. Dirk ist ein netter Junge, er tut ihr leid. Aber dass er in absehbarer Zeit noch ausreichend produktiv wird, sieht sie nicht. Wenn er bleibt, wirft sie das Projektgeld weiter zum Fenster raus. Wenn er gehen muss, erlaubt ihr Projektplan nicht mehr, eine Ersatzperson einzuarbeiten; damit zerfällt auch ihr eigenes Team. Außerdem ist die Verlängerung bereits von der Firmenleitung bewilligt, das Geld aus verschiedenen Töpfen zusammengesucht, der Verleih-Firma kommuniziert, und die Verwaltungsprozesse sind im vollen Gange. Wie steht Carola nun da?
Schweren Herzens geht sie zu ihrem Abteilungsleiter und informiert ihn über ihre Fehleinschätzung bezüglich Dirks Arbeitsleistung und sein Leistungspotential. Der Abteilungsleiter ist alles andere als erfreut. Er setzt Carola unter Druck: Sie muss sich sofort entscheiden, ob Dirk gehen muss oder noch mindestens drei Monate bleibt. Carola will jedoch keine weiteren drei Monate abwarten.
Der Verleiher schlägt ein gemeinsames Projekt-Abschlussgespräch vor. Dirk bittet Carola vorab, seine psychischen Probleme nicht zu erwähnen und überhaupt nur die positiven Seiten zu erwähnen. Gern willigt Carola ein, sie will ja Dirk keine Steine in den Weg legen. In der Vorbereitung versucht sie eine Liste mit seinen positiven Aspekten zu sammeln. Fassungslos stellt sie fest, dass sie bezüglich seiner Arbeit nichts finden kann, so sehr sie auch nachdenkt. Langsam wird Carola klar, dass sie einem Blender aufgesessen ist. Ist er gar ein Hochstapler? Der Gedanke lässt ihr keine Ruhe.
Micha kommt in Carolas Büro. Auch Micha hat beim Versuch, Dirks Arbeit zu übernehmen, festgestellt, dass da nichts zu übernehmen ist. Carola fühlt sich in ihrem Verdacht bestätigt. Dirk versucht in seinen letzten Tagen mit Hochdruck, einen guten Eindruck bei Carola zu hinterlassen. Anscheinend hat er Angst, Carola könnte doch noch Negatives seinem Verleiher gegenüber erwähnen. Langsam beginnt Carola das System zu durchschauen, mit dem Dirk den guten Eindruck erwecken konnte. Sie fühlt sich jetzt manipuliert und getäuscht.
Auch Micha kommt noch einmal zu Carola ins Büro und entschuldigt sich, dass er von sich aus nichts gesagt hatte. Er wollte Dirk nicht ohne ihn zu informieren anschwärzen. Er hatte sich aber auch nicht getraut, Dirk direkt darauf anzusprechen aus Angst, dass Dirk dann ihm geschadet hätte.
Fragen
- Hätte Micha früher zu Carola gehen müssen?
- Hätte Michas Ruf darunter gelitten?
- Hätte Carola Dirk noch eine Chance geben müssen, als ihr zum ersten Mal klar wurde, dass seine Leistungen nicht ausreichen? Darf oder soll sie zu diesem Zeitpunkt den Kollegen von der fehlenden Leistung von Dirk berichten? Wären damit persönlichkeitsrechtliche Probleme verbunden?
- Darf Carolas Abteilungsleiter von Micha und Dirk mehr Leistung als vom internen Personal fordern, weil sie mehr Kosten verursachen?
- Ist die Firmenpolitik, Leiharbeitnehmer für solche Aufgaben einzustellen, vertretbar?
- Wie kann Carola bei zukünftigen Einstellungen potentielle Blender schon im Gespräch erkennen? Soll sie Kontakt zu vorherigen Firmen aufnehmen? Ab wann ist ein Arbeitnehmer eigentlich als Blender zu betrachten? Was, wenn Carola nur irrig annimmt, Dirk sei ein Blender und er in Wahrheit vor und nach einer Schwächephase ein ausgezeichneter Programmierer ist?
- Muss Carola erneut das Gespräch mit der Verleih-Firma suchen und ihren Hochstapler-Verdacht der Verleih-Firma gegenüber äußern? Besteht für sie nicht sogar die Pflicht, das Wissen weiterzugeben?
- Wie ist die Teamleistung des SCRUM-Teams zu bewerten, wenn ein Teammitglied derart schwächelt? Wäre es auch problematisch, wenn durch die höhere Leistung der anderen Teammitglieder die Ziele erreicht worden wären?
- Wie viel (vorübergehende) Minderleistung muss das Team SCRUM auffangen?
- Hat Carola aus Eigennutz zu lange gezögert, Dirk zu entlassen?
- Hätte Carola Dirk sofort kündigen sollen, als er mehrere Wochen krank war, wie es die Verleih-Firma vorgeschlagen hatte?
- Kann die Verleih-Firma von Dirks Hochstapelei gewusst haben? Ist es angesichts des zu vermutenden Missbrauchs ethisch vertretbar, wenn jemand weiterhin über so eine Vermittlung verliehen wird?
- Darf sie ihren Mitarbeiter erneut verleihen, auch wenn mehrere Projekte gescheitert sind? Bisher hat er immer gut Geld für sie eingefahren.
- Ist es für Micha ein Wettbewerbsnachteil, wenn er offen und ehrlich kommuniziert, welche Tätigkeiten er kann, welche er nicht kann und für welche er Einarbeitungszeit benötigt?
- Wie soll Micha sich künftig verhalten, wenn ein Konkurrent Vorgesetzte und Kollegen täuscht?
- Wie ist Dirks Verhalten moralisch zu beurteilen?
- Was ändert sich an der Bewertung der Situation, wenn es sich komplett um internes Personal handelt?
Erschienen in Informatik Spektrum 37(4), 2014, S. 371–373
Constanze Kurz & Debora Weber-Wulff
Herbert, ein ehemaliger Rechenzentrumsmitarbeiter, der seit kurzem im Ruhestand ist, wartet ungeduldig auf den Postboten. Er hat vor vier Tagen einen neuen Laptop über einen großen Versandhändler bestellt. Normalerweise dauert es nur zwei bis drei Tage, bis die Ware geliefert wird; Herbert war schon öfters Kunde dort. Als auch nach mehreren Tagen kein Paket angekommen ist, setzt er sich an den Rechner um im Tracking-System des Versandhändlers nachzuschauen, wo sein Laptop bleibt.
Herbert glaubt seinen Augen nicht, als er nachgeschlagen hat: Die Bestellung ist vor zwei Tagen storniert worden – aber nicht von ihm selber, da ist er sich ganz sicher. Er hat sich ja gefreut, bei einer Sonderaktion den Laptop sogar mit Rabatt bekommen zu haben. Er ruft sofort bei der Hotline an, um zu fragen, was Sache ist.
Nach einer gefühlten Ewigkeit ist jemand am anderen Ende der Leitung, mit dem er sprechen kann. „Was ist mit meiner Bestellung?“, fragt Herbert ungeduldig. Eine Frau antwortet: „Ihre Bestellung wurde storniert.“ Herbert weiß das bereits: „Das sehe ich selber, aber das war ich nicht. Ich will wissen, warum sie storniert wurde. Außerdem möchte ich den Computer nochmal bestellen, genau zu den Sonderkonditionen, die vor vier Tagen galten.“
Die Frau an der Hotline murmelt nur: „Tut mir leid, ich kann leider nur sehen, dass Ihre Bestellung storniert wurde. Ich kann nicht sehen, warum. Und die Rabattaktion ist bereits abgelaufen. Kann ich Ihnen sonst behilflich sein?“ Herbert legt grußlos und wütend auf.
Er beschließt zu testen, ob das Problem grundsätzlicher Natur ist oder nur diese eine Bestellung des Laptops betraf. Er sucht sich eine Kleinigkeit zum Bestellen heraus, klickt auf „Kaufen“, wie immer auf Rechnung. Und in der Tat – zwei Tage später ist auch diese Bestellung storniert.
Am Wochenende kommt seine Tochter Inga zum Kaffeetrinken vorbei; sie wohnt in einem kleinen Häuschen in einem anderen Stadtteil. Als er sich über das Verhalten der Firma beschwert, erzählt Inga, dass sie und ihr Freund auch Probleme mit derselben Versandfirma hatten. Ihr Freund hatte recht viel Ware bestellt, aber die Rechnungen nicht sofort bezahlen können, weil er ein kurzzeitiges Liquiditätsproblem in seiner Firma hatte. Jetzt können nicht nur er, sondern sie beide überhaupt nichts mehr online bestellen, weder bei dieser Firma noch bei anderen größeren Händlern.
Herbert weiß natürlich, dass die Online-Händler schwarze Listen von Kunden führen, um einander vor potentiellen Betrügern zu warnen. Er hat ein gewisses Verständnis für solche Listen, denn in seinem Berufsleben hatte er sich mehr als einmal über säumige Zahler geärgert. Aber er selbst hat immer seine Rechnungen pünktlich bezahlt, er versteht nicht, warum er plötzlich nichts mehr bestellen kann.
Er erinnert sich daran, dass ein jüngerer ehemaliger Kollege, Sven, vor einigen Jahren zu dieser Versandfirma gewechselt war. Vielleicht könnte er helfen! Herbert sucht seine E-Mail-Adresse heraus und fragt ihn, ob er vielleicht aufklären kann und wisse, was da los sei.
Sven ruft gleich am nächsten Tag an und bittet Herbert, das Problem genau zu schildern. Nachdem Herbert seine Leidensgeschichte erzählt hat, meint Sven: „Wir haben gerade vor einigen Wochen eine neue Profiling-Software scharf geschaltet. Vielleicht liegt es daran.“ Herbert fragt nach, wie diese Profiling-Software funktioniert. Sven erklärt: „Unser System basiert auf einer Kombination neu entwickelter Data-Mining-Algorithmen, um möglichst präzise vorherzusagen, welche Kunden ihre Rechnungen bezahlen werden und welche nicht. Weißt Du, wir haben eine Ausfallrate von etwa sieben Prozent der Rechnungen, das ist natürlich viel zu hoch. Wir müssen dann immer Inkasso-Firmen beauftragen, und es dauert ewig, bis wir das Geld für Waren bekommen, die schon längst ausgeliefert worden sind. Ich schau mal nach, ob Du wegen unserer neuen Software nicht mehr auf Rechnung kaufen kannst.“
Ein paar Stunden später schon ruft Sven zurück. „In der Tat, Herbert, Du bist mit einem Problem-Flag versehen. Wenn ich das Ergebnis der Algorithmen korrekt interpretiere, wurdest Du klassifiziert als hochwahrscheinlich eng verwandt oder wohnlich verbunden mit einem Großschuldner. Du hast ja nun keinen Allerweltsnachnamen, es gibt Deinen Namen laut unserer Datenbank nur achtmal in Deutschland und nur zweimal in Deiner Stadt. Statistisch ist übrigens nachweisbar, dass Verwandte von Schuldnern oft selber ihre Rechnungen nicht begleichen, daran wird es wohl liegen.“
Sven führt noch weitere Details aus, nämlich dass die Software auch das Alter als Merkmal berücksichtigt, weswegen Pensionäre ohnehin runtergestuft werden. Aber Herbert hört kaum mehr hin. Sven bietet an, einfach händisch das Flag aus der Datenbank zu nehmen; schließlich kennt er Herbert und hat auch nebenbei schon nachgeschaut, dass er bis dahin immer seine Rechnungen bezahlt hat. „Nein“, sagt Herbert, „das ist nicht notwendig. Ich werde nicht mehr bei einem Laden einkaufen, der Sippenhaft einführt. Aber danke für Deine Mühen, jetzt verstehe ich wenigstens, was passiert ist.“
Fragen:
- Wie ist eine Profiling-Software generell ethisch einzuschätzen?
- Sollte eine Firma mitteilen, bevor sie eine Bestellung entgegennimmt, ob sie überhaupt die Bestellung so durchführen wird? Müsste die Firma für Kunden, die auf Grund eines internen Systems nicht auf Rechnung bestellen können, Kauf auf Vorkasse anbieten?
- Sollte die Firma bei der Stornierung des Kaufes wenigstens den Kunden informieren?
- Ist es legitim, wenn eine Firma versucht ihre Rechnungsausfälle mit Hilfe solcher Profiling-Software zu minimieren? Ist die Nutzung einer solchen Software gar geboten?
- Hat Sven einfach so anbieten können, das „Problem-Flag” zu löschen?
- Darf Sven heimlich nachsehen, ob Herbert auch alle Rechnungen bezahlt hat, ohne vorher um Erlaubnis gefragt zu haben?
- Hat Sven einfach so erklären dürfen, wie das System funktioniert? Schließlich sind die Algorithmen vielleicht geheim. Ist Sven vielleicht moralisch verpflichtet, Herbert Auskunft zu geben – trotz möglicher Verletzung von Betriebsgeheimnissen? Welche Pflicht hat Sven seinem Arbeitgeber gegenüber?
- Steht Sven in einer Handlungspflicht, nachdem er Kenntnis erlangt, dass die Profiling-Software nicht korrekt arbeitet? Wenn ja, welche?
- Ist es seriös, das Zahlungsverhalten nicht über direkte bonitätsrelevante Kriterien, sondern über das Verhalten von Verwandten oder Mitbewohnern zu prognostizieren?
- Sollen Personen, die bei einer Firma nicht bezahlt haben, vom Online-Handel überhaupt ausgeschlossen werden?
- Es gibt zunehmend Produkte, die per Online Handel schneller, günstiger, oder überhaupt erst erhältlich sind. Ist es ein ethisches Problem, wenn Personen auf Grund solcher Systeme vom Erwerb solcher Produkte gänzlich ausgeschlossen werden? Gibt es ein Recht auf die Möglichkeit, bestimmte Angebote im Markt wahrnehmen zu können?
- Ist es eine ethische Frage, wenn ein Versandhändler hinter dem Rücken seiner Kunden eine Profiling-Software betreibt?
- Soll eine Firma nach außen oder zumindest gegenüber dem konkreten Kunden darstellen, wie sie zu bestimmten Ergebnisse kommt?
- Wie kann man sich gegen Profiling wehren?
Erschienen in Informatik Spektrum 37(3), 2014, S. 259–261
Ein Leser hat uns einen Hinweis auf einen lesenswerten Artikel aus der aktuellen Communications of the ACM gegeben. Seine Autoren machen sich für einen Ethik-Unterricht in technischen Fächern stark:
As educators of those who will design future technology, we have a responsibility to prepare our students to practice their craft in a way that integrates their ethical concern into their work. We propose that it is necessary and possible to teach computing ethics know-how that helps students to navigate between abstract ethical knowledge and its actual ethical practice. By doing so, the students gain experience and expertise in applying what they know in the concrete case.
Die Forderung gewinnt durch die fortschreitende Verbreitung von informationstechnischen Artefakten und Systemen im Alltag immer größere Bedeutung. Als die Technische Hochschule Charlottenburg nach dem Zweiten Weltkrieg als Technische Universität Berlin wiedereröffnet wurde, wies der damalige Kommandierende der britischen Truppen in Berlin, Eric Nares, auf die damit einhergehende Verantwortung der technischen Fächer hin:
»The implications of this change of name are simple but of vital importance. It should teach you that all education, technical, humanistic, or what you will, is universal: that is to say it must embrace […] the whole personality, and its first aim is to produce a whole human being, capable of taking his place responsibly beside his fellows in a community. Its second aim may be to produce a good philologist, a good architect, a good musician or a good engineer. But if education does not assist the development of the whole personality it fails in its aim, and this Technical University must not fail in its aim.«
(Auszug aus der Eröffnungsansprache von Major-General Eric P. Nares, gehalten am 9. April 1946.)
Die GI hat in ihren Leitlinien eine ähnliche Forderung formuliert, und wir als Fachgruppe haben die Erarbeitung und Diskussion von Fallbeispielen als sehr geeignetes Mittel zur Schulung der Urteilskraft entdeckt:
Mit Hilfe der Fallbeispiele wollen wir im Zuge einer ergebnisoffenen Diskussion eben dies wecken: ein tiefes Verständnis und eine Sensibilisierung für die moralische Dimension der technischen Handlungen. Erst im Dialog mit anderen moralisch empfindsamen Gesprächspartnern werden Konflikte und Probleme sichtbar, die allen technischen Handlungen zugrundeliegen. Dies liegt auch daran, dass sich der Einzelne oft nicht vorstellen kann, welche Macht er durch die von ihm entwickelten Techniken potentiell besitzt.
Vielen Dank an unseren Leser Konstantin für den Hinweis, weitere werden gern in den Kommentaren zu diesem Artikel gesehen.
Chuck Huff and Almut Furchert: Computing Ethics. Toward a Pedagogy of Ethical Practice. In Communications Of The ACM, Juli 2014, Vol. 57, No. 7, S.25-27.
Wenn Menschen in einer Gesellschaft leben wollen, die sich in großem Maße auf Computertechnologie verlässt und ihr einen zentralen Stellenwert im gesellschaftlichen Miteinander einräumt, müssen die politisch gesetzten Rahmenbedingungen und Regeln dieser Tatsache auch Rechnung tragen. Die Einsetzung der oben genannten Enquêtekommission zeigt, dass auf diesem Feld Wisenslücken und Handlungsbedarf erkannt wurde. Die Notwendigkeit und Wirkung solcher Untersuchungen können dabei nicht zu hoch eingeschätzt werden, denn es geht um die Gestaltung der digitalen Welt von heute und morgen. Gesetze werden selten zurückgenommen und entstandener Schaden ist schwer zu beheben. Hinzu kommt die starke Stellung Deutschlands in Europa, so dass davon ausgegangen werden kann, dass die Gestaltung der hiesigen digitalen Landschaft auch über die Landesgrenzen hinaus Folgen haben wird, sei es als Teil einer Argumentation oder sogar als Leitkonzept.
Über die Diplomarbeit von Rainer Rehak (Betreuer: Wolfgang Coy) ist bereits viel Positives geschrieben worden, nun ist sie auch als Buch erschienen.
- Autor: Rehak, Rainer
- Titel: angezapft! Technische Möglichkeiten einer heimlichen Online-Durchsuchung und der Versuch ihrer rechtlichen Bändigung.
- ISBN: 978-3-95645-118-8
- Verlag: MV-Wissenschaft
- Preis: 11,90 €
Constanze Kurz, Debora Weber-Wulff
Herbert, a recently retired data center employee, is waiting impatiently for the letter carrier. Four days ago, he ordered a new laptop from a major mail-order company. Normally, it would only take two or three days for the product to be delivered; Herbert has used the company many times before. After several days, the package still hasn’t arrived, so he sits down at his computer to track the order using the company’s tracking system and find out where his laptop is.
Herbert can’t believe his eyes when he sees that the order was canceled two days earlier—but not by him, he’s a hundred percent sure. He was happy to have taken advantage of a special offer and gotten a rebate on his machine. He immediately calls the hotline to ask what’s going on.
After what feels like an eternity, he finally gets a human being on the line. “What’s up with my order?” he asks, impatiently. A woman answers, “Your order was canceled.” Herbert knows that already: “I can see that myself, but I never canceled it. I want to know why it was canceled. I also want to re-order the computer using the same special offer that was available four days ago.”
The best the woman on the hotline can muster is “I’m sorry, but all I can see is that your order has been canceled. I can’t tell you why. And the rebate offer has expired. Is there anything else I can help you with?” Herbert angrily hangs up without even saying goodbye.
He decides to figure out whether the problem is merely an exception impacting only this one order for a laptop or whether it’s more systemic in nature. He selects a small item to order, clicks the “add to cart”-button, “on credit”, same as usual. Two days later—what do you know—the order was canceled.
That weekend, his daughter Inga drops by for coffee; she lives in a small house in another section of town. When he complains about what the company is doing, Inga tells him that she and her boyfriend also ran into problems with the same company. Her boyfriend had ordered quite a few items but wasn’t able to pay for them immediately because his company was having a short-term cash flow issue. Now, not only was he prevented from making any online purchases, she couldn’t make any either. And it wasn’t just with this one company—they could no longer order from any major retailers.
Herbert knows, of course, that online retailers keep blacklists of customers to warn each other about potential fraudsters. He has some degree of understanding for these kinds of lists because he, too, has been forced to contend with delinquent accounts more than once in his professional career. But he has always paid his bills on time and doesn’t understand why he suddenly can’t place an order.
Then he remembers a younger colleague, Sven, who changed jobs and went to work for this distribution company: maybe he could help! Herbert tracks down Sven’s email address and asks him if he might be able to help sort things out and let him know what is going on.
Sven calls him back the next day and asks Herbert to describe the problem in exact detail. After Herbert has finished telling his tale of troubles, Sven says: “A few weeks ago, we had new, more rigorous profiling software installed. Maybe that’s the issue.” Herbert asks how this profiling software works. Sven elaborates: “Our system is based on a combination of newly developed data mining algorithms to predict as accurately as possible precisely which customers are likely to pay their bills and which are not. You know, our rate of defaults is around seven percent of all billings, and that is of course way too high. We always end up having to hire collection agencies and it takes forever to get the money we’re owed for goods that have long since been delivered. Let me see if it’s the new software that’s keeping you from shopping on credit.”
Sven calls back just a few hours later. “Indeed, Herbert, you’ve been flagged as a potential problem. If I’m reading the results of the algorithm right, you’ve been classified as someone who is closely related or in domicile with a major debtor. Your surname is not a common one—according to our database there are only eight people with the same last name in Germany, and two of them are in your city. Statistically, it’s been shown that relatives of debtors often don’t pay their bills either. So that’s what’s going on here.”
Sven provides a few more details—for example, the fact that the software also factors in age, and that’s why retirees are downgraded from the get-go. But Herbert is hardly even listening. Sven offers to manually remove the flag from the database; after all, he knows Herbert personally and has also gone ahead and checked to see if there were any outstanding bills in his name: there weren’t. “No,” Herbert said, “that won’t be necessary. I won’t be shopping at any retailer that imposes guilt by association anymore. But thanks for your help. At least now I know what happened here.”
Questions:
- What is the ethical verdict on profiling software in and of itself?
- Should companies be required to notify clients of profiling practices before an order is even placed? Should companies who prevent clients from purchasing on credit based on internal systems be forced to offer a cash payment option?
- Shouldn’t the company at least notify the customer about a canceled order?
- Is using profiling software a legitimate means of minimizing defaults on accounts? Does it make any sense to use this kind of software for this purpose?
- Was it OK for Sven to offer to simply delete the problem flag?
- Is Sven allowed to silently look up whether or not Herbert has any outstanding balances without Herbert’s prior consent?
- Was Sven allowed to reveal the inner workings of the system? After all, the algorithms may in fact be confidential. Is Sven morally obligated to provide any information to Herbert, even if it involves the potential revelation of trade secrets? What is Sven’s obligation to his employer? Is Sven required to act once he has discovered that the profiling software is not doing what it’s supposed to do? If so, what should he do?
- Is it even legitimate to predict the payment activity based on the behaviors of relatives or housemates and not on any criteria related to the solvency of the actual customer?
- Should individuals who have defaulted on any retail transaction be excluded altogether from conducting retail business online?
- An increasing number of products is available on the market to make online transactions faster, cheaper, or to make some things available for the first time ever. Does an ethical dilemma arise when these profiling systems render some of these products entirely inaccessible to certain individuals? Do people have a fundamental right to access any and all products the market has to offer?
- Is it an ethical issue for a mail order company to operate profiling software behind its customers’ backs?
- Shouldn’t a company be required to inform the public—or, at the very least, actual customers—about the process behind certain results?
- How can you protect yourself against profiling software?
Published in Informatik Spektrum 37(3), 2014, S. 259–261.
—Translated from German by Lillian M. Banks
Christina Class & Christian R. Kühne
Lennard arbeitet in der IT Abteilung des großen Versandhandels Waseba. Sein Team ist für alle technischen Belange der Logistik des Unternehmens verantwortlich.
Bertram, der Abteilungsleiter der Logistik, ist immer für neue Ideen zu haben und versucht auch mit ungewöhnlichen Ideen, Prozesse zu beschleunigen und Kosten zu sparen. Nachdem er in der Presse immer wieder von Unternehmen gelesen hat, die mit Lieferdrohnen experimentieren wollen, hat er sich etwas näher mit diesem Thema beschäftigt. Auf einer Fachmesse hat er Gelegenheit einen Vortrag des Start-up-Unternehmens DroSta zu besuchen, das sich auf kleine Drohnen spezialisiert. Das Unternehmen ist dabei, eine besonders leichte Drohne zu entwickeln, die mit GPS ausgestattet sehr präzise landen kann. Eine Kamera erlaubt es, während des Fluges auf Hindernisse zu reagieren. In einem Gespräch mit Andi, einem der Gründer von DroSta, erfährt Bertram, dass die Firma ein Unternehmen sucht, mit dem sie zusammen die Drohne für Direktlieferungen von Waren testen kann. Hierfür hat DroSta einige Fördergelder erhalten. Bertram ist von der Idee begeistert und lädt Andi zu einer Teamsitzung ein.
Lennard ist anfangs von der Idee der Zusammenarbeit ebenfalls begeistert. Seine Arbeit verspricht endlich wirklich interessant zu werden, da er viel Neues kennenlernen wird. Weg von der Routine. Während der Sitzung wird er allerdings zunehmend skeptisch. Die Drohne verfügt über ein Funkgerät, über das regelmäßig Bilder an eine zentrale Station („zur Koordination“) gesendet werden sollen. Die Fluggeräte werden zwar gratis zur Verfügung gestellt, die zu verwendende Steuerungssoftware sowie die zentrale Koordinationssoftware soll das Team von Waseba allerdings selber entwickeln. Auf Lennards Nachfragen zu diesem Punkt weicht Andi etwas aus: Ja, sie hätten bereits eine andere Version mit anderen Partnern getestet, aber leider könnten sie weder die Software noch die Testergebnisse zur Verfügung stellen. Bei Problemen könne sein Kollege aber gerne helfen. Nachfragen betreffend Datenschutz und der Verwendung der Bilder spielt Andi als zweitrangig herunter, es sei ja klar, dass man keine Daten sammeln möchte. Als Lennard nach Risiken durch flugtechnische Störungen fragt, ergreift nun auch Bertram das Wort, und überführt die Frage in eine technische Herausforderung für das Team, die nach Kreativität und Geschick verlangt. Lennards Teamkollegen fühlen sich angespornt und beginnen sogleich, über mögliche Störungen zu sprechen.
Am Abend nach dem Meeting findet Lennard im Netz einige Informationen über ein Projekt von DroSta. Er stößt außerdem auf ein paar Veröffentlichungen mit Autoren von DroSta und einem durch das Militär finanzierten Forschungsinstitut – fachlich ist das alles sehr interessant, aber…
Lennards Kollegen sind von dem Projekt alle begeistert und wollen seine vorsichtigen Bedenken gar nicht erst hören. Insbesondere Bertram hofft, bei Erfolg des Projektes einige Kosten einsparen zu können. Bereits nach wenigen Wochen ist die Entwicklungsumgebung weitestgehend eingerichtet, so dass die ersten Testflüge durchgeführt werden können. Die Stimmung ist großartig und die Beteiligten von Tatendrang erfüllt. Als Lennard jedoch eines Morgens die Testdaten auf dem Team-Server anschaut, bemerkt er, dass seine Kollegin Franziska einen Ordner mit Fotodaten eines Testflugs zurückgelassen hat. Ohne nachzudenken wirft er einen Blick auf die Bilder und ist etwas irritiert, als er auf vielen Bildern Franziskas Mann im Gespräch mit einer Frau entdeckt. Hatte Franziska etwa die Drohne verwendet, um ihrem Mann nachzuspionieren? Lennard entschließt sich erst einmal kein Wort darüber fallen zu lassen. Eine Stunde später ist der Ordner verschwunden. Auf dem Nachhauseweg macht sich Lennard Gedanken über den Umgang mit dieser neuen Technik.
Zehn Monate später ist das Projekt in einer Sackgasse. Die Entwickler von Waseba stehen vor einigen Schwierigkeiten, das Gerät autonom fliegen zu lassen. Der technische Ansprechpartner bei DroSta hat die Firma gewechselt und ist nicht mehr greifbar. Das Team ist frustriert und probiert verschiedene Dinge aus. Sie haben noch drei Monate Zeit, eine Lösung zu finden, bevor Bertram das Projekt aus Kostengründen beendet. Heute findet wieder ein Meeting statt, um den aktuellen Stand zu diskutieren. Franziska meldet sich zu Wort, sie hat eine neue Idee, wie das Problem durch Hinzufügen einer weiteren Softwarekomponente gelöst werden könnte. Die Umsetzung ist allerdings recht aufwändig und es ist unklar, ob sie zum Ziel führen wird. Das Team nimmt ihren Vorschlag dankbar auf und Lennard skizziert einen Zeitplan.
Am gleichen Abend erinnert Lennard sich an einen Algorithmus, den er in einem der Paper gelesen hat, der die Synchronisation der einzelnen Elemente der Drohne deutlich verbessert. In der Einleitung zum Paper werden Probleme bei einem instabilen autonomen Flug erwähnt, die so gelöst werden könnten. Er vermutet, dass dies vielleicht auch eine Lösung für ihre Schwierigkeiten sein könnte. Aber irgendwie weiß er nicht, ob er morgen im Büro etwas andeuten soll. Seiner Meinung nach hat das Projekt zu viele offene Fragen in Bezug auf Datenschutz, Sicherheit sowie die spätere Verwendung der von ihnen erstellten Software. Und die Paper hat er ja schließlich in seiner Freizeit und nicht im Rahmen der Arbeit gelesen…
Fragen:
- Welche Risiken stellen Drohne für die Sicherheit im Sinne der physischen Unversehrtheit der Bürger dar? Wer soll haften, wenn etwas passiert (der Hersteller, die Entwickler, diejenigen, die sie einsetzen)?
- Wenn Drohnen Bilder machen, die gespeichert und verarbeitet werden, kann dies zu datenschutzrechtlichen Problemen führen, sofern Personen auf diesen Bilden abgebildet sind. Welche möglichen Probleme und Gefahren ergeben sich aus der Technik? Welchen Nutzen könnte die Verarbeitung und Speicherung von Bildern haben? Könnte es sinnvoll sein, die Bilder für andere Zwecke (z. B. Aufklärung von Verbrechen) einzusetzen? Wenn ja, wie ist eine Abgrenzung zur Vorratsdatenspeicherung vorzunehmen?
- Lennard hat Grund zur Annahme, dass DroSta in der Entwicklung der Drohne mit dem Militär zusammengearbeitet hat. Wie ist dies zu beurteilen? Wo sollen / können die Grenzen für eine Kooperation gezogen werden? Welche Themen wären tabu, wenn man sich einer solchen Zusammenarbeit entziehen möchte? Ist dies überhaupt realisierbar?
- Lennard hat eine Lösungsidee in der Freizeit. Die Idee basiert auf Informationen, die er sich in der Freizeit angeeignet hat. Ist es Lennards Aufgabe, diese Idee einzubringen? Wem gehören Ideen, die er in der Freizeit hat? Wo würden Sie Grenzen ziehen?
- Bertram hofft, durch den Einsatz der Drohnen Gelder einsparen zu können. Letzen Endes werden dadurch wohl wieder einige Stellen abgebaut. Wie ist das Verhalten von Entscheidungsträgern zu beurteilen, die versuchen, solche Entwicklungen zu verzögern?
Erschienen in Informatik Spektrum 37(2), 2014, S. 146–148
|
|
Beiträge als RSS abonnieren
Kommentare