|
|
Constanze Kurz & Debora Weber-Wulff
Elisabeth arbeitet als Informatikerin für eine Firma, die Spracherkennungssoftware entwickelt, anbietet und im Einsatz bei Vertragskunden betreut. Typisch sind Produkte, die Anrufe von Menschen entgegennehmen, deren Wünsche oder Fragen herausfinden, um sie gezielt einem geeigneten Mitarbeiter zum Gespräch zuzuführen oder durch Standardansagen ohne menschliche Intervention zu erledigen. Dazu analysiert die Spracherkennung die am Telefon gesprochenen Wörter und versucht, sie entsprechend vorgegebener Entscheidungsbäume zu interpretieren. Üblich ist, dass die Richtigkeit der Erkennung ab und an durch Gegenfragen getestet wird.
Zur Zeit werden einige der Produkte erweitert, um Menschen durch natürlich klingende Sprache zu simulieren. Wird das Produkt erfolgreich in Deutschland sein, ist eine Expansion in andere europäische Ländern geplant.
Das Produkt, das Elisabeth mitentwickelt hat, springt nach dem ersten Klingelton an, nimmt die Anrufe computergestützt entgegen und wickelt sie entlang der Entscheidungsbäume ab. Als erstes wird in der Datenbank nachgeschaut, ob Erfahrungen mit diesem Kunden vorliegen. Es wird auch versucht, die Adresse des Anrufers zu ermitteln, denn je nach Wohnlage können unterschiedliche Entscheidungen angesteuert werden.
In der Regel wird der Anrufer nach wenigen Fragen zu einem passenden Mitarbeiter geleitet, ein Teil der Wünsche und Fragen wird sogar vollständig ohne menschliche telefonische Interaktion erledigt. Für den Fall, dass jemand von der Software überwiegend oder überhaupt nicht verstanden wird oder die Software feststellt, dass die Stimme sehr ärgerlich und laut geworden ist, gibt es zusätzlich ein Ansageband, das den Anrufer bittet, auf den nächsten freien Mitarbeiter zu warten. Die Firmen, die das Softwaresystem einsetzen, können sogar eine Mindestverweildauer in dieser Warteschleife angeben, denn es können verschiedene aktuelle Angebote dazugeschaltet werden.
Der Weg zur telefonischen Problemlösung soll jedoch möglichst kurz sein, denn Untersuchungen haben gezeigt, dass die Kunden ungeduldig werden, wenn sie viele verschiedene Fragen beantworten müssen, jedoch durchaus einige Minuten in einer Warteschleife ausharren. Softwareseitig ist definiert, dass nach durchschnittlich zwanzig Sekunden eine Entscheidung getroffen sein soll, ob die Sprache des Anrufers verstanden und eingeordnet werden kann oder direkt zu einem Menschen weitergeleitet wird.
In Elisabeths Firma ist als neue Kundin eine mittelgroße deutsche Stadt akquiriert worden, die bereits seit sechs Monaten erfolgreich Spracherkennungssysteme einsetzt, um Bürgeranfragen zu bearbeiten und beantworten. Als Teamleiter Frank mit Elisabeth und ihren Kollegen die neuen Aufträge der Stadt diskutiert, erfährt das Team, dass ab dem nächsten Jahr auch die Notrufzentrale mit der Erkennungssoftware ausgestattet werden soll. Es kostet einfach viel Geld, die Notrufzentrale rund um die Uhr mit bis zu zehn Disponenten auszustatten.
Die Notrufentgegennahme orientiert sich an den sogenannten „sechs Ws“: Wer meldet den Notfall? Was geschah? Wo geschah es? Wieviele Verletzte gibt es? Welche Art der Verletzung liegt vor? Warten auf Rückfragen!
Diese sechs Informationen können sehr einfach durch ein Spracherkennungssystem unterstützt werden, besonders mit einer guten Datenbankanknüpfung. So können auch häufige Scherzanrufer schnell identifiziert und der Standort des Anrufers schnell und zuverlässig bestimmt werden.
Frank stellt sich das so vor, dass die Anrufer gar nicht merken, dass sie mit einem Computer sprechen, damit sie nicht übermäßig hektisch werden. Sie sind in der Regel sowieso aufgeregt, wenn sie den Notruf anwählen. Elisabeths Team ist begeistert von der technischen Herausforderung, nicht nur viele verschiedene Dialekte erkennen zu müssen, sondern die Stimmen auch in Stress-Situationen korrekt auswerten zu können. Es wird auch viel spannender sein, die Entscheidungsbäume für dieses Anwendungsgebiet zu erstellen als für den Customer Support beim örtlichen Computermarkt.
Elisabeth besucht die Leitstelle an einem Freitag, um ein Gefühl dafür zu bekommen, was für Gespräche ankommen, um dann die Entscheidungsbäume zu konzipieren. Sie ist überrascht zu sehen, dass es zwanzig Arbeitsplätze gibt. Es stellt sich heraus, dass bei großen Veranstaltungen oder an Silvester regelmäßig alle Plätze belegt sind. Und als es vor fünfzehn Jahren einmal einen Unfall bei einer Flugshow gab, wurden alle irgendwie verfügbaren Disponenten einbestellt, dennoch kamen etliche Personen nicht beim Notruf durch, und die Krankenwagen waren nicht schnell genug vor Ort. Danach war die Platzanzahl auf zwanzig Personen angehoben worden.
Während sie mit einem Disponenten plaudert, gehen plötzlich alle Telefone an. Eine Explosion hat sich mitten in der Stadt ereignet. Der Schichtleiter ruft weitere Disponenten hinzu. Ein Krankenhaus mitten in der Stadt ist von der Explosion betroffen, die Patienten müssen auch noch in umliegende Krankenhäuser verteilt werden. Elisabeth ist komplett überfordert, sie kann gar nicht mitschreiben, was alles gefragt und entschieden wird. Wie soll sie hieraus Entscheidungsbäume erstellen?
Was soll Elisabeth tun?
FRAGEN
In diesem Szenario sind einige ethische Fragestellungen aufgeworfen. Die Hauptfrage ist die der Bewertung von automatisierter Bearbeitung menschlicher Meldungen in Notfallsituationen:
- Ist es überhaupt denkbar, in einem Notfall mit einer Maschine zu sprechen? Was ist, wenn etwas Katastrophenartiges passiert (Vulkanausbruch, Massenpanik), was nicht in den Entscheidungsbäumen abgebildet ist?
- Bei Spitzenbelastungszeiten könnten einige Anrufer direkt in die Warteschleife umgeleitet werden müssen, da alle Plätze bereits belegt sind. Ist das ein Problem?
- Menschen sprechen anders, wenn sie Angst haben oder in Panik sind. Kann man maschinell damit umgehen?
- Ist es möglich, ein System so zu bauen, dass es skaliert für Spitzenzeiten?
- Was ist, wenn das System ausfällt, weil es zum Beispiel gehackt wurde oder die Software fehlerhaft ist? Ist es ein ethisches Problem, wenn Software in seltenen Situationen technisch unzureichend sein kann, aber im Regelfall die Abwicklung von Notrufen positiv beeinflusst?
- Welche weiteren ethischen Probleme sehen Sie beim Einsatz der Spracherkennungssoftware?
- Besteht ein prinzipieller Unterschied, ob ein Mensch oder ein Computer mit Hilfe einer Software einen Notruf annimmt? Ändert sich diese Bewertung, wenn die Notrufannahme nur teilautomatisiert ist?
- Wer ist für den Schaden verantwortlich, wenn ein Verletzter aufgrund einer fälschlichen Ausgabe der Software Nachteile (etwa durch Zeitverzug) hat oder gar stirbt?
- Hat Elisabeth die Pflicht zu handeln, als sie erkennt, dass die Entscheidungsbäume der Software nur für den Normalbetrieb, strukturell jedoch nicht für Ausnahmesituationen geeignet sind? Ist es ethisch vertretbar, dass sie dennoch zum Einsatz kommen?
- Ist die Benutzung einer solchen Software angesichts der Fehleranfälligkeit des Menschen gar geboten, wenn sie im Regelfall solide arbeitet?
Erschienen in Informatik Spektrum 37(6), 2014, S. 608f.
Bild von gracey.
Constanze Kurz & Stefan Ullrich
Manfred ist trotz seines für Online-Verhältnisse hohen Alters von den neuen Möglichkeiten, die das »Web 2.0« bietet, begeistert. Es fing alles mit »Mindbook« an, einer Mischung von Tagebuch, Notizblock und Poesie-Album für Freunde. Inzwischen verbringt er seine Abende gern bei Formspring. Diese Plattform erlaubt das Interagieren mit Bekannten und Fremden nicht nur über das eigene Profil, sondern auch mit Hilfe eines Frage-Antwort-Spiels, das durchaus eingehend sein kann. »Welche Whisky-Destillerie würdest Du gern besichtigen?«, »Welche Wim-Wenders-Filme magst Du?«; manchmal werden auch religiöse und politische Weltanschauungen thematisiert, oft ist Formspring aber einfach ein Flirt-Forum.
Manfred hat seine Freundin Franziska selbstverständlich über Formspring kennengelernt. Die beiden nutzen die neuen Möglichkeiten ausgiebig, aber haben schon von Anfang an grundsätzlich geklärt, was über ihre Beziehung im Netz stehen soll – und was nicht. Die beiden posten Urlaubsfotos, Berichte über langweilige Familienessen und Links zu Webseiten, die sie toll finden – und bekommen regelmäßig Kommentare von einer stetig wachsenden Zahl von »Freunden«. Zu den Freunden zählen auch Karsten, der leibliche Sohn von Manfred sowie die Verwandten von Franziska, die sich neuerdings ein Netbook zugelegt haben.
Karsten hat soeben eine Stelle als Sachgebietsleiter des örtlichen Finanzamtes angetreten. Bei seiner ersten Betriebsfeier sprechen ihn plötzlich mehrere Kollegen auf seinen letzten Urlaub an. »Na, wie war es in Malé?«, fragt ihn die Stellvertreterin des Vorstehers und spricht ihm Glückwünsche aus. Karsten ist irritiert, er hat von seinem Kurzurlaub auf den Malediven nie im Amt erzählt, es war eine luxuriöse Reise, die er sich zum fünften Jubiläum ihrer Hochzeit mit seiner Frau Linda gegönnt hat. Und was sollen die Glückwünsche? Er fragt aber nicht nach, sondern antwortet einsilbig und lenkt dann vom Thema ab.
Am Montag nach der Feier spricht Karsten in der Kaffeepause mit seinem Freund und Kollegen Dirk, dem er vertraut, und fragt ihn unverblümt, woher die Kollegen von seinem Maledivenurlaub gewusst hätten. Ein wenig hat er Dirk im Verdacht, es ausgeplaudert zu haben. Dirk gesteht Karsten, er habe vermutlich indirekt dazu beigetragen. In Dirks Freundesliste bei Mindbook seien jetzt immer öfter auch Kollegen zu finden. Da sei es nur verständlich, dass sie auch Karstens Mindbook-Profil finden würden, da sie ja gegenseitig auf ihren Freundeslisten seien.
Karsten stutzt, er hat über den Urlaub absichtlich nichts auf seiner Mindbook-Pinnwand verlautbart, er wollte die Luxus-Tour nicht breittreten. Jedoch hatten Karsten und Linda im Urlaub ein paar Fotos mit ihren Mobiltelefonen an die Eltern verschickt, die sie als zufriedene Urlauber unter Palmen und bei Sonnenuntergang am Meer zeigen. Karsten eilt mit einer bösen Vorahnung in sein Büro an den Rechner. Sein Vater Manfred und dessen Freundin Franziska haben tatsächlich eines der Bilder nicht nur auf ihren Mindbook-Pinnwänden veröffentlicht, Franziska hatte als stolze zukünftige Großmutter auch eine kleine Bildunterschrift hinzugefügt: »Wenn man genau hinsieht, erkennt man schon die kleine Rundung, die die Ankunft unseres Enkelchens verrät.« Bei Formspring unterhält sie sich seit Neuestem über die Pflichten einer »Vorbild-Oma«.
Karsten ist entsetzt, was fällt seiner Stiefmutter ein? Was geht das die Welt an, dass er und seine Frau ein Kind erwarten? Und was soll das mit dem Foto, sie hätte wenigstens mal fragen können. Es ist ihm peinlich, dass diese privaten Details jetzt Thema unter den Kollegen sind.
Als Franziska mit den Vorwürfen konfrontiert wird, versteht sie die Aufregung nicht. Auch Manfred findet, dass sein Sohn überreagiert habe, da sei doch nun wirklich nichts dabei, das sei doch die natürlichste Sache der Welt, die man nicht geheim halten müsse. Die Kollegen würden doch viel verständnisvoller reagieren, wo sie doch jetzt von der Schwangerschaft wüssten. Außerdem hätten sie es sowieso erfahren, wenn Karsten Elternzeit beantragt hätte.
Fragen:
- Franziska und Manfred haben die Bilder für alle Nutzer sichtbar auf ihre Pinnwand gestellt. Macht es einen Unterschied, wenn sie den Lesezugriff nur »Freunden« und »Freundes-Freunden« gestattet hätten?
- Sollten Anbieter von »social media« hier irgendwelche Vorkehrungen treffen, so dass es schwieriger ist, ein Foto für »alle« einsehbar zu machen als beispielsweise für »Freunde«?
- Wie ist es ethisch zu bewerten, dass Dirk seinen Kollegen den Hinweis auf die öffentlich einsehbaren Fotos gegeben hat? Ist nicht hauptsächlich Dirk sogar schuld daran, dass die Bilder im Kollegenkreis verteilt wurden?
- Haben Karsten und seine Frau Linda die Verpflichtung, den Empfänger über etwaiges Stillschweigen zu informieren?
- Karsten und Linda nutzen selbst »social media«. Wäre die Situation eine andere, wenn die beiden nicht bei »Mindbook« wären?
- Sollte man höflicherweise Informationen, die man online über eine Person erfahren hat, diese im Gespräch besser nicht erwähnen?
- Wenn Bereichsleitung und Kollegen von privaten Umständen Kenntnis erlangen: Was könnten mögliche Folgen sein und wie sind diese moralisch zu bewerten?
Erschienen in Informatik Spektrum 35 (2), 2012, S. 156–157
Wir wünschen unseren Leserinnen und Lesern ein gesundes neues Jahr 2015, in dem Ada Lovelace und George Boole zweihundert Jahre alt geworden wären.
Unsere Fachgruppe hat es (bislang) auf stattliche zehn Jahre gebracht, ein kleiner Artikel dazu ist im Informatik-Spektrum und auf der GI-Website zu lesen:
In den letzten zehn Jahren haben wir festgestellt, wie die gesellschaftliche Bedeutung der in unserer Gruppe diskutierten Themen zugenommen hat, wenn auch nur in den Sonntagsausgaben der Zeitungen und den entsprechenden Reden der Politiker. Aktuelle technische Entwicklungen – wie Drohnen, Wearable Computing oder Biometrie (um nur mal einige wenige zu nennen) – werfen stets moralische Fragen auf. Bislang wurden diese Fragen im akademischen Kontext vor allem von Philosophen mit unterschiedlicher technischer Expertise geführt. Wir wollen die Fragen aus der Informatik mitten in die Gesellschaft hinein tragen. Daher freuen wir uns auf die Zukunft und auf spannende Diskussionen – mit neuen Mitgliedern der Fachgruppe bei unseren Treffen oder auch virtuell mit Hilfe von Kommentaren in unserem Blog.
Ach ja: Das nächste Fachgruppen-Treffen findet bereits in wenigen Tagen, am 16. Januar 2015 um 10:30 Uhr in Berlin-Mitte statt. Interessierte sind herzlich eingeladen, Details gibt es auf Nachfrage an stefan.ullrich (Klammeraffe) hu-berlin (Punkt) de.
Der Fachbereich »Informatik und Gesellschaft« der GI veranstaltet dieses Jahr keine eigene Tagung, wir möchten am Thema Interessierte stattdessen einladen, mit unseren Freunden vom Forum Informatikerinnen und Informatiker für Frieden und gesellschaftliche Verantwortung (FIfF e.V.) zu diskutieren:
Der Fall des Geheimen. Von Prism bis Eikonal: Ein Blick unter den eigenen Teppich. 7.+8. November 2014 an der TU Berlin.
Anmeldung, Programm und weitere Informationen unter http://fiffkon.de
Im Rahmen des diesjährigen ver.di-Kongresses beteiligen sich auch Mitglieder der Fachgruppe Ethik und Informatik der GI, und zwar am Mittwoch, den 10. September 2014.
Beschäftigte einer Stadtverwaltung sind aufgerufen, ihre privaten Smartphones und Notebooks dienstlich zu nutzen; Versicherungen berechnen den Tarif für Dienstwagen anhand des aufgezeichneten Fahrverhaltens; immer mehr Arbeitgeber statten die Berufskleidung mit RFID-Chips aus; fahrerlose Bahnen, Kassen ohne Kassierer/-innen treiben die Rationalisierung voran. Daten sind der Rohstoff der Internetökonomie, Profilbildungen die Basis neuer Geschäftsmodelle. Geheimdienste fördern Sicherheitslücken in den digitalen Infrastrukturen unseres Alltags; anlasslose Überwachung gefährdet die Persönlichkeitsrechte in Arbeitswelt und Gesellschaft.
Das Programm (pdf) ist online, leider ist aber die Anmeldung beendet und die Veranstaltung ausverkauft. Die gute Nachricht ist allerdings, dass es einen Live-Stream geben wird. Und wer nicht live zugucken kann, dem hilft vielleicht der Twitter-Hashtag #digi_arbeit.
Benjamin Kees & Rainer Rehak (ohne Autorenvermerk erschienen)
Während Hendriks Informatikstudium kam ein neues Spielekonsolenkonzept auf den Markt, bei dem der eigene Körper den Spielcontroller ersetzt, indem eine Kamera die Bewegungen des Spielers analysiert. Begeistert kaufte sich Hendrik eine solche Spielkonsole. Die Technik dahinter interessierte ihn so sehr, dass er sich in seiner Abschlussarbeit mit einem speziellen Verfahren zur Modellierung und Erkennung menschlicher Bewegungen in Videobildern beschäftigte.
 The Mall. – CC BY-NC-ND Pat Dalton… Kurz nach der Verteidigung der Arbeit erstellte er sich ein Profil bei einem Online-Businessportal mit Informationen über sein Thema und bekam schon wenig später ein gut dotiertes Jobangebot von der noch jungen Sicherheitsfirma „v-Watch“. Diese vertrieb moderne Videoüberwachungsanlagen, wobei der neuartige Ansatz darin bestand, die ständige Beobachtung der Kamerabilder überflüssig zu machen: Die Systeme sollten auffälliges Verhalten automatisch erkennen.
Obwohl er lieber irgendwas mit bewegungsbasierten Computerspielen gemacht hätte, nahm er das Angebot neugierig an und arbeitete kurz darauf mit der ebenfalls neu eingestellten Franziska zusammen, die sich mit vollautomatischen Computerlernverfahren beschäftigt hatte. Bislang gestaltete sich die händische Modellierung aller möglicher Arten von Verhaltensauffälligkeiten viel zu aufwändig, daher war die Verknüpfung von Franziskas Lernverfahren mit Hendriks Bewegungserkennung angedacht.
Das System sollte anhand von Beispielvideomaterial normales von auffälligem Verhalten zu unterscheiden lernen. Würde beim späteren Einsatz das beobachtete Verhalten zu sehr von der gelernten Normalität abweichen, sollte das Sicherheitspersonal automatisch alarmiert werden.
Nach einigen erfolglosen Versuchen bei der Erkennung komplexerer Handlungen konzentrierten sich Hendrik und Franziska zunächst auf die Auswertung von Körpersprache. Diesbezügliche Auffälligkeit wurde bei den wöchentlichen Teamsitzungen als vielversprechendes Indiz für eventuell bevorstehende gewalttätige oder anderweitig kriminelle Handlungen – also als sicherheitsrelevant – erachtet.
Da der Firma jedoch kein entsprechendes Filmmaterial zum Trainieren des Systems zur Verfügung stand und auch das Engagieren von Schauspielern nicht vom Budget abgedeckt werden konnte, entschied man sich kurzerhand, die Angestellten selbst diese Rolle übernehmen zu lassen. Hendrik war von dieser Idee gar nicht begeistert, denn er hatte Bedenken bezüglich der Brauchbarkeit des so entstehenden Materials.
Die Aufnahmesession wurde jedoch im Großen und Ganzen ein lustiger Tag, der auch das Arbeitsklima im Team von v-Watch spürbar verbesserte. Am Vormittag wurde Material für das Anlernen von Normalverhalten gedreht und nachmittags widmete man sich den Auffälligkeiten, mit denen das System später getestet werden würde. Hendrik wurde von seinen Kollegen nach der Sichtung der Bilder noch wochenlang humorvoll „Gorilla-Mann“ genannt. Nur Franziska – die einzige Frau des kleinen Teams – hatte keine Lust, bei dem Theater mitzumachen.
In der nächsten Zeit passte Franziska die Lernverfahren so an, dass sie für die Aufnahmen die erwarteten Ergebnisse lieferten. Nach den nun erfolgreichen Tests wurden Hendriks ursprüngliche Bedenken durch die Euphorie und Anerkennung der anderen über die gute gemeinsame Arbeit sowie den funktionierenden Prototypen zerstreut.
Nach einigen intensiven Monaten mit vielen Überstunden wurde das fertige System zum ersten mal in einem Einkaufszentrum installiert. Besonders Hendriks und Franziskas Modul lieferte viele Warnhinweise. Bei einer Evaluierung berichtete der Kaufhausdetektiv stolz, dass er die vom System als verdächtig eingestuften Leute immer ganz genau im Auge behalten würde. Zwar sei die Kriminalität im Kaufhaus insgesamt nicht signifikant gesunken, die Hinweise – erfahrungsgemäß meist gegen männliche Jugendliche – hätten sich jedoch schon mehrere Male bestätigt: Durch die vom System angestoßene intensivere Beobachtung war man des Öfteren auf Diebstähle und Rangeleien aufmerksam geworden. Als er dies hörte, begann Hendrik zu zweifeln, ob „sein“ System wirklich eine gute Antwort auf das gestellte Problem darstellte, denn es ging hier nicht um ein Computerspiel und falsche Bewegungen hatten echte Konsequenzen.
Fragen
Nutzen:
- Was sind „auffälliges“ und „verdächtiges“ Verhalten und inwiefern hängen diese zusammen?
- Auf welchen angenommenen Zusammenhängen von auffälligem und kriminellem Verhalten basiert das oben beschriebene System?
Nachvollziehbarkeit:
- Sind die Auffälligkeitsalarme für den Kaufhausdetektiv nachvollziehbar und nennt er sie zu Recht „Verdächtigkeitsalarm“?
- Sind die Auffälligkeitsalarme für Hendrik und sein Team nachvollziehbar?
- Ist eine Nachvollziehbarkeit für die Arbeit des Sicherheitspersonals erforderlich?
Testmaterial und Betroffene:
- Würden sich die Ergebnisse beim Praxiseinsatz ändern, wenn im Testvideomaterial nicht (nur) lebhafte junge Männer zu sehen gewesen wären?
- Würde es einen Unterschied ergeben, wenn Schauspielstudenten engagiert oder echte Videobilder aus dem Kaufhaus verwendet worden wären?
- Was bedeutet das obige System für junge Männer? Was bedeutet es für ältere Frauen? Können derartige Diskriminierungen verhindert werden?
Auswirkungen für Betroffene:
- Welche Auswirkung auf die Betroffenen hat das Wissen, dass Computer ständig alle Bilder des öffentlichen Raumes auswerten?
Erschienen in Informatik Spektrum 37 (5), 2014, S. 503–504
Benjamin Kees, Rainer Rehak
While Hendrik was completing his computer science degree, a new game console concept came on the market in which the player’s own body replaced the game controller based on a camera’s recorded analysis of the player’s movements. Hendrik was thrilled to get his hands on one of these game consoles. He was so fascinated by the technology behind it that he wrote his final thesis on the unique process for modeling and recognizing human movements in video images.
Not long after he defended his thesis, Hendrik included information about his research in a profile he created for an online business portal. He promptly snagged a lucrative job offer from “v-Watch,” a fledgling security company that sold modern video surveillance systems. Their innovative approach rendered the constant monitoring of camera images superfluous because their systems were designed to detect conspicuous behavior automatically.
While he’d have preferred working with motion-based computer games, he was genuinely interested and accepted the offer. Before long, he began collaborating with Franziska, another recent hire who was working on fully automated computer learning methods. Manually modeling all possible behavioral abnormalities was too time-consuming, so they devised a concept that linked Franziska’s learning process with Hendrik’s motion recognition system.
Based on sampled video material, their system was designed to learn to differentiate between normal and conspicuous behavior. Once it was in place, any behaviors that deviated substantially from pre-programmed “normality” would trigger an automatic alert to security personnel.
After several failed attempts at recognizing complex behavioral sequences, Hendrik and Franziska concentrated on evaluating body language. In their weekly team meetings, there was consensus over the notion that conspicuous behaviors of this nature were a promising index of potentially imminent violent or otherwise criminal activities—that is, relevant security concerns.
However, since the company didn’t have any suitable film stock to train the system and had no budget to hire actors, they decided on the fly to use employees for filming. Hendrik wasn’t altogether happy with the idea and doubted how valuable the resulting material would be.
Overall, though, the recording session made for a fun day that helped improve the work atmosphere for the v-Watch team. In the morning, they taped material for teaching normal behaviors, and that afternoon, they shot footage for conspicuous behaviors, which would later be used to test the system. Weeks after viewing the footage, Hendrik’s colleagues still jokingly referred to him as “the Gorilla guy.” Franziska, the only female member of the small team, was the only one who wanted nothing to do with the whole shebang.
Franziska soon began adapting the learning process to yield the results they anticipated based on their recordings. After some successful testing, Hendrik’s initial concerns were dispelled by his colleagues’ enthusiastic reception and positive reinforcement, who were as happy with the quality of collaboration as with the successful functioning of the prototypes.
After several intense months and tons of overtime, the finished product was installed for the first time in a shopping mall. Hendrik’s and Franziska’s module, in particular, sent out a lot of alerts. At a performance review, a department store security guard boasted about always keeping a close eye on people the system had flagged as suspicious. Even though the store saw a significant decrease in overall criminal incidents, some cases proved that the system’s alerts were justified, most often in the case of young adult males: The people it flagged for closer surveillance had been frequently involved in thefts and other brushes with the law. When he heard that, Hendrik began questioning whether “his” system was all that great a solution to the problem at hand because this wasn’t a computer game, and here, there were real-world consequences for making the wrong moves.
Questions:
Usability:
- How do you define “conspicuous” and “suspicious” behavior, and to what extent are the two related?
- What preconceived associations between conspicuous behavior and criminal activity form the basis for the system depicted here?
Relatability:
- Can the in-house detective relate to the behaviors flagged as “conspicuous,” and is he right to consider these people “suspect”?
- Can Hendrik and his team relate to the behaviors flagged as conspicuous?
- Should relatability on the part of security personnel be a prerequisite for this kind of work?
Test Subjects and Real-World Individuals:
- Would the practical application have yielded different results if the test subjects in the video were not (exclusively) young adult men living in the real world?
- Would it make a difference if paid student actors had been hired or if actual video footage from the department store had been used?
- What are the implications of the above-described system for young adult males? What are the implications for older women? Is there any way to avoid this kind of discrimination?
Ramifications for the Public at Large:
- What impact does it have on individuals to know that computers are constantly analyzing every move they make in public spaces?
Erschienen in Informatik Spektrum 37 (5), 2014, S. 503–504.
— Translated from German by Lillian M. Banks
Christine Hennig
Carola bekommt die Projektleitung für ein Software-Entwicklungs-Projekt übertragen, ihr erstes Projekt mit einem eigenem Team. Sie darf vom Kern-Team der Firma ein paar Leute übernehmen, verstärkt für ein Jahr durch weitere Programmierer von einer Leiharbeitsfirma. Carola darf sich sogar die neuen Kollegen selbst aussuchen.
Ihr Team arbeitet nach den Vorgaben des Projektmanagement-Frameworks SCRUM mit vierwöchigen Sprints zur Arbeitsplanung und täglichen Stand-Up-Meetings über die Fortschritte der Arbeit. Am Ende jedes Sprints erfolgt eine Kundenpräsentation.
Die Zusammenarbeit mit den Leih-Arbeitnehmern erweist sich allerdings als schwierig. Die Einarbeitung geht nur langsam voran, und zu allem Überfluss springen in den ersten Monaten mehrere Leih-Arbeitnehmer ab.
Micha ist fünf Monate im Team, als Dirk dazu stößt. Dirks Lebenslauf ist vielversprechend: Nach seinem Studium hat er Erfahrungen bei einer Großforschungseinrichtung, einer Frankfurter Bank, einem großen deutschen Automobilkonzern und sogar Auslandserfahrungen in der Schweiz sammeln können. Außerdem ist er sehr freundlich, umgänglich und durch seine Berufserfahrung erfreulich breit aufgestellt.
Zunächst jedoch ist Dirk durch eine Erkrankung wenig anwesend. Wenn er in der Firma ist, liegen Berge von Medikamenten auf seinem Schreibtisch. Mit seinem oft schmerzverzogenen, bleichen Gesicht sieht er auch nicht gesund aus. Entsprechend verzögert sich seine Einarbeitung. Krankschreiben lassen will er sich nicht, aus Angst vor Entlassung. Dirks Verleiher bietet Carola an, im Notfall eine Ersatzperson zu stellen, aber dann begänne die Einarbeitung erneut.
Ihr Abteilungsleiter zitiert Carola zu sich: „Deine Jungs sind teuer. Jeden Monat zeichne ich die Rechnungen ab. Sieh zu, dass sie Leistung bringen.“ Da die Leiharbeitnehmer teurer sind als interne Mitarbeiter, erwartet der Abteilungsleiter von ihnen eine höhere Leistung.
Carola fühlt sich zunehmend unter Druck. Sie ist überzeugt, dass ihr Team nur gute Leistungen erbringen kann, wenn alle gut zusammenarbeiten. Außerdem hat sie keine besseren Leiharbeitnehmer bekommen können und möchte gern mit den vorhandenen Leuten die maximale Leistung erreichen. Da im SCRUM die Teamleistung zählt, geben sich alle Mühe, die gesteckten Ziele der Sprints trotz Dirks Fehlzeiten zu erreichen. Alle sind sehr hilfsbereit, besonders Micha, der gerade erst seine eigene Einarbeitung hinter sich hat und die Probleme gut aus eigener Erfahrung kennt.
Carola schwankt in ihren Einschätzungen von Dirks Arbeitsleistung. Bei den täglichen Meetings gelingt es Dirk trotz eher geringer Arbeitsergebnisse immer wieder, bei Carola einen guten Eindruck zu hinterlassen. Trotzdem kommen ihr auch immer wieder Zweifel, die Dirk aber zerstreuen kann. Sie beschließt, nochmals alle Anstrengungen auf Dirks Einarbeitung zu fokussieren, der mittlerweile endlich gesund ist. Gleichzeitig versucht sie, weitere Mittel für eine Verlängerung der Leiharbeitnehmer aufzutreiben, um die Verzögerung auszugleichen.
Um die Motivation im Team zu erhöhen, kommuniziert sie die geplante Verlängerung für Dirk und Micha frühzeitig. Eine Weile scheint dies auch Wirkung zu zeigen. Dirks Ergebnisse werden langsam besser. Oder irrt sich Carola? Um Dirk seinen Stärken gemäß einzusetzen, lässt sie ihn sich die Aufgaben selbst aussuchen.
Vier Wochen später, Dirk ist mittlerweile sechs Monate in der Firma, steht das nächste Meeting an. Es stellt sich heraus, dass Dirk in vier Wochen gerade einmal einen Unit Test programmiert hat, der noch nicht mal im Source Code Repository eingecheckt ist. Carola ist entsetzt und sagt dies im Stand-Up auch.
Nach dem Meeting kommt Dirk in ihr Büro. Er berichtet von psychischen Problemen, die ihn nach der schmerzhaften Erkrankung und durch das jahrelange Fernpendeln als Leiharbeitnehmer aus der Bahn geworfen haben. Er versichert Carola, dass er wie aus einer Trance aufgewacht wäre und ab sofort besser arbeiten würde.
Carola verbringt ein hartes Wochenende. Dirk ist ein netter Junge, er tut ihr leid. Aber dass er in absehbarer Zeit noch ausreichend produktiv wird, sieht sie nicht. Wenn er bleibt, wirft sie das Projektgeld weiter zum Fenster raus. Wenn er gehen muss, erlaubt ihr Projektplan nicht mehr, eine Ersatzperson einzuarbeiten; damit zerfällt auch ihr eigenes Team. Außerdem ist die Verlängerung bereits von der Firmenleitung bewilligt, das Geld aus verschiedenen Töpfen zusammengesucht, der Verleih-Firma kommuniziert, und die Verwaltungsprozesse sind im vollen Gange. Wie steht Carola nun da?
Schweren Herzens geht sie zu ihrem Abteilungsleiter und informiert ihn über ihre Fehleinschätzung bezüglich Dirks Arbeitsleistung und sein Leistungspotential. Der Abteilungsleiter ist alles andere als erfreut. Er setzt Carola unter Druck: Sie muss sich sofort entscheiden, ob Dirk gehen muss oder noch mindestens drei Monate bleibt. Carola will jedoch keine weiteren drei Monate abwarten.
Der Verleiher schlägt ein gemeinsames Projekt-Abschlussgespräch vor. Dirk bittet Carola vorab, seine psychischen Probleme nicht zu erwähnen und überhaupt nur die positiven Seiten zu erwähnen. Gern willigt Carola ein, sie will ja Dirk keine Steine in den Weg legen. In der Vorbereitung versucht sie eine Liste mit seinen positiven Aspekten zu sammeln. Fassungslos stellt sie fest, dass sie bezüglich seiner Arbeit nichts finden kann, so sehr sie auch nachdenkt. Langsam wird Carola klar, dass sie einem Blender aufgesessen ist. Ist er gar ein Hochstapler? Der Gedanke lässt ihr keine Ruhe.
Micha kommt in Carolas Büro. Auch Micha hat beim Versuch, Dirks Arbeit zu übernehmen, festgestellt, dass da nichts zu übernehmen ist. Carola fühlt sich in ihrem Verdacht bestätigt. Dirk versucht in seinen letzten Tagen mit Hochdruck, einen guten Eindruck bei Carola zu hinterlassen. Anscheinend hat er Angst, Carola könnte doch noch Negatives seinem Verleiher gegenüber erwähnen. Langsam beginnt Carola das System zu durchschauen, mit dem Dirk den guten Eindruck erwecken konnte. Sie fühlt sich jetzt manipuliert und getäuscht.
Auch Micha kommt noch einmal zu Carola ins Büro und entschuldigt sich, dass er von sich aus nichts gesagt hatte. Er wollte Dirk nicht ohne ihn zu informieren anschwärzen. Er hatte sich aber auch nicht getraut, Dirk direkt darauf anzusprechen aus Angst, dass Dirk dann ihm geschadet hätte.
Fragen
- Hätte Micha früher zu Carola gehen müssen?
- Hätte Michas Ruf darunter gelitten?
- Hätte Carola Dirk noch eine Chance geben müssen, als ihr zum ersten Mal klar wurde, dass seine Leistungen nicht ausreichen? Darf oder soll sie zu diesem Zeitpunkt den Kollegen von der fehlenden Leistung von Dirk berichten? Wären damit persönlichkeitsrechtliche Probleme verbunden?
- Darf Carolas Abteilungsleiter von Micha und Dirk mehr Leistung als vom internen Personal fordern, weil sie mehr Kosten verursachen?
- Ist die Firmenpolitik, Leiharbeitnehmer für solche Aufgaben einzustellen, vertretbar?
- Wie kann Carola bei zukünftigen Einstellungen potentielle Blender schon im Gespräch erkennen? Soll sie Kontakt zu vorherigen Firmen aufnehmen? Ab wann ist ein Arbeitnehmer eigentlich als Blender zu betrachten? Was, wenn Carola nur irrig annimmt, Dirk sei ein Blender und er in Wahrheit vor und nach einer Schwächephase ein ausgezeichneter Programmierer ist?
- Muss Carola erneut das Gespräch mit der Verleih-Firma suchen und ihren Hochstapler-Verdacht der Verleih-Firma gegenüber äußern? Besteht für sie nicht sogar die Pflicht, das Wissen weiterzugeben?
- Wie ist die Teamleistung des SCRUM-Teams zu bewerten, wenn ein Teammitglied derart schwächelt? Wäre es auch problematisch, wenn durch die höhere Leistung der anderen Teammitglieder die Ziele erreicht worden wären?
- Wie viel (vorübergehende) Minderleistung muss das Team SCRUM auffangen?
- Hat Carola aus Eigennutz zu lange gezögert, Dirk zu entlassen?
- Hätte Carola Dirk sofort kündigen sollen, als er mehrere Wochen krank war, wie es die Verleih-Firma vorgeschlagen hatte?
- Kann die Verleih-Firma von Dirks Hochstapelei gewusst haben? Ist es angesichts des zu vermutenden Missbrauchs ethisch vertretbar, wenn jemand weiterhin über so eine Vermittlung verliehen wird?
- Darf sie ihren Mitarbeiter erneut verleihen, auch wenn mehrere Projekte gescheitert sind? Bisher hat er immer gut Geld für sie eingefahren.
- Ist es für Micha ein Wettbewerbsnachteil, wenn er offen und ehrlich kommuniziert, welche Tätigkeiten er kann, welche er nicht kann und für welche er Einarbeitungszeit benötigt?
- Wie soll Micha sich künftig verhalten, wenn ein Konkurrent Vorgesetzte und Kollegen täuscht?
- Wie ist Dirks Verhalten moralisch zu beurteilen?
- Was ändert sich an der Bewertung der Situation, wenn es sich komplett um internes Personal handelt?
Erschienen in Informatik Spektrum 37(4), 2014, S. 371–373
Constanze Kurz & Debora Weber-Wulff
Herbert, ein ehemaliger Rechenzentrumsmitarbeiter, der seit kurzem im Ruhestand ist, wartet ungeduldig auf den Postboten. Er hat vor vier Tagen einen neuen Laptop über einen großen Versandhändler bestellt. Normalerweise dauert es nur zwei bis drei Tage, bis die Ware geliefert wird; Herbert war schon öfters Kunde dort. Als auch nach mehreren Tagen kein Paket angekommen ist, setzt er sich an den Rechner um im Tracking-System des Versandhändlers nachzuschauen, wo sein Laptop bleibt.
Herbert glaubt seinen Augen nicht, als er nachgeschlagen hat: Die Bestellung ist vor zwei Tagen storniert worden – aber nicht von ihm selber, da ist er sich ganz sicher. Er hat sich ja gefreut, bei einer Sonderaktion den Laptop sogar mit Rabatt bekommen zu haben. Er ruft sofort bei der Hotline an, um zu fragen, was Sache ist.
Nach einer gefühlten Ewigkeit ist jemand am anderen Ende der Leitung, mit dem er sprechen kann. „Was ist mit meiner Bestellung?“, fragt Herbert ungeduldig. Eine Frau antwortet: „Ihre Bestellung wurde storniert.“ Herbert weiß das bereits: „Das sehe ich selber, aber das war ich nicht. Ich will wissen, warum sie storniert wurde. Außerdem möchte ich den Computer nochmal bestellen, genau zu den Sonderkonditionen, die vor vier Tagen galten.“
Die Frau an der Hotline murmelt nur: „Tut mir leid, ich kann leider nur sehen, dass Ihre Bestellung storniert wurde. Ich kann nicht sehen, warum. Und die Rabattaktion ist bereits abgelaufen. Kann ich Ihnen sonst behilflich sein?“ Herbert legt grußlos und wütend auf.
Er beschließt zu testen, ob das Problem grundsätzlicher Natur ist oder nur diese eine Bestellung des Laptops betraf. Er sucht sich eine Kleinigkeit zum Bestellen heraus, klickt auf „Kaufen“, wie immer auf Rechnung. Und in der Tat – zwei Tage später ist auch diese Bestellung storniert.
Am Wochenende kommt seine Tochter Inga zum Kaffeetrinken vorbei; sie wohnt in einem kleinen Häuschen in einem anderen Stadtteil. Als er sich über das Verhalten der Firma beschwert, erzählt Inga, dass sie und ihr Freund auch Probleme mit derselben Versandfirma hatten. Ihr Freund hatte recht viel Ware bestellt, aber die Rechnungen nicht sofort bezahlen können, weil er ein kurzzeitiges Liquiditätsproblem in seiner Firma hatte. Jetzt können nicht nur er, sondern sie beide überhaupt nichts mehr online bestellen, weder bei dieser Firma noch bei anderen größeren Händlern.
Herbert weiß natürlich, dass die Online-Händler schwarze Listen von Kunden führen, um einander vor potentiellen Betrügern zu warnen. Er hat ein gewisses Verständnis für solche Listen, denn in seinem Berufsleben hatte er sich mehr als einmal über säumige Zahler geärgert. Aber er selbst hat immer seine Rechnungen pünktlich bezahlt, er versteht nicht, warum er plötzlich nichts mehr bestellen kann.
Er erinnert sich daran, dass ein jüngerer ehemaliger Kollege, Sven, vor einigen Jahren zu dieser Versandfirma gewechselt war. Vielleicht könnte er helfen! Herbert sucht seine E-Mail-Adresse heraus und fragt ihn, ob er vielleicht aufklären kann und wisse, was da los sei.
Sven ruft gleich am nächsten Tag an und bittet Herbert, das Problem genau zu schildern. Nachdem Herbert seine Leidensgeschichte erzählt hat, meint Sven: „Wir haben gerade vor einigen Wochen eine neue Profiling-Software scharf geschaltet. Vielleicht liegt es daran.“ Herbert fragt nach, wie diese Profiling-Software funktioniert. Sven erklärt: „Unser System basiert auf einer Kombination neu entwickelter Data-Mining-Algorithmen, um möglichst präzise vorherzusagen, welche Kunden ihre Rechnungen bezahlen werden und welche nicht. Weißt Du, wir haben eine Ausfallrate von etwa sieben Prozent der Rechnungen, das ist natürlich viel zu hoch. Wir müssen dann immer Inkasso-Firmen beauftragen, und es dauert ewig, bis wir das Geld für Waren bekommen, die schon längst ausgeliefert worden sind. Ich schau mal nach, ob Du wegen unserer neuen Software nicht mehr auf Rechnung kaufen kannst.“
Ein paar Stunden später schon ruft Sven zurück. „In der Tat, Herbert, Du bist mit einem Problem-Flag versehen. Wenn ich das Ergebnis der Algorithmen korrekt interpretiere, wurdest Du klassifiziert als hochwahrscheinlich eng verwandt oder wohnlich verbunden mit einem Großschuldner. Du hast ja nun keinen Allerweltsnachnamen, es gibt Deinen Namen laut unserer Datenbank nur achtmal in Deutschland und nur zweimal in Deiner Stadt. Statistisch ist übrigens nachweisbar, dass Verwandte von Schuldnern oft selber ihre Rechnungen nicht begleichen, daran wird es wohl liegen.“
Sven führt noch weitere Details aus, nämlich dass die Software auch das Alter als Merkmal berücksichtigt, weswegen Pensionäre ohnehin runtergestuft werden. Aber Herbert hört kaum mehr hin. Sven bietet an, einfach händisch das Flag aus der Datenbank zu nehmen; schließlich kennt er Herbert und hat auch nebenbei schon nachgeschaut, dass er bis dahin immer seine Rechnungen bezahlt hat. „Nein“, sagt Herbert, „das ist nicht notwendig. Ich werde nicht mehr bei einem Laden einkaufen, der Sippenhaft einführt. Aber danke für Deine Mühen, jetzt verstehe ich wenigstens, was passiert ist.“
Fragen:
- Wie ist eine Profiling-Software generell ethisch einzuschätzen?
- Sollte eine Firma mitteilen, bevor sie eine Bestellung entgegennimmt, ob sie überhaupt die Bestellung so durchführen wird? Müsste die Firma für Kunden, die auf Grund eines internen Systems nicht auf Rechnung bestellen können, Kauf auf Vorkasse anbieten?
- Sollte die Firma bei der Stornierung des Kaufes wenigstens den Kunden informieren?
- Ist es legitim, wenn eine Firma versucht ihre Rechnungsausfälle mit Hilfe solcher Profiling-Software zu minimieren? Ist die Nutzung einer solchen Software gar geboten?
- Hat Sven einfach so anbieten können, das „Problem-Flag” zu löschen?
- Darf Sven heimlich nachsehen, ob Herbert auch alle Rechnungen bezahlt hat, ohne vorher um Erlaubnis gefragt zu haben?
- Hat Sven einfach so erklären dürfen, wie das System funktioniert? Schließlich sind die Algorithmen vielleicht geheim. Ist Sven vielleicht moralisch verpflichtet, Herbert Auskunft zu geben – trotz möglicher Verletzung von Betriebsgeheimnissen? Welche Pflicht hat Sven seinem Arbeitgeber gegenüber?
- Steht Sven in einer Handlungspflicht, nachdem er Kenntnis erlangt, dass die Profiling-Software nicht korrekt arbeitet? Wenn ja, welche?
- Ist es seriös, das Zahlungsverhalten nicht über direkte bonitätsrelevante Kriterien, sondern über das Verhalten von Verwandten oder Mitbewohnern zu prognostizieren?
- Sollen Personen, die bei einer Firma nicht bezahlt haben, vom Online-Handel überhaupt ausgeschlossen werden?
- Es gibt zunehmend Produkte, die per Online Handel schneller, günstiger, oder überhaupt erst erhältlich sind. Ist es ein ethisches Problem, wenn Personen auf Grund solcher Systeme vom Erwerb solcher Produkte gänzlich ausgeschlossen werden? Gibt es ein Recht auf die Möglichkeit, bestimmte Angebote im Markt wahrnehmen zu können?
- Ist es eine ethische Frage, wenn ein Versandhändler hinter dem Rücken seiner Kunden eine Profiling-Software betreibt?
- Soll eine Firma nach außen oder zumindest gegenüber dem konkreten Kunden darstellen, wie sie zu bestimmten Ergebnisse kommt?
- Wie kann man sich gegen Profiling wehren?
Erschienen in Informatik Spektrum 37(3), 2014, S. 259–261
|
|
Beiträge als RSS abonnieren
Kommentare