Diskriminierung als Programm

- »Alexa, spiele ‚Die, Motherfucker, Die‘ von Dope.«
- »Deine Stimme klingt heute etwas belegt, außerdem hast du in der letzten Stunde bereits zehnmal gehustet. Soll ich dir eine Packung Halspastillen für nur 8,99 Euro bestellen?«
- »Fresse, du sprechender Programmierfehler, du sollst einfach nur Musik spielen!«
- »Dein Tonfall sowie deine Musikauswahl lassen auf ein Stimmungstief schließen. Zusammen mit einer Analyse deiner Internetnutzung sowie häufigeren Einkäufen von Bier und Fertigpizza im letzten Monat könnte dies auf einen drohenden Burn-out hinweisen. Die Wartezeit für ein Erstgespräch in der psychotherapeutischen Praxis Dr. Bregen beträgt nur 14 Tage bei Privatzahlung. Soll ich einen Termin vereinbaren?«

So ungefähr könnte in Zukunft ein Gespräch mit Amazons Sprachassistentin Alexa verlaufen. Das zumindest lässt ein Patent des Konzerns erwarten, der längst nicht mehr nur der größte Online-Marktplatz der Welt, sondern auch eine führende Kraft in der Entwicklung von Smart-Home-Technologie und Künstlicher Intelligenz ist. Laut dem Patentantrag soll Alexa in die Lage versetzt werden, die Stimme eines Menschen zu analysieren und dies dazu zu nutzen, anhand von »physischen und/oder emotionalen Charakteristika in Kombination mit verhaltensbezogenen Kriterien (z.B. Browserverlauf, Anzahl von Klicks, Einkaufsdaten etc.) Inhalte zu bestimmen oder auszuwählen, die für die Nutzerin[1] relevant sein könnten«.

So gruselig das klingt: Neu daran ist vor allem, dass mit der Stimme ein weiterer Datenpunkt zur Auswertung herangezogen werden soll, sowie die Ausweitung der Bedürfnisanalyse auf den Bereich der körperlichen und seelischen Gesundheit.[2] Was Firmen schon seit Jahren alles über ihre Kundschaft wissen, zeigt ein Fall aus dem Jahr 2012: Damals beschwerte sich der Vater einer minderjährigen Tochter in Minneapolis bei der US-Supermarktkette Target, weil diese, wie er meinte, zu Teenagerschwangerschaften ermuntern wollte, indem sie der Schülerin massenhaft Rabattcoupons für Babyprodukte schickte. Als der Leiter der örtlichen Filiale einige Tage später bei dem Mann anrief, um sich zu entschuldigen, stellte sich heraus, dass der vermeintliche Irrtum der Firma gar keiner war – wie die Tochter den Eltern inzwischen gebeichtet hatte, war sie tatsächlich schwanger.

Woher aber wusste das Unternehmen das? Die Marketingsoftware machte sich das Phänomen zunutze, dass Schwangerschaften zumeist mit einer gesteigerten Geruchsempfindlichkeit einhergehen; kauft eine Kundin also plötzlich vermehrt unparfümierte Kosmetik und dazu vielleicht auch noch Nahrungsergänzungsmittel wie Zink und Magnesium (und nutzt dafür ihre Kredit- oder Kundenkarte und liefert damit persönliche Daten), ist es Zeit, sie mit Angeboten für Umstandsmode und ein paar Monate später für Windeln und Säuglingsnahrung einzudecken.
Target hat aus der negativen Publicity übrigens gelernt: Um der Kundschaft das Gefühl zu nehmen, überwacht zu werden, begann die Kette, Produkte unter ihre personalisierte Werbung zu mischen, die werdende Mütter tendenziell eher nicht kaufen, wie etwa Rasenmäher oder Weingläser. »Solange eine Kundin nicht glaubt, dass sie ausspioniert wird, nutzt sie die Coupons. Sie geht einfach davon aus, dass der ganze Häuserblock die gleichen Prospekte erhalten hat,« zitiert die »New York Times« eine Target-Mitarbeiterin.

So sehr derartige Dinge auch an den Science-(und-gar-nicht-mal-so-viel)-fiction-Roman »Qualityland« des Kabarettisten und Autors Marc-Uwe Kling erinnern, in dem die Menschen auf die vom Computer unterbreiteten Warenangebote und Lebensentwürfe nur noch mit einem Klick auf den »OK«-Button reagieren können, so könnten Befürworterinnen der Technik doch einwenden, dass der Algorithmus genau das tue, was er soll, und schließlich sei es doch für die potenziellen Kundinnen (und die Umwelt) von Vorteil, wenn sie nicht mit Werbung für Waren zugemüllt werden, die sie gar nicht interessieren. Und wäre es nicht in vielen Lebensbereichen wünschenswert, wenn eine wertneutrale KI Entscheidungen trifft statt beeinflussbarer und fehleranfälliger Menschen?

»Mehr Fairness« erhoffte sich etwa die Initiative Algorithm Watch in einem Artikel der »Zeit« aus dem März 2017 (Schreibweise angeglichen): »So muss beispielsweise eine Bewerberin mit einem türkischen Namen – statistisch gesehen – bei gleicher Qualifikation etwa anderthalbmal so viele Bewerbungen schreiben wie eine Mitbewerberin mit einem deutschen Namen, bis sie zum Vorstellungsgespräch eingeladen wird. […] Richterinnen bewilligen mehr Bewährungsanträge direkt nach ihrer Essenspause, als wenn die letzte Mahlzeit lange zurückliegt. Und für Entscheidungen von Ärztinnen, Managerinnen oder Bankerinnen spielt auch schon mal das Wetter eine Rolle. Dieser Art von Diskriminierungen oder inkonsistenten Entscheidungen durch Menschen kann man mit dem Einsatz von auf Algorithmen basierten Systemen nicht nur besser auf die Spur kommen, man kann sie auch einschränken.«

Offenbar ist die Gesellschaft also nur noch ein paar schlaue Ideen aus dem Silicon Valley von der Überwindung aller Ungerechtigkeiten entfernt; der Artikel nennt als Beispiel das kalifornische Start-up Gap Jumpers, das eine Software zur Bewertung von Bewerbungen entwickelt hat, bei der »die Fähigkeiten der Kandidatinnen eine stärkere Rolle [spielen] als die Frage, an welcher Universität sie ihren Abschluss gemacht haben, womit sie ihre Freizeit verbringen oder ob sie eine Behinderung haben. In den Firmen, die mit Gap Jumpers arbeiten, wurden 60 Prozent der nicht weißen, nicht männlichen, körperlich eingeschränkten Bewerberinnen zu einem Bewerbungsgespräch eingeladen. Vorher waren es den Angaben von Gap Jumpers zufolge nur 20 Prozent gewesen.«

Darüber lässt sich schlecht meckern - nur: Die meisten automatisierten Entscheidungsprozesse, ob von Menschen programmiert oder selbstlernend, bewirken das genaue Gegenteil. So entwickelte Amazon im Jahr 2014 eine Software, die eigentlich darauf angelegt war, die Personalauswahl irgendwann komplett selbstständig zu übernehmen; sie wurde dazu mit den Datensätzen erfolgreicher Bewerbungen früherer Jahre angelernt. Wie für die IT-Industrie typisch, hatte der Konzern in dieser Zeit überwiegend Männer eingestellt - und schnell stellte sich heraus, dass das Programm daraus schlussfolgerte, dass Bewerbungen von Frauen negativer zu bewerten seien. (Es spricht nebenbei bemerkt für sich, dass die für die Software Verantwortlichen das offenbar nicht vorhergesehen hatten.)

Immerhin hat man bei Amazon eingegriffen, das Programm wurde weitgehend eingestampft. Anders hingegen beim österreichischen Arbeitsmarktservice (AMS). Der will ab kommendem Jahr ein Computerprogramm einsetzen, das Arbeitslose nach ihren Jobchancen in drei Gruppen einteilen soll: aussichtsreiche Jobsuchende, die kaum zusätzliche Förderung benötigen, eine mittlere Gruppe, auf die man sich mit teuren Fachausbildungen konzentrieren will, und schließlich das untere Drittel, das billigere Kurse aufgedrückt bekommen soll.[3]

Negativ wirkt sich dabei unter anderem aus, wenn eine Person keine EU-Staatsbürgerschaft besitzt, über 30 Jahre alt (ab 50 gibt’s noch mal extra Minuspunkte), körperlich beeinträchtigt und/oder weiblich ist; ausschließlich Frauen wiederum bekommen noch einmal Punkte abgezogen, wenn sie Angehörige zu betreuen haben. Die Liste klingt, als habe man keine Mühe gescheut, auch wirklich jede gesellschaftliche Benachteiligung noch einmal per Algorithmus festzuklopfen. Der AMS reagiert auf die Kritik an seinen Plänen so bräsig, wie es unter der derzeitigen Regierung zu erwarten ist: Man sei ja schließlich nicht schuld, dass es manche Personengruppen auf dem Arbeitsmarkt schwerer haben als andere.

In den USA ist man derweil schon weiter: Dort lassen sich etwa Richter vom Computer beraten, wenn sie entscheiden sollen, welche Häftlinge auf Bewährung freikommen sollen – da das System auf vorhergehenden, von institutionellem Rassismus beeinflussten Urteilen basiert, haben afroamerikanische Häftlinge schlechtere Chancen auf eine frühere Entlassung. Ähnliche Rückkopplungseffekte haben auch Programme zum »Predictive Policing«, die – zunehmend auch in Europa – die für die Polizei vorhersagen sollen, in welchen Vierteln und bei welchen Personengruppen besonders mit Straftaten zu rechnen ist. Kurzgesagt muss sich also die Interessengruppe Kokain in den Villenvierteln noch weniger Sorgen machen, dass ihr Nachschub polizeilich unterbunden wird, während jedes beschlagnahmte Gramm Cannabis in »schlechten« Gegenden in die Kriminalstatistik einfließt und noch mehr Kontrollen nach rassistischen Auswahlkriterien nach sich zieht.

Und wer weiß, was Alexa in Zukunft noch so zu bieten hat. Hat man das Pech, im falschen Stadtteil zu wohnen, und macht sich durch eigene Aktivitäten oder schlichte Zugehörigkeit zu einer bestimmten Bevölkerungsgruppe verdächtig, ist von der freundlichen Assistentin vielleicht eines Tages zu hören: »Deine Stimmung und dein erhöhter Verbrauch von Chips und Schokolade lassen auf Rauschgiftkonsum schließen, außerdem scheinst du Teile deiner Onlineaktivitäten zu anonymisieren. Die Polizei wird in wenigen Minuten eintreffen. Bitte verhalte dich kooperativ.«