Im New York der 1920er Jahre wurde der Diskriminierung ein bauliches Denkmal gesetzt. Der einflussreiche Stadtplaner Robert Moses war damals sehr darauf bedacht, dass das Naturschutzgebiet Jones Beach auf Long Island vor allem der weissen Mittel- und Oberschicht zugute kommt. Daher veranlasste er, dass zahlreiche niedrige Brücken über die Zugangswege gebaut werden, wodurch die Strecken für die dreieinhalb Meter hohen Busse des öffentlichen Personennahverkehrs nicht mehr befahrbar waren. Dieser architektonische Kniff führte dazu, dass es für ärmere Bevölkerungsschichten ungemein schwierig wurde, den Jones Beach zu erreichen. Die wohlhabende weisse Mittelschicht hingegen bemerkte von dieser baulichen Segregationsmassnahme nichts – sie verfügte über eigene PKWs und konnte problemlos ihre Wochenendausflüge dorthin planen. Die Autorin und Mathematik-Professorin Hannah Fry verdeutlicht in ihrem Buch ‹Hello World› (2018) anhand dieser Geschichte, wie wichtig es ist zu prüfen, inwiefern unter der Oberfläche harmlos wirkender Massnahmen nicht doch insgeheim gesellschaftliche Machtgefälle zementiert werden. Der Schwerpunkt von Hannah Frys Arbeit liegt dabei keineswegs auf städtebaulichen Massnahmen; sie beschäftigt sich in ihrem Buch vielmehr mit zentralen Fragen der digitalen Infrastruktur unserer Zeit. Sie sagt, dass bewusst oder unbewusst getroffene Entscheidungen bezüglich der Architektur von Software das Potential haben, massiv in unser Leben einzugreifen. Fehlt eine kritische Folgeabschätzung, kann dies fatale Konsequenzen haben.
Es bedarf bei neuen Formen von auf Algorithmen basierender Diskriminierung nicht einmal eines Vorsatzes, es reicht eine Unachtsamkeit
Was das konkret bedeutet, lässt sich etwa beim Thema Arbeit beobachten. Immer mehr Unternehmen setzen auf elektronische Hilfsmittel, um die ideale Bewerberin für eine vakante Stelle zu finden. Die Firma Xerox wollte hierbei ein neues Verfahren ausprobieren. Lange Arbeitswege sind nachweislich ein grosser Stressfaktor für viele Beschäftigte. Unter der Annahme, dass Arbeitnehmende mit einem kurzen Arbeitsweg dem Unternehmen langfristig eher treu bleiben, wäre es daher nur logisch, bereits bei der Bewerberauswahl eine geringe Distanz zwischen Wohn- und Arbeitsort als Pluspunkt zu werten. Bei gleichen Qualifikationen würde dann die Bewerberin mit einem kurzen Arbeitsweg den Vorzug bekommen. Für das Unternehmen Xerox stellte sich dies als ein gutes Verfahren dar. Dabei wurde allerdings ein nicht unerhebliches Detail übersehen. Bewerber, die es sich mit ihrem derzeitigen Gehalt schlichtweg nicht leisten können, näher am Unternehmenssitz in einem wohlhabenden Stadtteil zu wohnen, sind bei einem solchen Verfahren klar im Nachteil. Die Folge: Bestimmte soziale Gruppen werden am beruflichen Aufstieg gehindert. Als dem Unternehmen dies klar wurde, sind sie schnell zum Ergebnis gekommen, das Kriterium Wohnortnähe lieber doch nicht berücksichtigen zu wollen. Das Beispiel zeigt, dass es bei neuen Formen von auf Algorithmen basierender Diskriminierung nicht einmal eines Vorsatzes bedarf, es reicht eine Unachtsamkeit. Für die Betroffenen sind die Folgen nichtsdestotrotz gravierend.
Ein anderer Fall macht dies noch deutlicher. Im Jahr 2018 verkündete Amazon, es werde nicht länger eine KI zur Auswahl von Bewerbungen benutzt. Es hatte sich nämlich herausgestellt, dass die künstliche Intelligenz systematisch Frauen diskriminierte. Auch hier ist unwahrscheinlich, dass ein Vorsatz des Unternehmens dahintersteckte. Um das System zu trainieren, wurden schlichtweg Daten von vergangenen Bewerbungen genutzt und die KI damit angefüttert. Die künstliche Intelligenz war bestrebt, in den Datensätzen Muster dafür zu finden, was die menschlichen Recruiter als den «idealen Bewerber» ansahen. Eine Regel lag für die KI auf Grundlage der Daten auf der Hand: Da in der Vergangenheit Männer sowohl öfter Bewerbungen eingereicht hatten als auch häufiger den Zuschlag bekamen, «lernte» die KI, dass das Geschlecht anscheinend ein wichtiges Kriterium sein müsse. Frauen wurden infolge dessen systematisch benachteiligt.
Angesichts solcher Fälle mag es für manche nahe liegen, jegliche Form softwarebasierter Entscheidungshilfen als «kalt» oder gar «unmenschlich» zu verteufeln. Doch ganz so einfach ist es dann doch nicht. Ebenso wäre es denkbar gewesen, Software dazu zu nutzen, um die Unterlagen von Bewerberinnen zu anonymisieren, damit Nebensächlichkeiten wie Alter, Aussehen und Geschlecht nicht mehr von der fachlichen Qualifikation eines Bewerbers ablenken. Solche Beispiele für den positiven Einsatz von Technik zur Beseitigung von Diskriminierung gibt es eben auch. Das Beispiel der misogynen Amazon-KI zeigt vor allem die Risiken eines leichtfertigen Technologieeinsatzes auf. Eine systematische Datenanalyse bisheriger Einstellungsentscheidungen hätte problemlos genutzt werden können, um vergangene Diskriminierung sichtbar zu machen. Werden die Daten bisheriger Einstellungsprozesse aber unreflektiert als «vorbildlicher» Trainingsdatensatz für eine KI übernommen, entsteht die Gefahr, dass bestehende Ungerechtigkeiten nicht nur weitergetragen, sondern sogar verschlimmert werden. Wird die Entscheidung einer KI überlassen, wird zudem die Verantwortung delegiert. Wer hinterfragt schon, ob die Maschine wirklich die «beste» Entscheidung getroffen hat? Und was wäre eigentlich, wenn eine solche Software gar von einem externen Dienstleister bereitgestellt werden würde, der sich bei der Forderung nach mehr Transparenz in Bezug auf die Kriterien einfach auf sein Geschäftsgeheimnis beruft und Prüfungen auf Fehler im System ablehnt, da dies schlecht fürs Marketing wäre? Sich gegen diese neuen Formen von Diskriminierung zur Wehr zu setzen, würde für Betroffene damit zu einem Ding der Unmöglichkeit werden.
In den vergangenen Jahren sind zahlreiche kommerzielle Angebote zur «objektiveren» Bewertung von Arbeitnehmenden wie Pilze aus dem Boden geschossen. Bei manch einem Produkt beschleicht einen jedoch das Gefühl, dass die Heilsversprechen der Anbieter mehr mit Esoterik als Wissenschaftlichkeit gemein haben. Dienstleister bieten mittlerweile an, grosse Datenberge nach Hinweisen zu Bewerbern zu durchforsten. Der blinde Zahlenglaube, der beim Einsatz solcher Systeme zum Ausdruck kommt, kann teilweise skurrile Ausmasse annehmen. So stellte ein auf Bewerbungsalysen spezialisiertes Unternehmen anhand seiner Datenanalyse etwa fest, dass Bewerberinnen, die einen aktuellen Browser benutzen, angeblich eher zu den Top-Performern gehören würden. Und wer in einem oder zwei sozialen Netzwerken angemeldet sei, bliebe angeblich länger im Job als die Vergleichsgruppe mit nur einem oder keinem Account. In den USA dürfen solche Recherchen zudem nicht nur öffentlich zugängliche Daten, sondern auch Daten von Auskunfteien und Datenhändlerinnen mit einschliessen. Damit wird plötzlich nicht mehr nur der Lebenslauf, sondern auch die private Lebensgestaltung zum Gegenstand einer Bewerbung. Würden solche Verfahren zum Standard, bedeutet dies, dass Arbeitnehmende sich mit einem nie enden wollenden Bewerbungsprozess zur Evaluierung ihrer ökonomischen Verwertbarkeit konfrontiert sähen.
Wenn Menschen anhand von Merkmalen in Schubladen sortiert werden, ist dies immer auch mit Risiken in Bezug auf Diskriminierung behaftet. Abseits der offensichtlichen moralischen und grundrechtlichen Fragen ist ein zentrales Problem derartiger Verfahren, dass die Grenze zwischen Wahrheit und Wahrscheinlichkeit verschwimmt. Eine Korrelation, also ein statistisches Zusammenfallen zweier Merkmale, wird innerhalb derartiger Herangehensweisen häufig wie eine Kausalität behandelt. Und ob die Datengrundlage für derartige Schlüsse wirklich valide ist, wird selten geprüft. Eine derartige Logik findet sich nicht nur bei vermeintlich innovativen Bewerbungsverfahren. Mag sein, dass Hobbyköche mit einer Vorliebe für Fenchel eine grössere Wahrscheinlichkeit haben, eine Hausratsversicherung weniger in Anspruch zu nehmen. Aber sollte dies rechtfertigen, Menschen mit anderen Ernährungsvorlieben weniger Rabatte anzubieten? Ist es gerecht, die Kreditwürdigkeit von Nutzerinnen des chinesischen Sesame-Credit Scortingdienstes aufgrund einer Vorliebe für Online-Games herunterzustufen? Und wie legitim ist es eigentlich anzunehmen, dass die täglich absolvierte Schrittzahl einer Krankenversicherung Auskunft darüber geben kann, ob ein Mensch sich um sein körperliches Wohlbefinden sorgt? Je umfassender der Datensatz ist, der bei einem solchen Optimierungsansatz zu Rate gezogen wird, desto umfassender ist auch der Druck, in bestimmte Schubladen zu passen. Und zwar unabhängig davon, wie absurd die Schubladen sind.
Kürzlich sorgte eine Meldung über ein Patent im Besitz des Unternehmens Airbnb für heftige Diskussionen. Mithilfe der automatisierten Analyse von Online-Aktivitäten soll die vermeintliche «Vertrauenswürdigkeit» von Usern gemessen werden können. Ziel sei es dabei, Hinweise auf negative Persönlichkeitsmerkmale wie Narzissmus und psychopathische Charakterzüge zu finden. Nun ist es natürlich so, dass sich in der Liste der angemeldeten Patente der meisten grossen Tech-Konzerne zahlreiche fragwürdige Ideen finden – viele davon werden nie umgesetzt. Gleichwohl hatte Airbnb in der Vergangenheit wiederholt mit Beschwerden von KundInnen zu kämpfen, die von ihren GastgeberInnen massiv belästigt wurden. Eine Software könnte eine günstige Methode sein, dieses Problem anzugehen. Doch bedeutet eine solche Software wirklich, dass Gemeingefährliche und Psychopathen treffsicher ausgesiebt werden könnten? «Nein», sagt die IT-Expertin Frederike Kaltheuner. «Es heisst lediglich, dass Airbnb alle seine Nutzer anhand einer Skala für Psychopathen bewertet.» Neue Formen von Diskriminierung sind hier unvermeidbar. Wie würde eine solche Software das Nutzer-verhalten von beispielsweise Autisten oder Künstlerinnen bewerten, die sich womöglich ganz anders als der Durchschnitt ausdrücken? Und: Wie würde sich dies auf den demokratischen Diskurs im Netz auswirken, wenn wir Gefahr laufen würden, für bestimmtes Verhalten plötzlich umfassend durch die freie Wirtschaft abgestraft zu werden? Eine Zukunft, in der nicht etwa eine Psychologin mit unserer Einwilligung unseren Geisteszustand prüft, sondern jedes beliebige Unternehmen, erscheint wenig verlockend. Es wäre eine wahr gewordene Dystopie.
Gerade in Bezug auf den Einsatz von Software im staatlichen Sektor täten wir gut daran, die zugrunde liegenden Annahmen hinter so mancher softwarebasierten Dienstleistung kritisch zu hinterfragen. Das gilt insbesondere für die Bereiche Strafverfolgung und Justiz. In mehreren US-Bundesstaaten können Richter bereits heute auf Software zurückgreifen, die anhand «objektiver Kriterien» ein «angemessenes» Strafmass vorschlägt. Die damit verbundene Hoffnung ist, dass Urteile dadurch gerechter werden. Untersuchungen haben nämlich gezeigt, dass das von Richtern und Richterinnen verhängte Strafmass oft von irrationalen Faktoren beeinflusst wird. Etwa, ob ein Fall kurz vor der Mittagspause verhandelt wurde und welches Geschlecht die Kinder des jeweiligen Richters haben. Die Intention zum Einsatz entsprechender Software ist daher durchaus nachvollziehbar.
Zahlreiche Hersteller algorithmischer Systeme berufen sich auf ihr Geschäftsgeheimnis. Die softwaregestützte Urteilsverkündung gleicht somit einer BlackBox.
Schwierig wird es allerdings, wenn man sich anschaut, wie einzelne Unternehmen ihre entsprechenden Lösungsangebote für dieses Problem konkret ausgestaltet haben. Wissenschaftliche Untersuchungen deuten darauf hin, dass Straftäter mit niedrigem Einkommen ein höheres Risiko aufweisen, erneut eine Straftat zu begehen. Aber rechtfertigt dies, dass eine softwarebasierte Entscheidungshilfe für US-Richter laut Recherchen von Bürgerrechtsorganisationen höchstwahrscheinlich auch sozioökonomische Faktoren mit einbezieht und darauf basierend bei bestimmten Fällen ein höheres Strafmass zwecks «Abschreckung» vorschlägt? Arm zu sein ist schliesslich kein Verbrechen.
Der Versuch der Beseitigung der einen Ungerechtigkeit droht somit neue Formen der Diskriminierung zu schaffen. Bei einem Gesetz kann schwarz auf weiss nachgelesen werden, was Recht und was Unrecht ist. Sowohl staatliche Stellen als auch Unternehmen sind allerdings äusserst zurückhaltend bei der Preisgabe von Informationen über die Kriterien, nach denen derartige Algorithmen Angeklagte beurteilen. Zahlreiche Hersteller entsprechender Systeme berufen sich auf ihr Geschäftsgeheimnis. Die softwaregestützte Urteilsverkündung gleicht somit einer BlackBox.
Die Vision, dass mit dem Einzug von technischen Entscheidungssystemen in immer mehr Bereichen unserer Gesellschaft neue Formen von Diskriminierung drohen, ist mitnichten ein dystopisches Schreckgespenst. Diese Entwicklung ist in vollem Gange. Längst gibt es eine ganze Reihe von Anbietern, die für die «Optimierung» jedes vermeintlichen Problems eine «objektive» softwaregestützte Lösung zur Hand haben. Wir wären gut beraten, derartige Heilsversprechen nicht vorschnell für bare Münze zu nehmen. Vielmehr müssen wir uns die grundsätzliche Frage stellen: In welchen Bereichen wollen wir überhaupt Technik einsetzen? Welche Möglichkeiten brauchen Betroffene, um Diskriminierung sowohl zu erkennen als auch um sich dagegen zur Wehr zu setzen? Wie müssen gerechte Regeln in Bezug auf Transparenz, Haftung und Nachvollziehbarkeit aussehen, damit sie mit unserem Wertesystem vereinbar sind? Das Problem an diesem ganzen Themenkomplex ist: Wenn wir als Zivilgesellschaft diese Fragen nicht in den nächsten Jahren beantworten, werden es andere für uns tun. Derartig fundamentale Entscheidungen der unsichtbaren Hand des Marktes zu überlassen wäre ein kolossaler Fehler. Denn der Markt regelt alles mögliche, aber er gibt sicherlich keine Antwort darauf, wie eine lebenswerte Welt im digitalen Zeitalter aussehen kann.