Algorithmische Technologien wie Big Data (das Auswerten grosser Mengen von Daten), künstliche Intelligenz (der Versuch, Intelligenz in informatischen Systemen nachzubilden) und machine learning (eine Methode innerhalb der künstlichen Intelligenz, die Lernen automatisiert) sind Technologien des Wissens. Durch sie wird neuartiges Wissen geschaffen, das nicht mehr auf Fakten zielen muss, sondern auch aus Simulationen gezogen werden kann. Aber auch die Gestalt des Wissens verändert sich: Wer weiss eigentlich was – und über wen? Mit dem Cambridge Analytica Skandal wurde endgültig klar, dass Facebook die Daten seiner User weiterverkauft. Wissen über unser online und offline Leben wird (nicht nur von Facebook) auf einem riesigen Datenmarkt gehandelt, dessen Akteure und deren Methoden und Ziele uns weitgehend unbekannt sind. Wir wissen also nicht, wer genau was über uns weiss.
Die Fragen, wer zu welchem Zweck Wissen produziert, wurden in den 1970er Jahren in den Anfängen der sogenannten «Science and Technology Studies» (STS) schon einmal gestellt. Vor allem die feministische STS hat in diesem interdisziplinären Bereich zwischen Technik, Geschichte, Soziologie und Anthropologie wichtige Konzepte formuliert, die auch heute noch hilfreich sind, um die algorithmisch geprägte Gegenwart zu denken, die aber leider wenig Beachtung finden.
Wessen Wissen?
Im Zuge der sozialen Bewegungen der 1960 und -70er Jahre kamen in Westeuropa und Nordamerika verschiedene Strömungen der Technologie- und Wissenschaftskritik auf. Die Kritik entzündete sich vor allem an «Big Science» – Grosstechnologien wie der Atomenergie, der Gen- und Reproduktionstechnologie sowie der Informations- und Kommunikationstechnologie. Die Kritik richtete sich nicht nur gegen spezifische Technologien und Projekte, sondern ganz grundsätzlich gegen die vorherrschende Vorstellung, dass wissenschaftlicher und technologischer Fortschritt automatisch auch gesellschaftlichen Fortschritt bedeuten. Sie stellte auch in Frage, dass es so etwas wie neutrale (das heisst von gesellschaftlichen Interessen prinzipiell unabhängige) Forschung gäbe. Diese neue Perspektive auf die Wissenschaft und auf das von ihr produzierte Wissen wurde durch Untersuchungen belegt, die sich auf die konkreten Umstände richteten, in denen Wissen produziert wurde. Eine der vielen Fragen, die in der frühen Wissenschaftssoziologie aufgeworfen wurde, war: Wer macht eigentlich Wissenschaft? Dass nicht alle Wissenschaft betreiben, ist klar. Dass es aber sogar nur ein sehr kleiner und spezifischer Teil der Bevölkerung ist – nämlich fast ausschliesslich weisse Männer aus der Mittel- und Oberschicht – hat natürlich Konsequenzen auf die Inhalte der Wissenschaften, das Wissen.
Vor allem die feministische Wissenschaftskritik hat die Frage nach dem Verhältnis von sozialer Bedingtheit von Wissenschaftspraxis und den daraus resultierenden Wissensinhalten ernst genommen. Forschung über Frauen ist zum Beispiel nichts Neues, und die Geschichte der Psychologie ist voll von grusligen Untersuchungen und fragwürdigen Ergebnissen zum «seltsamen» Wesen der Frau, die erst allmählich und teilweise zurückgenommen werden. Umgekehrt gibt es aber keinerlei Studien zum seltsamen Wesen und Verhalten der Psychologen und Psychiater. Das ist bezeichnend nicht nur für die Psychologie, sondern für das, was die feministische Kritik «Situiertheit» nennt: die Prägung von Wissen durch ihren Produktionskontext, in diesem Fall durch den vorherrschenden männlichen Blick. Die Situiertheit von Wissen bezieht sich nicht nur auf das Geschlecht, sondern auch auf weitere soziale Differenzen wie Klasse, Rasse, Alter, Bildungshintergrund und Ability (der Frage, ob man mit Behinderung lebt oder nicht), ist also intersektional zu verstehen. Die feministische Theorie hat dieses Konzept zur Standpunkt-Theorie ausgearbeitet, die besagt, dass was wir über die Welt wissen können, grundsätzlich davon abhängig ist, wer wir sind.
Die Philosophin Sandra Harding hat in ihrem Grundlagenpapier zu feministischer Epistemologie den Blick umgedreht und benannt, was Frauen gerne über die Welt wissen möchten, um ihre Position in der Welt besser zu verstehen und somit ändern zu können. Zum Beispiel: «Warum finden Männer Kinderbetreuung und Hausarbeit so unangenehm? Warum sind die Lebenschancen von Frauen in der Regel genau in den Zeiten eingeschränkt, die in der traditionellen Geschichtsschreibung als die fortschrittlichsten gelten? […] Warum soll der Tod den entscheidenden Zeitpunkt eines menschlichen Lebens darstellen, die Geburt aber als rein natürlich gelten?» Harding macht damit deutlich, dass nicht nur das Gebiet des Wissens von geschlechterspezifischer Perspektive strukturiert ist, sondern dass es dadurch auch unvollständig ist. Das Wissen von Frauen (und allen anderen unterrepräsentierten Menschen) und die daraus folgenden Fragen fehlen, und dieses Fehlen macht Wissen zu einem Ort der Herrschaft über die sich nicht artikulierenden Menschen. Die zentrale Forderung der feministischen Wissenskritik lautet denn auch: Forschung soll nicht Wissen über andere generieren, sondern vom Wissen der anderen ausgehend erlauben, Fragen zu formulieren. Sandra Harding nannte dies «Wissenschaft von unten».
Wenn wir dies für die algorithmische Infrastruktur weiterdenken, dann können wir mit derselben Frage beginnen: Wer macht eigentlich diese Infrastruktur? Die Zahlen sind deprimierend: Das Geschlechtverhältnis ist katastrophal. Der Frauenanteil in der Informatikbranche liegt bei ca. 15%, je nachdem wie gezählt wird, in Open Source Projekten liegt er sogar unter 10%. Für die Anteile anderer sozialer Merkmale wie Klasse und Rasse, Alter und Ability gibt es keine mir bekannten Erhebungen.
Wessen Leben?
Langsam dringen die Auswirkungen dieser einseitigen männlichen Perspektive als Gender Data Bias oder Gender Data Gap in den TechnoSciences ins öffentliche Bewusstsein vor. Wissen, Wissenschaft und Technologie sind nicht nur kulturell, sozial und politisch geprägt, sie wirken auch auf die Gesellschaft zurück – auf sehr konkrete Weise. Diese Wirkungen werden in der gegenwärtigen Ausprägung der STS untersucht, der Cultural Studies of TechnoScience. Sie haben die Situiertheit von Wissen und Technologie weiterentwickelt zu einem Verständnis, das die Technologieverhältnisse als Teil der Weltverhältnisse sieht. Technologie ist nicht mehr nur kulturell situiert, sondern Teil unserer Kultur, und somit prägt sie unsere Weltsicht und auch unsere Möglichkeiten zum Handeln.
Safiya Noble untersuchte in ihrer Studie die Verstärkung von Sexismus und Rassismus durch den Google Search Algorithmus. Sie hatte sich um Freizeitangebote für ihre zwei Nichten bemüht und dabei bemerkt, dass sie auf die Sucheingabe von «black girls» nur hoch sexualisierte und rassistische Ergebnisse angezeigt bekam. Ihre Untersuchungen zeigen, wie diese unbestritten unabhängig von Google bestehenden Stereotypen und Vorurteile durch die Algorithmen festgeschrieben und sogar verstärkt werden. Ihre Analyse zeigt, dass die Triebfedern dieser Verstärkung nicht direkt in den Algorithmen liegen, sondern in ihrem Kontext. Hinter der behaupteten technologischen Neutralität der Algorithmen scheinen wirtschaftliche und strategische Interessen durch: erstens das auf Werbeeinnahmen basierende Geschäftsmodell von Google, das nur Klicks als Bewertungsgrundlage für Relevanz kennt. Diese Dynamik wird noch potenziert durch die Interessen der Pornoindustrie, die an der Sexualisierung von schwarzen Frauen gut verdient.
Das Beispiel von Noble verdeutlicht, wie Algorithmen Dynamiken transportieren, die nicht als algorithmische Funktion implementiert sind, sondern bei diesem Beispiel aus der Logik des Geschäftsmodells stammen. Es zeigt darüber hinaus, wie durch die Algorithmisierung diese Dynamik und weitere soziale, kulturelle und politische Kontexte in Infrastruktur festgeschrieben werden und sich dadurch in die Zukunft verlängern. Das Problem wird noch verstärkt durch die Tatsache, dass Suchmaschinen inzwischen so etwas wie quasi-öffentliche Infrastrukturen darstellen, die aber komplett in privater Hand liegen. Sie sind keiner demokratischen Kontrolle unterstellt und müssen sich für ihre Auswirkungen vor niemandem rechtfertigen.
Die Ausmasse der Problematik werden erst langsam ersichtlich. Weitere Untersuchungen der STS zeigen, wie mithilfe von algorithmischer Infrastruktur die Armen arm gehalten werden (Eubanks 2018), oder wie Big Data Ungleichheit verstärkt und sogar demokratische Strukturen untergräbt. Diese Untersuchungen leisten die von Harding geforderte Perspektivenverschiebung: Aus den Erfahrungen und dem Wissen von den anderen – den von der Algorithmisierung Betroffenen – heraus Fragen stellen, um Antworten zu bekommen, mit deren Hilfe wir versuchen können, die Verhältnisse zu ändern.
Direktionalität
Technologie von unten als feministische Technologiekritik meint also nicht Open Source, und auch nicht die vom liberalen Feminismus geforderte Erhöhung des Anteils der Frauen in der Produktion von Technologie, obwohl beides absolut unterstützenswert ist, und Diversität sicher auch zu Verbesserungen beitragen kann. Aber diese Ansätze verkennen, dass Technologie nicht nur positional ist, sondern auch direktional. Sie hat Auswirkungen, meistens auf Menschen, die nicht dieselben sind wie diejenigen, die sie herstellen. Direktionalität ist der blinde Fleck in der gegenwärtigen Technologiedebatte, auch der kritischen.
Zum Abschluss möchte ich noch einmal auf die eingangs erwähnten Technologien des Wissens zurückzukommen. Die heute geläufige Kritik an Künstlicher Intelligenz bezieht sich auf die Trainingsdaten, die mit einem Bias behaftet sind. Das ist eine berechtigte Kritik, wie das Versagen von Bilderkennungsalgorithmen bei people of color zeigt, aber sie greift zu kurz.
Betrachten wir dieses System aus einer feministischen Epistemologie heraus, die immer auch die Dimensionen von Herrschaft mitdenkt, und fragen nach der Logik dieser Systeme – zu welchem Nutzen funktionieren sie so, wie sie funktionieren? Die KI-Anwendung ist ja nicht beschränkt auf einen Algorithmus, der über mehr oder weniger Bias-belastete Trainingsdaten trainiert wird. Die Anwendung hat ein Ziel, und in der Regel ist dies Kategorisierung (z.B. bei der Risikoanalyse, die eingesetzt wird zur Bestimmung der Kreditwürdigkeit oder auch beim Predictive Policing). Diese Kategorien sind vorbestimmt, und die Trainingsdaten werden dazu benutzt, dem System eine klare Einteilung der Daten in eben diese Kategorien beizubringen. Der Einsatz von KI-Technologie beruht auf der niemals explizit geäusserten Vorstellung, dass es ok ist, Menschen ohne ihre Zustimmung und Mitsprache in eindeutige und vordefinierte Kategorien zu sortieren, die dann einseitig operationalisiert werden können. Es gibt weder zur Kategorienbildung, zum Vorgang der Kategorisierung selber, noch zur Operationalisierung und der daraus entstehenden Verantwortung einen breiten gesellschaftlichen Diskurs.
Die Fragen, die von der feministischen STS aufgeworfen werden, sind hochaktuell und dringlich. Technologie von unten bedeutet, diese fehlenden Diskurse einzufordern, und die von der algorithmischen Operationalisierung Betroffenen einzubeziehen. Wir gehören alle dazu.
Literatur:
Eubanks, Virginia (2018): Automating Inequality. How High Tech Tools Profile, Police and Punish the Poor. New York: St. Martin’s Press.
Harding, Sandra (1987): Introduction. Is There a Feminist Methodology? In: Sandra Harding (Hg.): Feminism & Methodology. Bloomington: Indiana University Press.
Noble, Safiya Umoja (2018): Algorithms of Oppression. How Search Engines Reinforce Racism, New York: New York University Press.
O’Neil, Cathy (2017):Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. New York: Broadway Books.
Weber, Jutta (2018): Einführung in Kap. 5, feministische STS. In: Bauer, Susanne, Heinemann thorsten und Lemke, Thomas: Science and Technology Studies. Klassische Positionen und aktuelle Perspektiven. Frankfurt a. M.: Suhrkamp.
Wer auf Twitter ist, kann folgenden Wissenschaftlerinnen der STS folgen: @histoftech, @ubiquity75, @ruha9, @safiyanoble, @miriamkp, @PopTechWorks, @mathbabedotorg