# taz.de -- Dekolonialisierung von Algorithmen: Programmierter Rassismus | |
> In KI-Systemen schlummern immer noch rassistische Vorurteile. Der Grund: | |
> Auch künstliche Intelligenz wird von Menschen gemacht. | |
Bild: Geflüchtete werden in Europa mit Fingerabdrücken registriert, als wäre… | |
Wer in Großbritannien ein Visum beantragt, dessen Daten wurden bis vor | |
Kurzem von einem Algorithmus gescreent. Die Software weist jedem | |
Antragsteller, der für einen Studien- oder touristischen Aufenthalt in das | |
Land einreisen will, ein grünes, gelbes oder rotes Risiko-Rating zu. Das | |
automatisierte Verfahren wurde vom [1][zuständigen Home Office Anfang | |
August ausgesetzt]. | |
Der Grund: Der Algorithmus war rassistisch. Die Behörde soll eine geheime | |
Liste mit „verdächtigen Nationalitäten“ geführt haben, die automatisch e… | |
rotes Risiko-Rating erhielten. Von einem „speedy boarding for white | |
people“, einem Schnellverfahren für weiße Leute, sprach hinterher die | |
Bürgerrechtsorganisation Foxglove. Während Weiße vom algorithmischen | |
Grenzer durchgewinkt wurden, mussten sich Schwarze offenbar noch einer | |
Sicherheitskontrolle unterziehen. Eine brutale Selektion. | |
Es ist nicht das erste Mal, dass Algorithmen Schwarze Menschen | |
diskriminieren. So hat Googles Foto-App 2015 einen Afroamerikaner und seine | |
Freundin als „Gorillas“ getaggt. Als wären Menschen Affen. Algorithmen | |
haben nach wie vor Probleme damit, Gesichter von Afroamerikanern zu | |
erkennen – die Fehlerrate ist bis zu zehn Mal höher als bei Weißen, [2][wie | |
zahlreiche Studien belegen]. Doch anstatt seine Modelle zu optimieren, hat | |
Google einfach die Kategorien „Gorilla“, „Schimpanse“ und „Affe“ en… | |
und das Problem damit „gelöst“. Die Technik ist noch nicht weit genug, um | |
vorurteilsfrei zu sein, also macht man sie blind. Ein epistemologischer | |
Taschenspielertrick. | |
Das Problem ist damit freilich nicht gelöst – es ist struktureller Art. | |
Denn Maschinen, die mit rassistisch verzerrten Daten von Menschen trainiert | |
werden, reproduzieren Stereotype. Wenn von Vorurteilen geleitete Polizisten | |
Afroamerikaner in bestimmten Vierteln kontrollieren, schickt eine | |
Predictive-Policing-Software die Einsatzkräfte immer wieder in diese | |
Quartiere und perpetuiert damit das Racial Profiling, weil die Modelle mit | |
verzerrten Daten gefüttert werden. So werden Stereotype durch | |
automatisierte Systeme zementiert. Ein Teufelskreis. | |
## Dekolonialisierung der KI | |
Der südafrikanische KI-Forscher Shakir Mohamed, der bei der Google-Tochter | |
DeepMind arbeitet, kritisiert, dass in der westlichen | |
Wissenschaftstradition noch immer das koloniale Erbe der Vergangenheit | |
schlummert. In einem aktuellen Aufsatz ruft er daher zu einer | |
„Dekolonialisierung der KI“ auf: Die Modelle sollen vielfältiger werden und | |
auch andere philosophische Traditionen als die des Westens oder Chinas | |
berücksichtigen. | |
Nun hat man bei solchen Thesen, die von einem Google-Entwickler in die | |
Diskussion gebracht werden, ja zunächst den Verdacht, dass es sich hierbei | |
um eine in Gesellschaftskritik gehüllte Produktwerbung handelt. Nach dem | |
Motto: Wir bei Google arbeiten die Geschichte auf! Trotzdem hat die | |
Diagnose etwas Triftiges. Denn KI ist ja im Kern ein westliches Konstrukt, | |
das auf bestimmten abendländischen Moral- und Wertvorstellungen (wie etwa | |
Individualismus) fußt und auch ein Weltbild mit all seinen Unschärfen | |
transportiert. | |
Die Organisation [3][Algorithm Watch, die regelmäßig automatisierte | |
Systeme] auf den Prüfstand hebt, hat in einem Experiment nachgewiesen, dass | |
der Objekterkennungsalgorithmus von Google Vision Cloud ein | |
Fieberthermometer in einer weißen Hand als Monokular labelt, in einer | |
Schwarzen Hand dagegen als Waffe. Das erratische neuronale Netz hält dem | |
Menschen den Spiegel vor: Denn oftmals sieht man ja zunächst Dinge, die man | |
sehen will. Die Kombination „Schwarz und Waffe“ ist offenbar ein geistiger | |
Kurzschluss, der in KI-Systemen codiert wird. | |
Wenn man in der Google-Bildersuche nach „Männer“ sucht, erscheinen | |
ausschließlich weiße Männer, was natürlich nicht repräsentativ ist – die | |
Wirklichkeit ist wesentlich bunter und heterogener –, aber letztlich | |
Ausfluss unserer Vorstellungen, die dann wiederum das Bewusstsein | |
bestimmen. | |
## Zählen alle Menschenleben gleich viel? | |
Zugegeben: Die Kritik ist nicht neu. Schon die Fotohersteller Fuji und | |
Kodak sahen sich mit Vorwürfen konfrontiert, auf ihren Fotos würden die | |
Kontraste von Schwarzen Menschen und People of Color nicht so gut | |
herauskommen wie die von „kaukasischen“ Gesichtern. Angesichts des | |
Siegeszugs der Digitalfotografie und zahlreicher Filtertechnologien mag die | |
Kritik mittlerweile überholt sein. Trotzdem offenbaren sich gerade im | |
Bereich des maschinellen Sehens noch zahlreiche Defizite. | |
So kam eine Studie des Georgia Institute of Technology im vergangenen Jahr | |
zu dem Ergebnis, dass die Sensoren autonomer Fahrzeuge Fußgänger mit | |
hellerer Hautfarbe besser erkennen als mit dunkleren Hauttönen. Wo die | |
Technik auf der einen Seite genau hinsieht, schaut sie an der | |
entscheidenden Stelle weg. Für die Praxis im Verkehr bedeutet das, dass ein | |
Schwarzer ein größeres Risiko hat, von einem Roboterfahrzeug angefahren zu | |
werden als ein Weißer. Zählen Schwarze Menschenleben für Maschinen gleich | |
viel? | |
Maschinenethiker behaupten ja gerne, man müsse nur die Trainingsdaten | |
bereinigen, sprich die Algorithmen mit genügend Fotos von Schwarzen | |
„füttern“, dann würden die Modelle valide Ergebnisse produzieren. [4][Doch | |
das Problem ist nicht die Datengrundlage], sondern das Design an sich. Das | |
Mustern, Klassifizieren und Sortieren menschlicher Merkmale ist eine | |
tradierte, anthropometrische Technik, die durch vermeintlich objektive | |
Verfahren wie Gesichts- oder Fingererkennung in neuem Gewand zurückkehrt. | |
In Indien begann die Kolonialverwaltung in den 1860er Jahren damit, | |
Soldaten mit Fingerabdrücken zu identifizieren, um Betrug bei der | |
Auszahlung von Pensionen zu vermeiden. Wenn man heute sein iPhone per | |
Fingerscan entsperrt, schwingt diese koloniale Praktik noch immer mit – | |
[5][auch wenn man sich vielleicht nicht unterdrückt, sondern überlegen | |
dabei fühlt]. Auch die Gesichtserkennung, die ihren Ursprung in der | |
erkennungsdienstlichen Behandlung der Bertillonage hat – der Kriminologe | |
Alphonse Bertillon ließ Ende des 19. Jahrhunderts Körperteile von | |
Kriminellen vermessen –, ist eine im Kern rassistische Registratur. | |
## Biometrische Verfahren kolonisieren den Körper | |
Noch heute werden diese Technologien vor allem an schwächeren Gruppen der | |
Gesellschaft erprobt. So wurden Flüchtlinge bei ihrer Ankunft in Europa mit | |
Fingerabdrücken registriert, als wären sie Kriminelle. Und in | |
Flüchtlingscamps des UNHCR müssen sich Menschen mit Iris- und Gesichtsscans | |
für Essensrationen authentifizieren. An dem kolonialen Framing dieser | |
Technik würde sich selbst dann nichts ändern, wenn die Fehlerrate bei null | |
läge. Biometrische Verfahren kolonisieren den Körper und machen das | |
Datensubjekt untertan. | |
Die Medientheoretikerin Ariana Dongus argumentiert, die Camps seien | |
„Versuchslabore für biometrische Datenerfassung“: Neue Technologien würden | |
im globalen Süden getestet, bevor sie in der westlichen Welt als sicher und | |
verkäuflich gelten. Wer argumentiert, man bräuchte bloß eine breitere | |
Datengrundlage, reduziert Rassismus nicht nur auf ein technisches Problem, | |
sondern verkennt auch die zugrundeliegenden Machtstrukturen. | |
Jacob Levy Moreno, der Ahnherr der sozialen Netzwerkanalyse, die heute von | |
Geheimdiensten und Polizeibehörden verwendet wird, schrieb in seinem Werk | |
„Die Grundlagen der Soziometrie“, dass „Rasse“ ein determinierender Fak… | |
des Gruppenverhaltens von Menschen sei. Die Vertreter der Sozialphysik | |
gehen auch heute noch von der kruden Prämisse aus, dass das „Aggregat“ der | |
Gesellschaft aus sozialen Atomen besteht, die sich wie Moleküle zueinander | |
verhalten – als wäre es ein naturwissenschaftliches Gesetz, dass ein | |
Schwarzer Verbrechen begeht. | |
Wenn diese Werkzeuge rassistische Ergebnisse produzieren, muss man sich | |
nicht wundern. Vielleicht braucht es in Zukunft nicht nur diversere | |
Entwicklerteams, sondern auch flexiblere Modelle, die der Komplexität der | |
Wirklichkeit Rechnung tragen. Denn am Ende sind es nicht Maschinen, die | |
Menschen stigmatisieren und kriminalisieren, sondern der Mensch selbst. | |
1 Sep 2020 | |
## LINKS | |
[1] https://www.bbc.com/news/technology-53650758 | |
[2] https://www.wired.com/story/best-algorithms-struggle-recognize-black-faces-… | |
[3] https://algorithmwatch.org/en/story/google-vision-racism/ | |
[4] https://uxdesign.cc/is-ai-doomed-to-be-racist-and-sexist-97ee4024e39d | |
[5] /Datensammlung-und-Corona-Apps/!5678601 | |
## AUTOREN | |
Adrian Lobe | |
## TAGS | |
künstliche Intelligenz | |
Kolonialismus | |
Schwerpunkt Rassismus | |
People of Color | |
künstliche Intelligenz | |
Schwerpunkt Überwachung | |
Schwerpunkt Rassismus | |
Schwerpunkt #metoo | |
Black Lives Matter | |
Algorithmus | |
## ARTIKEL ZUM THEMA | |
Künstliche Intelligenz: KI außer Kontrolle | |
Enquetekommission streitet über die Regulierung selbstlernender Maschinen: | |
Braucht man eine Behörde oder nur mehr Transparenz? | |
Überwachung vor der Haustür: Jeder ist verdächtig | |
Überwachung geht jetzt auch egalitär: über die App Neighbors, Amazons | |
smarte Türklingel Ring und das Phänomen der Coveillance. | |
Unfälle mit künstlicher Intelligenz: Ein rechtlicher Flickenteppich | |
Künstliche Intelligenz ist nicht perfekt. Der tödliche Unfall durch ein | |
Roboterauto oder rassistische Diskriminierung erfordern strengere | |
Regulierung. | |
Protest-Trends auf Instagram: Die Dialektik des Digitalen | |
Botschaften des Widerstands lassen sich mit dem Foto- und Video-Netzwerk | |
Instagram schnell verbreiten. Doch zu oft wird Protest dort selbst zur | |
Ware. | |
Amazon beendet Kooperation: Polizei vorläufig ohne Amazon | |
Amazon erlaubt der US-Polizei nicht mehr, eine Software zur | |
Gesichtserkennung zu verwenden. Lukrativ aber war der Geschäftszweig eh | |
nicht. | |
Einfluss auf den Algorithmus: Das System spinnt | |
Menschen und Algorithmen beeinflussen sich gegenseitig. Ausnahmesituationen | |
wie die Coronapandemie bringen die Systeme an ihre Grenzen. |