# taz.de -- Algorithmen und Diskriminierung: Maschinelle Sittenwächter | |
> Plattformen wie Instagram und Tiktok löschen Fotos von dicken Menschen, | |
> die „zu viel“ nackte Haut zeigen. Das befeuert die Diskriminierung. | |
Bild: Der Algorithmus sah beim Model Nicholas-Williams „zu viel Haut“ | |
Vergangenes Jahr veröffentlichte das Model Nyome Nicholas-Williams eine | |
sinnliche Aufnahme: die Augen geschlossen, der Kopf in den Nacken gelegt, | |
die Arme um die Brust verschlungen. Die UserInnen waren begeistert. | |
Doch Instagram gefiel diese Pose nicht: Das Netzwerk löschte dieses und | |
weitere Fotos und drohte Nicholas-Williams mit der Schließung ihres | |
Accounts. Der Grund: Ein Verstoß gegen die „Gemeinschaftsrichtlinien“. | |
Darstellungen von Nacktheit sind auf der Fotoplattform nicht erwünscht. | |
Nicholas-Williams machte das wütend. „Jeden Tag findet man auf Instagram | |
Millionen von Bildern sehr nackter, dürrer weißer Frauen. Aber eine dicke | |
schwarze Frau, die ihren Körper feiert, wird verbannt? Es war schockierend | |
für mich“, sagte sie. „Ich fühle mich, als wäre ich zum Schweigen gebrac… | |
worden.“ | |
Ein Aufschrei ging durchs Netz. Unter dem Hashtag „[1][#IwanttoseeNyome]“ | |
riefen NutzerInnen Instagram dazu auf, das Foto wieder zu zeigen. Von | |
Zensur und Rassismus war die Rede. Instagram entschuldigte sich für den | |
Vorfall und änderte daraufhin seine Richtlinien. | |
## Erst der Algorithmus, dann ModeratorInnen | |
Bei der Moderation seiner Inhalte setzt Instagram – wie auch der | |
Mutterkonzern Facebook und andere Plattformen – auf eine Mischung aus | |
künstlicher und menschlicher Intelligenz. Zunächst filtern Algorithmen den | |
gröbsten Müll, dann sieben ModeratorInnen den Rest aus. | |
Zwar hat [2][Facebook-Chef Mark Zuckerberg] bei der Anhörung im US-Kongress | |
2018 vollmundig verkündet, ein KI-System könne problemlos Brustwarzen | |
erkennen. Doch noch immer machen Computer haarsträubende Fehler. So wurden | |
Zwiebeln als anstößig markiert, weil der Algorithmus die in einem Körbchen | |
platzierten Knollen für die Rundungen eines Körperteils hielt. | |
Nach Angaben der Adult Performers Actors Guild, einer Gewerkschaft, die | |
unter anderen SchauspielerInnen, Webcam-DarstellerInnen und StreamerInnen | |
vertritt, meldet der Instagram-Algorithmus Fotos, auf denen über 60 Prozent | |
Haut zu sehen ist – was in der Praxis dicke Menschen diskriminiert. Denn | |
ein dicker Mensch hat eine größere Körperoberfläche als eine dünne Person | |
und zeigt damit – bei gleicher Bekleidung – vergleichsweise mehr Haut. Die | |
KI von Instagram hält das für obszön und schlägt Alarm. | |
Dass die Plattform Menschen mit anderen Proportionen diskriminiert, zeigt | |
auch das Beispiel Celeste Barber. Die australische Comedian parodiert auf | |
ihrem Instagram-Account regelmäßig die lasziven Posen von Topmodels. | |
Als Barber das Supermodel Candice Swanepoel imitierte und ihre Brust mit | |
der Hand bedeckte, wurde das Foto mit dem Hinweis zensiert, dass der Post | |
gegen die Richtlinien verstoße. [3][Swanepoels Vorlage wurden von den | |
algorithmischen Sittenwächtern dagegen durchgewinkt] – obwohl das | |
südafrikanische Topmodel noch viel spärlicher bekleidet war und nicht mal | |
einen Stringtanga trug. | |
Misst Instagram hier mit zweierlei Maß? Sind Menschen, die nicht die | |
Körpermaße von dünnen Models haben, nicht präsentabel? Auch hier könnte | |
wieder der erratische Objekterkennungsalgorithmus eine Rolle gespielt | |
haben. Barbers Brüste sind im Vergleich zu Swanepoels deutlich größer, also | |
„sieht“ der Algorithmus mehr nackte Haut und daher einen möglichen Versto�… | |
Doch anders als es uns die Softwareentwickler weismachen wollen, geht es | |
hier nicht um statistische oder technische Details, sondern um die | |
gesellschaftspolitisch relevante Frage, was wir sehen wollen und was nicht. | |
## Instagrams Doppelmoral | |
Zur Nacktheit haben Techkonzerne ein zwiespältiges Verhältnis. Auf der | |
einen Seite wirkt Instagram wie eine Modestrecke, wo sogar Protest zur Pose | |
verkommt. Auf der anderen Seite fühlt man sich zuweilen wie in einem | |
puritanischen Regime, wo ständig die Moralpolizei patrouilliert und | |
Kleidungsvorschriften kontrolliert. | |
So hat Facebook Fotos von Gustave Courbets berühmtem Gemälde „Der Ursprung | |
der Welt“ und Abbildungen der „Venus von Willendorf“ verschämt aus seinen | |
Galerien verbannt. Auch Fotos von nackten, in Ketten gelegten Aborigines | |
wurden von Facebook mit Verweis auf die Nacktheitsgrundsätze gelöscht, was | |
einen bizarren Fall von Cancel Culture markiert: Historische Dokumente der | |
Sklaverei verschwinden kommentarlos von der Bildfläche. | |
Einmal programmiert, machen Algorithmen Tabula rasa. Das zeigt einmal mehr, | |
dass der Rigorismus, der Algorithmen innewohnt und das binär codierte | |
Weltbild, das keine Graustufen zulässt, mit den Werten einer offenen | |
Gesellschaft nicht vereinbar sind. | |
Es sind aber nicht nur Maschinen, die unsere Werteordnung attackieren, | |
sondern auch Menschen. So wurden ModeratorInnen der populären App Tiktok | |
angewiesen, Videos von Menschen mit Behinderung zu verbergen. Wie | |
[4][Recherchen von netzpolitik.org] zeigen, wurden in den Richtlinien als | |
Beispiele Merkmale wie „entstelltes Gesicht“, Autismus oder Downsyndrom | |
genannt. Auch queere und dicke Menschen sollten von der Bühne verschwinden. | |
Begründet wurde die Reichweitenbegrenzung mit Mobbingschutz. | |
Für die Bewertung hatten die ModeratorInnen 15 Sekunden Zeit. Die | |
berechtigte Frage ist natürlich, ob man in einer so kurzen Zeitspanne | |
ferndiagnostisch Autismus erkennen kann. Und ob man Diskriminierung mit | |
Diskriminierung bekämpft. Denn natürlich ist es diskriminierend, wenn | |
Menschen aufgrund ihres Aussehens oder einer Behinderung benachteiligt | |
werden. Sind dicke Menschen oder Menschen mit Behinderung nicht vorzeigbar? | |
Wer definiert, was „normal“ ist? | |
Mit den Vorwürfen konfrontiert, räumte das Unternehmen ein, Fehler gemacht | |
zu haben. Auf Anfrage von netzpolitik.org erklärte eine Sprecherin: „Dieser | |
Ansatz war nie als langfristige Lösung gedacht und obwohl wir damit eine | |
gute Absicht verfolgt haben, wurde uns klar, dass es sich dabei nicht um | |
den richtigen Ansatz handelt.“ | |
Die Regelungen seien inzwischen durch neue, nuancierte Regeln ersetzt | |
worden. Man habe die Technologie zur Identifikation von Mobbing | |
weiterentwickelt und ermutige die Nutzer zum positiven Umgang miteinander. | |
Ein repräsentatives Bild unserer Gesellschaft lässt Tiktok allerdings | |
weiterhin vermissen. | |
Solche kruden Selektionskriterien wecken böse Erinnerungen. Die | |
paternalistische Annahme, dass man Mobbing im Netz nur verhindern könne, | |
wenn man potenzielle Opfer aus dem Scheinwerferlicht der Öffentlichkeit und | |
vermeintlich in Schutz nimmt, sagt viel aus über das Selbstverständnis der | |
Plattform – und die Umgangsformen im Netz. | |
Der Kulturwissenschaftler Joseph Vogl beschreibt in seinem [5][Buch | |
„Kapital und Ressentiment“], wie die „Bewirtschaftung des Sozialen“ und | |
„ballistische Schnellkommunikation“ das Ressentiment in der Gesellschaft | |
befeuern. Es wurzele in einem „spezifischen Vergleichs- und Relationszwang, | |
in einem Reflex zu Valorisierung und Bewertung, in einer wuchernden | |
Urteilslust“, schreibt Vogl. So befördere die „Ökonomie des Ressentiments… | |
das Konkurrenzsystem und umgekehrt. | |
## Aus einer mathematischen Norm wird eine soziale | |
Auf Plattformen wie Tiktok sind NutzerInnen systemisch gezwungen, ständig | |
Bewertungen abzugeben, sonst sieht man keine neuen Inhalte. Hopp oder topp, | |
Daumen hoch oder runter. Dieser Valorisierungszwang durch algorithmische | |
Selektion erzeugt nach Vogl Konformismen, die wiederum „soziale | |
Divergenzmächte“ stimulieren. | |
Im Fall von Instagram wäre dies der Algorithmus, der nach einer bestimmten | |
statistischen Häufigkeitsverteilung (zu viel) Nacktheit bewertet – und aus | |
einer mathematischen eine soziale Norm macht. | |
Und das wirkt sich über automatisierte Feedbackschleifen auch auf | |
Schönheitsideale aus. Die 17-jährige Schauspielerin Sissy Sheridan | |
twitterte: „Ich mochte meinen Körper, bevor ich Tiktok heruntergeladen | |
habe.“ Studien belegen, dass durch das [6][Scrollen durch Instagram-Feeds | |
die Zufriedenheit mit dem eigenen Körper abnimmt]. | |
Das Phänomen des „Body Shaming“ wird durch eben jene | |
algorithmisch-biometrischen Screenings hervorgerufen, die dicken Models zu | |
viel Freizügigkeit bescheinigen. Vielleicht bräuchte es auch in sozialen | |
Netzwerken eine Kampagne wie die des Kosmetikkonzerns Dove, der schon 2004 | |
mit dicken Frauen warb. Dann würden sich auch Models wie Nyome | |
Nicholas-Williams wohler fühlen. | |
27 Jul 2021 | |
## LINKS | |
[1] https://www.instagram.com/explore/tags/iwanttoseenyome/ | |
[2] /Kartellamt-gegen-Facebook/!5761068 | |
[3] https://www.theguardian.com/technology/2020/oct/20/instagram-censored-one-o… | |
[4] https://netzpolitik.org/2019/tiktoks-obergrenze-fuer-behinderungen/ | |
[5] /Sachbuch-Kapital-und-Ressentiment/!5760230 | |
[6] https://www.jetzt.de/koerperbilder/wie-soziale-netzwerke-unser-koerperbild-… | |
## AUTOREN | |
Adrian Lobe | |
## TAGS | |
künstliche Intelligenz | |
Soziale Medien | |
Diskriminierung | |
TikTok | |
Diversity | |
GNS | |
Schwerpunkt Facebook | |
Debattenkultur | |
Diskriminierung | |
Kolumne Habibitus | |
TikTok | |
Trend | |
Soziale Netzwerke | |
Digital | |
Schwerpunkt Coronavirus | |
Unternehmen | |
## ARTIKEL ZUM THEMA | |
Social-Media-App „Be Real“: Alles wieder natürlich | |
Die App „BeReal“ feiert unretuschierte Momentaufnahmen und will so | |
Instagram herausfordern. Klappt das? | |
Was heute politisch ist: Überall und nirgendwo | |
Konsum und Lebensmittel werden zunehmend ideologisiert. Das ist Ausdruck | |
einer Hyperpolitik: Alles ist politisch, aber immer weniger politikfähig. | |
Ungleichbehandlung im Schwimmbad: Nur Männer dürfen Brüste zeigen | |
Als Mina Berger* in einem Göttinger Schwimmbad ihr Oberteil auszieht, wird | |
sie rausgeworfen. Ein Bündnis gegen Ungleichbehandlung wehrt sich. | |
Schönheitsdruck in der Gesellschaft: No pressure, just pleasure | |
Schon in der Kindheit war klar: Bei besonderen Anlässen muss man gut | |
aussehen. Aber warum sich nicht einfach mal schön machen, nur so, ohne | |
Druck? | |
Weltweit populäre Video-App: China steigt bei Tiktok-Konzern ein | |
Peking wird praktisch bald ein Vetorecht bei der beliebten Video-App haben. | |
Das dürfte die Debatte über das Netzwerk in den Vereinigten Staaten | |
befeuern. | |
Video-App Tiktok vor Facebook-Diensten: Platz 1 ohne elterliche Empfehlung | |
Keine App wurde 2020 häufiger heruntergeladen als TikTok. Leicht wurde ihr | |
der Weg an die Spitze dabei nie gemacht. | |
Twitter-KI diverser machen: Suche nach dem Superprogrammierer | |
Das US-Netzwerk Twitter lässt seine Algorithmen von Externen prüfen. Aber | |
reicht das am Ende, um die Diskriminierung zu stoppen? | |
BGH-Urteil zu Facebook: Auch Hetzer:innen haben Rechte | |
Facebook muss Betroffene vor der Sperrung ihres Kontos anhören. Das ist | |
richtig. Soviel Fairness muss sein. | |
Wandel der Stadt durch das Internet: Das digitale Dorf ist segregiert | |
Die ortlose digitale Gesellschaft war einst eine Utopie. In der Realität | |
könnte sie spalten: in digitale NomadInnen und prekäre ArbeiterInnen. | |
Dickfeindlichkeit in der Pandemie: Die Corona-Wampe als Feind | |
Viele freuen sich dieser Tage auf die Rückkehr der „alten Normalität“. Ei… | |
Normalität, die für dicke Menschen oft Diskriminierung bedeutet. | |
Digitale Kommunikation: Politische Ökonomie des Emojis | |
Emojis sind heute mehr als lustige Symbole für den privaten Chat. Sie sind | |
längst politisches und ökonomisches Kommunikationsmittel. |