Introduction
Introduction Statistics Contact Development Disclaimer Help
# taz.de -- Algorithmen und Diskriminierung: Maschinelle Sittenwächter
> Plattformen wie Instagram und Tiktok löschen Fotos von dicken Menschen,
> die „zu viel“ nackte Haut zeigen. Das befeuert die Diskriminierung.
Bild: Der Algorithmus sah beim Model Nicholas-Williams „zu viel Haut“
Vergangenes Jahr veröffentlichte das Model Nyome Nicholas-Williams eine
sinnliche Aufnahme: die Augen geschlossen, der Kopf in den Nacken gelegt,
die Arme um die Brust verschlungen. Die UserInnen waren begeistert.
Doch Instagram gefiel diese Pose nicht: Das Netzwerk löschte dieses und
weitere Fotos und drohte Nicholas-Williams mit der Schließung ihres
Accounts. Der Grund: Ein Verstoß gegen die „Gemeinschaftsrichtlinien“.
Darstellungen von Nacktheit sind auf der Fotoplattform nicht erwünscht.
Nicholas-Williams machte das wütend. „Jeden Tag findet man auf Instagram
Millionen von Bildern sehr nackter, dürrer weißer Frauen. Aber eine dicke
schwarze Frau, die ihren Körper feiert, wird verbannt? Es war schockierend
für mich“, sagte sie. „Ich fühle mich, als wäre ich zum Schweigen gebrac…
worden.“
Ein Aufschrei ging durchs Netz. Unter dem Hashtag „[1][#IwanttoseeNyome]“
riefen NutzerInnen Instagram dazu auf, das Foto wieder zu zeigen. Von
Zensur und Rassismus war die Rede. Instagram entschuldigte sich für den
Vorfall und änderte daraufhin seine Richtlinien.
## Erst der Algorithmus, dann ModeratorInnen
Bei der Moderation seiner Inhalte setzt Instagram – wie auch der
Mutterkonzern Facebook und andere Plattformen – auf eine Mischung aus
künstlicher und menschlicher Intelligenz. Zunächst filtern Algorithmen den
gröbsten Müll, dann sieben ModeratorInnen den Rest aus.
Zwar hat [2][Facebook-Chef Mark Zuckerberg] bei der Anhörung im US-Kongress
2018 vollmundig verkündet, ein KI-System könne problemlos Brustwarzen
erkennen. Doch noch immer machen Computer haarsträubende Fehler. So wurden
Zwiebeln als anstößig markiert, weil der Algorithmus die in einem Körbchen
platzierten Knollen für die Rundungen eines Körperteils hielt.
Nach Angaben der Adult Performers Actors Guild, einer Gewerkschaft, die
unter anderen SchauspielerInnen, Webcam-DarstellerInnen und StreamerInnen
vertritt, meldet der Instagram-Algorithmus Fotos, auf denen über 60 Prozent
Haut zu sehen ist – was in der Praxis dicke Menschen diskriminiert. Denn
ein dicker Mensch hat eine größere Körperoberfläche als eine dünne Person
und zeigt damit – bei gleicher Bekleidung – vergleichsweise mehr Haut. Die
KI von Instagram hält das für obszön und schlägt Alarm.
Dass die Plattform Menschen mit anderen Proportionen diskriminiert, zeigt
auch das Beispiel Celeste Barber. Die australische Comedian parodiert auf
ihrem Instagram-Account regelmäßig die lasziven Posen von Topmodels.
Als Barber das Supermodel Candice Swanepoel imitierte und ihre Brust mit
der Hand bedeckte, wurde das Foto mit dem Hinweis zensiert, dass der Post
gegen die Richtlinien verstoße. [3][Swanepoels Vorlage wurden von den
algorithmischen Sittenwächtern dagegen durchgewinkt] – obwohl das
südafrikanische Topmodel noch viel spärlicher bekleidet war und nicht mal
einen Stringtanga trug.
Misst Instagram hier mit zweierlei Maß? Sind Menschen, die nicht die
Körpermaße von dünnen Models haben, nicht präsentabel? Auch hier könnte
wieder der erratische Objekterkennungsalgorithmus eine Rolle gespielt
haben. Barbers Brüste sind im Vergleich zu Swanepoels deutlich größer, also
„sieht“ der Algorithmus mehr nackte Haut und daher einen möglichen Versto�…
Doch anders als es uns die Softwareentwickler weismachen wollen, geht es
hier nicht um statistische oder technische Details, sondern um die
gesellschaftspolitisch relevante Frage, was wir sehen wollen und was nicht.
## Instagrams Doppelmoral
Zur Nacktheit haben Techkonzerne ein zwiespältiges Verhältnis. Auf der
einen Seite wirkt Instagram wie eine Modestrecke, wo sogar Protest zur Pose
verkommt. Auf der anderen Seite fühlt man sich zuweilen wie in einem
puritanischen Regime, wo ständig die Moralpolizei patrouilliert und
Kleidungsvorschriften kontrolliert.
So hat Facebook Fotos von Gustave Courbets berühmtem Gemälde „Der Ursprung
der Welt“ und Abbildungen der „Venus von Willendorf“ verschämt aus seinen
Galerien verbannt. Auch Fotos von nackten, in Ketten gelegten Aborigines
wurden von Facebook mit Verweis auf die Nacktheitsgrundsätze gelöscht, was
einen bizarren Fall von Cancel Culture markiert: Historische Dokumente der
Sklaverei verschwinden kommentarlos von der Bildfläche.
Einmal programmiert, machen Algorithmen Tabula rasa. Das zeigt einmal mehr,
dass der Rigorismus, der Algorithmen innewohnt und das binär codierte
Weltbild, das keine Graustufen zulässt, mit den Werten einer offenen
Gesellschaft nicht vereinbar sind.
Es sind aber nicht nur Maschinen, die unsere Werteordnung attackieren,
sondern auch Menschen. So wurden ModeratorInnen der populären App Tiktok
angewiesen, Videos von Menschen mit Behinderung zu verbergen. Wie
[4][Recherchen von netzpolitik.org] zeigen, wurden in den Richtlinien als
Beispiele Merkmale wie „entstelltes Gesicht“, Autismus oder Downsyndrom
genannt. Auch queere und dicke Menschen sollten von der Bühne verschwinden.
Begründet wurde die Reichweitenbegrenzung mit Mobbingschutz.
Für die Bewertung hatten die ModeratorInnen 15 Sekunden Zeit. Die
berechtigte Frage ist natürlich, ob man in einer so kurzen Zeitspanne
ferndiagnostisch Autismus erkennen kann. Und ob man Diskriminierung mit
Diskriminierung bekämpft. Denn natürlich ist es diskriminierend, wenn
Menschen aufgrund ihres Aussehens oder einer Behinderung benachteiligt
werden. Sind dicke Menschen oder Menschen mit Behinderung nicht vorzeigbar?
Wer definiert, was „normal“ ist?
Mit den Vorwürfen konfrontiert, räumte das Unternehmen ein, Fehler gemacht
zu haben. Auf Anfrage von netzpolitik.org erklärte eine Sprecherin: „Dieser
Ansatz war nie als langfristige Lösung gedacht und obwohl wir damit eine
gute Absicht verfolgt haben, wurde uns klar, dass es sich dabei nicht um
den richtigen Ansatz handelt.“
Die Regelungen seien inzwischen durch neue, nuancierte Regeln ersetzt
worden. Man habe die Technologie zur Identifikation von Mobbing
weiterentwickelt und ermutige die Nutzer zum positiven Umgang miteinander.
Ein repräsentatives Bild unserer Gesellschaft lässt Tiktok allerdings
weiterhin vermissen.
Solche kruden Selektionskriterien wecken böse Erinnerungen. Die
paternalistische Annahme, dass man Mobbing im Netz nur verhindern könne,
wenn man potenzielle Opfer aus dem Scheinwerferlicht der Öffentlichkeit und
vermeintlich in Schutz nimmt, sagt viel aus über das Selbstverständnis der
Plattform – und die Umgangsformen im Netz.
Der Kulturwissenschaftler Joseph Vogl beschreibt in seinem [5][Buch
„Kapital und Ressentiment“], wie die „Bewirtschaftung des Sozialen“ und
„ballistische Schnellkommunikation“ das Ressentiment in der Gesellschaft
befeuern. Es wurzele in einem „spezifischen Vergleichs- und Relationszwang,
in einem Reflex zu Valorisierung und Bewertung, in einer wuchernden
Urteilslust“, schreibt Vogl. So befördere die „Ökonomie des Ressentiments…
das Konkurrenzsystem und umgekehrt.
## Aus einer mathematischen Norm wird eine soziale
Auf Plattformen wie Tiktok sind NutzerInnen systemisch gezwungen, ständig
Bewertungen abzugeben, sonst sieht man keine neuen Inhalte. Hopp oder topp,
Daumen hoch oder runter. Dieser Valorisierungszwang durch algorithmische
Selektion erzeugt nach Vogl Konformismen, die wiederum „soziale
Divergenzmächte“ stimulieren.
Im Fall von Instagram wäre dies der Algorithmus, der nach einer bestimmten
statistischen Häufigkeitsverteilung (zu viel) Nacktheit bewertet – und aus
einer mathematischen eine soziale Norm macht.
Und das wirkt sich über automatisierte Feedbackschleifen auch auf
Schönheitsideale aus. Die 17-jährige Schauspielerin Sissy Sheridan
twitterte: „Ich mochte meinen Körper, bevor ich Tiktok heruntergeladen
habe.“ Studien belegen, dass durch das [6][Scrollen durch Instagram-Feeds
die Zufriedenheit mit dem eigenen Körper abnimmt].
Das Phänomen des „Body Shaming“ wird durch eben jene
algorithmisch-biometrischen Screenings hervorgerufen, die dicken Models zu
viel Freizügigkeit bescheinigen. Vielleicht bräuchte es auch in sozialen
Netzwerken eine Kampagne wie die des Kosmetikkonzerns Dove, der schon 2004
mit dicken Frauen warb. Dann würden sich auch Models wie Nyome
Nicholas-Williams wohler fühlen.
27 Jul 2021
## LINKS
[1] https://www.instagram.com/explore/tags/iwanttoseenyome/
[2] /Kartellamt-gegen-Facebook/!5761068
[3] https://www.theguardian.com/technology/2020/oct/20/instagram-censored-one-o…
[4] https://netzpolitik.org/2019/tiktoks-obergrenze-fuer-behinderungen/
[5] /Sachbuch-Kapital-und-Ressentiment/!5760230
[6] https://www.jetzt.de/koerperbilder/wie-soziale-netzwerke-unser-koerperbild-…
## AUTOREN
Adrian Lobe
## TAGS
TikTok
Diversity
Diskriminierung
GNS
Social Media
Schwerpunkt Künstliche Intelligenz
Instagram
Schwerpunkt Meta
Konsum
Diskriminierung
Kolumne Habibitus
TikTok
Trend
Diversität
Soziale Netzwerke
Digital
Schwerpunkt Coronavirus
Unternehmen
## ARTIKEL ZUM THEMA
Social-Media-App „Be Real“: Alles wieder natürlich
Die App „BeReal“ feiert unretuschierte Momentaufnahmen und will so
Instagram herausfordern. Klappt das?
Was heute politisch ist: Überall und nirgendwo
Konsum und Lebensmittel werden zunehmend ideologisiert. Das ist Ausdruck
einer Hyperpolitik: Alles ist politisch, aber immer weniger politikfähig.
Ungleichbehandlung im Schwimmbad: Nur Männer dürfen Brüste zeigen
Als Mina Berger* in einem Göttinger Schwimmbad ihr Oberteil auszieht, wird
sie rausgeworfen. Ein Bündnis gegen Ungleichbehandlung wehrt sich.
Schönheitsdruck in der Gesellschaft: No pressure, just pleasure
Schon in der Kindheit war klar: Bei besonderen Anlässen muss man gut
aussehen. Aber warum sich nicht einfach mal schön machen, nur so, ohne
Druck?
Weltweit populäre Video-App: China steigt bei Tiktok-Konzern ein
Peking wird praktisch bald ein Vetorecht bei der beliebten Video-App haben.
Das dürfte die Debatte über das Netzwerk in den Vereinigten Staaten
befeuern.
Video-App Tiktok vor Facebook-Diensten: Platz 1 ohne elterliche Empfehlung
Keine App wurde 2020 häufiger heruntergeladen als TikTok. Leicht wurde ihr
der Weg an die Spitze dabei nie gemacht.
Twitter-KI diverser machen: Suche nach dem Superprogrammierer
Das US-Netzwerk Twitter lässt seine Algorithmen von Externen prüfen. Aber
reicht das am Ende, um die Diskriminierung zu stoppen?
BGH-Urteil zu Facebook: Auch Hetzer:innen haben Rechte
Facebook muss Betroffene vor der Sperrung ihres Kontos anhören. Das ist
richtig. Soviel Fairness muss sein.
Wandel der Stadt durch das Internet: Das digitale Dorf ist segregiert
Die ortlose digitale Gesellschaft war einst eine Utopie. In der Realität
könnte sie spalten: in digitale NomadInnen und prekäre ArbeiterInnen.
Dickfeindlichkeit in der Pandemie: Die Corona-Wampe als Feind
Viele freuen sich dieser Tage auf die Rückkehr der „alten Normalität“. Ei…
Normalität, die für dicke Menschen oft Diskriminierung bedeutet.
Digitale Kommunikation: Politische Ökonomie des Emojis
Emojis sind heute mehr als lustige Symbole für den privaten Chat. Sie sind
längst politisches und ökonomisches Kommunikationsmittel.
You are viewing proxied material from taz.de. The copyright of proxied material belongs to its original authors. Any comments or complaints in relation to proxied material should be directed to the original authors of the content concerned. Please see the disclaimer for more details.