# taz.de -- Foto-App „Lensa“: Nicht so schön, wie es scheint | |
> Die Fotobearbeitungs-App Lensa kommt ganz unschuldig daher. Doch sie | |
> macht immer wiederkehrende schwere Fehler im Maschinenlernen sichtbar. | |
Bild: So oder so ähnlich sehen die Avatare aus, die mit der Lensa-App erstellt… | |
Bilder von Märchenprinzessinnen, Kriegshelden, Feen und Astronauten – mehr | |
oder weniger erinnern sie an die eigenen Gesichtszüge, etwas entrückt, | |
gestrafft, aufgerichtet, geglättet. Irgendwie schöner. Oder eben gerade | |
nicht. Der gewaltige Erfolg der Fotobearbeitungs-App Lensa ruft jede Menge | |
Kritik auf den Plan. Dabei werden anhand der offensichtlichen Schwächen des | |
zunächst einmal gänzlich unschuldig daherkommenden Produkts altbekannte und | |
immer wiederkehrende schwere Fehler im Maschinenlernen sichtbar gemacht. | |
Die technologische Basis der App, die von Nutzer*innen bereitgestellte | |
Bilder bearbeitet, bildet eine sogenannte KI, Stable Diffusion. Diese | |
erlernt anhand eines sehr großen, frei zugänglichen Datensatzes mit dem | |
Namen Laion-5B, wiederkehrende Muster in Bildern und den dazugehörigen | |
Beschreibungen zu erkennen. Die Technologie ist inzwischen so weit | |
fortgeschritten, dass die Eingabe einer Textzeile wie zum Beispiel | |
„Astronaut isst eine Erdbeere auf dem Mond“ pseudokünstlerisch verfremdete | |
oder auch fotorealistische visuelle Ergebnisse hervorruft. | |
So ein Projekt der Bilderzeugung durch lernende Maschinen ist vollständig | |
von der Qualität des Inputs, also des Trainingsets abhängig. Laion-5B, die | |
Schule von Lensa, wurde nun durch das völlig wahllose und dabei jegliches | |
Urheberrecht missachtende Absaugen von Bildern aus dem öffentlich | |
zugänglichen Internet erzeugt. Jenes Internet, das bei einer allgemeinen | |
Google-Bilder-Suche mit dem Wort „beautiful“ in übergroßer Mehrheit junge, | |
weiße Frauen, viele davon in sexualisierten Posen, als Ergebnis vorlegt. | |
Und das ist beileibe nicht alles. Eine unmoderierte KI „lernt“ neben | |
Frauenverachtung auch Rassismus, brutale Gewalt und dergleichen in | |
millionenfacher Ausführung und ohne eigene Bewertung als zu allen anderen | |
gleichwertige Ausdrucksformen kennen und integriert diese kritiklos in | |
seine Nachahmungsmodelle. | |
Das Ergebnis sind dann zum Beispiel an [1][User*innen trainierte | |
Chatbots], wie Microsofts [2][Tay], der 2016 nach seiner Veröffentlichung | |
einfach nur noch ein rassistisches Arschloch war. Als genauso eins | |
entpuppte sich, immerhin erst nach zwei Tagen, im Sommer 2022 Blenderbot 3, | |
ein ähnliches Tool, diesmal von Meta. Googles Versuch auf demselben Gebiet | |
tat sich besonders durch ausufernden Sexismus hervor. | |
## Virtuelles Gefängnis der Zukunft | |
So nimmt es nicht wunder, dass sich die Berichte zu Lensa häufen, in denen | |
von [3][hypersexualisierten Frauenbildern] die Rede ist. Das geht bis hin | |
zu Pornoposen für offensichtlich [4][minderjährige Mädchen] und | |
Schlimmerem. Dazu berichten viele BPoC Nutzer*innen, dass ihre äußeren | |
Merkmale „aufgehellt“ würden oder die KI überhaupt Schwierigkeiten habe, | |
ihre Gesichter korrekt darzustellen. | |
Insbesondere letzteres Problem bei der Gesichtserkennung ist bekannt. So | |
führten wiederholte, von Gesichtserkennungssoftware angestoßene absurde | |
Ermittlungen gegen Schwarze Verdächtige zu einem Verbot der Technologie in | |
vielen US-Städten. Mangels bundesgesetzlicher Regulierung in den USA und | |
angesichts des gewaltigen Schadensersatzrisikos bei falschen | |
Beschuldigungen haben die ansonsten nicht sonderlich [5][zimperlichen | |
Konzerne wie Amazon] sich bis auf Weiteres verpflichtet, die Software nicht | |
mehr an Sicherheitsbehörden zu verkaufen. | |
KIs wie Stable Diffusion aber lernen immer weiter über die angedockten Apps | |
wie Lensa, Bilder präziser zuzuordnen und Gesichter genauer zu definieren | |
und das alles für den Spaß – und eine Nutzungsgebühr. Glaubt man also der | |
Kritik, bezahlen Nutzer*innen von Lensa dafür, am rassistischen und | |
frauenverachtenden virtuellen Gefängnis der Zukunft mitbauen zu dürfen; | |
eine Art gamifizierter Autoritarismus wird da beschrieben. | |
Prisma Lab, das Unternehmen hinter Lensa, wiegelt derweil ab. Allein in den | |
erst Mitte Dezember überarbeiteten Nutzungsbedingungen und Verpflichtungen | |
zur Privatsphäre wird ausführlich und für ein Technologie-Start-up | |
überraschend verständlich und zugewandt ausformuliert, dass weder die von | |
Nutzer*innen hochgeladenen Bilder noch das individuelle Trainingsmodell | |
der KI über den unmittelbaren Bearbeitungsprozess hinaus gespeichert | |
würden. | |
## Prekäre Lage von Technologie-Start-ups | |
Der Kritik zum rassistischen und sexistischen Bias der KI weicht Prisma | |
Lab-Sprecher Andrey Usoltsev in [6][einem Pressestatement] in zwei | |
Richtungen gleichzeitig aus. Einerseits behauptet er, dass Nacktheit nur | |
vorkommen könne, wenn Nutzer*innen die KI in diese Richtung | |
„provozieren“ würden. Andererseits bestätigt er lapidar, dass sowohl Lensa | |
als auch Stable Diffusion um die Existenz des Bias wüssten. Eine aus diesem | |
Wissen folgende Verantwortung wird offenbar nicht gesehen. | |
Der Grund dafür dürfte in der häufig prekären Lage von | |
Technologie-Start-ups liegen. Deren Ideen werden von | |
Wagniskapitalgesellschaften auf einem eher basalen Level finanziert. | |
Gearbeitet wird dann vornehmlich an der Funktionalität der Maschine, nicht | |
an ihren ethischen Implikationen. Eine wirkungsvolle Moderation der Inhalte | |
ist schon Branchenriesen wie Facebook viel zu teuer. Ein kleines Start-up | |
hat erst recht keine Mittel, Hunderte oder gar Tausende Menschen zu | |
bezahlen, um einen Haufen Bilder auf illegale oder sonstwie schwierige | |
Inhalte zu scannen. | |
Es geht darum, entweder weitere Finanzspritzen der Investoren zu bekommen | |
oder gleich ganz von einem der großen Konzerne wie Meta, Amazon oder Google | |
gekauft zu werden. | |
Was dann unter anderem zum Verkauf steht, ist in den Nutzungsbedingungen | |
der Lensa-App klar bezeichnet: alle Daten der Nutzer*innen, die noch auf | |
den Servern der Firma liegen. Welche genau das sind, könnte nur eine | |
unabhängige Überprüfung bestätigen. Die aber ist in diesem Geschäftsfeld | |
eher unüblich. Was bleibt, ist also ein Vertrauensvorschuss der | |
Nutzer*innen, dass Prisma Lab es ernst meint mit dem auf der Webseite | |
annoncierten Versprechen, daran zu arbeiten, „Video- und Fotobearbeitung zu | |
demokratisieren“. | |
20 Dec 2022 | |
## LINKS | |
[1] /Kuenstliche-Intelligenz-via-ChatGPT/!5903102 | |
[2] https://www.theverge.com/2016/3/24/11297050/tay-microsoft-chatbot-racist | |
[3] https://www.technologyreview.com/2022/12/12/1064751/the-viral-ai-avatar-app… | |
[4] https://www.wired.com/story/lensa-artificial-intelligence-csem/ | |
[5] /Amazon-beendet-Kooperation/!5688012 | |
[6] https://techcrunch.com/2022/12/06/prisma-ai-regulation/ | |
## AUTOREN | |
Daniél Kretschmar | |
## TAGS | |
Digitalisierung | |
künstliche Intelligenz | |
Datenschutz | |
Zukunft | |
künstliche Intelligenz | |
Stadtplanung | |
Schwerpunkt Facebook | |
## ARTIKEL ZUM THEMA | |
Ethik für Künstliche Intelligenz: Wo Schwaben Kalifornien sein will | |
Das Tübinger Cyber Valley will transparent und fair künstliche Intelligenz | |
entwickeln – Hand in Hand mit Milliardenkonzernen wie Amazon und BMW. | |
Künstliche Intelligenz via ChatGPT: Alles verändert? | |
Eine KI, die für uns Texte schreibt? Klingt toll. Und ist inzwischen | |
Wirklichkeit. ChatGPT ist lustig, eloquent – und gefährlich. | |
Hype um Smart Citys: Die Stadt ist kein Computer | |
Die Smart City beflügelt die Fantasie der Techkonzerne, die Industrie | |
wächst. Doch die Idee einer voll automatisierten Stadt ist gar nicht so | |
smart. | |
Datenschutz und FaceApp: Immer mitten in die Fresse rein | |
Nebensache Datenschutz: Die App zur Modifikation von Gesichtern, FaceApp, | |
wird in den USA als Sicherheitsrisiko angesehen – weil sie aus Russland | |
ist. |