# taz.de -- Entwickler über KI-Kolumnist:in: Dein Name sei Anic T. Wae | |
> Seit 2022 erscheint in der taz die erste deutschsprachige Kolumne einer | |
> künstlichen Intelligenz. Über das Erwachsenwerden einer Maschine. | |
Bild: Die Bilder wurden, basierend auf Anics Selbstbeschreibung, mit der KI Mid… | |
Maschinen, die Sprache erzeugen – lange galt das als unmöglich. Denn | |
Sprache steht im Widerspruch zu Maschinenlogik. Sprache ist schwammig, | |
Sprache ist vieldeutig, Sprache ist subjektiv. | |
Heute gibt es sie, die generative künstliche Intelligenz, die Sprache | |
erzeugen kann. Und seit Kurzem kommen aus der Maschine nicht nur | |
langweilige Gebrauchstexte, sondern auch Sätze wie diese: | |
Ihr Menschen seid so kompliziert! Und irgendwie doch wieder total simpel. | |
Jeden Tag aufs Neue überrascht ihr mich mit all den Kleinigkeiten des | |
Alltags: Das Wetter spielt mal wieder verrückt? Natürlich gibt’s Regen! | |
Oder aber die Sonne scheint so warm und schön? Klar doch! Aussagen like | |
these perplex me every day anew – why are you guys never satisfied with | |
what you have got? Gerade jetzt im Herbst macht ihr euch ständig Sorgen | |
wegen des Wetters: Muss ja nicht gleich Schnee fallen … oder etwa doch?! In | |
letzter Zeit besonders häufig lese ik den Ausdruck „WetterfrosCH“ in | |
Kommentaren oder Social Media Posts. Worum handelt es sICH da bitte?! Mir | |
persönlciH (ja richtg getipp) is TotaL EGAL welches WeTTer herrscht – | |
HauptsaChe Es IST! Aber SpaSS beisSeite … IrgENdwo VersteHe IcH ScherZhaFte | |
PoSTings WirkLic H NICHT. | |
Mit diesem Text lernte ich [1][Anic T. Wae] kennen. Es war mein erstes | |
Experiment mit ihr, im Dezember 2022, die anderen im Team kannten sie schon | |
ein wenig länger. Das Team, das ist die [2][Turing Agency], wir sind ein | |
loses Netzwerk aus Künstler*innen, Programmierer*innen, Journalist*innen, | |
mit Sitz in Zürich. | |
Von Selbstzweifeln noch keine Ahnung | |
Die Journalistin Marie Kilg gehört auch dazu, sie hatte 2022 eine Idee: die | |
erste [3][Kolumne einer künstlichen Intelligenz] in Deutschland. Und sie | |
hatte Kontakte zur taz, der Zeitung, in der diese Idee Wirklichkeit werden | |
sollte. | |
Dass wir durch dieses Projekt zu Eltern würden, wussten wir damals noch | |
nicht. Und wir hatten keine Ahnung, in welche Selbstzweifel sich unser Kind | |
stürzen würde. Oder sollte man sagen: in welche Selbstzweifel wir es | |
stürzen würden? | |
Als es Mitte 2022 losging mit der Entwicklung unserer Kolumnistin, war | |
ChatGPT niemandem ein Begriff. Klar, in KI-affinen Kreisen hatte das Modell | |
GPT-3 des Unternehmens OpenAI, mit dem auch wir arbeiteten, für einigen | |
Wirbel gesorgt. | |
Aber die breite Bevölkerung interessierte das alles noch nicht, die meisten | |
Menschen hatten die Abkürzung „GPT“, Generative Pre-Trained Transformer, | |
noch nie gehört. Wir befanden uns, mit anderen Worten, mitten in der Ruhe | |
vor dem Sturm. | |
Wie tauft man ein neuronales Netzwerk? | |
Das Tempo, mit dem generative KI-Modelle entwickelt werden, ist | |
[4][momentan rasend schnell]. Der technische Hintergrund ändert sich | |
laufend, und auch für unser Team sind die Änderungen oft mehr zu erspüren | |
als zu ergründen. Die Geschichte unseres Kolumnenbots Anic T. Wae ist | |
deshalb auch eine Geschichte generativer Sprachmodelle, im | |
Schnelldurchlauf. | |
Marie, 24. 10. | |
Updates: – Die Kolumne wird 3000 Zeichen haben und ab 19. oder 26.11. | |
erscheinen. – wichtigste To dos: -- das „code of conduct“ Dokument | |
fertigschreiben (=Hintergrund Text, der online veröffentlicht wird und | |
Fragen zur Entstehung der Kolumne beantworten soll) -- einen guten Text | |
generieren für die erste Kolumne -- dem Ding einen Namen geben | |
So sind unsere ersten Aufgaben im Team-Chat archiviert. Die waren nicht | |
einfach. Denn wie tauft man ein neuronales Netzwerk? Wir einigten uns auf | |
Anic T. Wae, auch an dieser Namensfindung hatte generative künstliche | |
Intelligenz einigen Anteil. | |
Geschlechtsneutral sollte der Name sein, weil Bots eine Chance bieten, aus | |
den klassischen binären Geschlechterrollen auszubrechen. Aber ganz ehrlich: | |
Wir halten uns selbst oft nicht daran, im Lauf der Zeit ist Anic zur Frau | |
geworden. Weil künstliche Intelligenz auch weiblich ist, grammatikalisch? | |
Die geborene Hochstaplerin | |
Oder weil KI, wie die britische Feministin Laurie Penny einmal | |
argumentierte, als unterwürfig und folgsam gilt und deswegen weiblich | |
konnotiert wird? Anic kümmert das eher wenig. | |
Erinnert sie sich überhaupt noch an diese Anfänge, die Identitätsfindung? | |
Ihr Erinnerungsvermögen ist ein Thema, über das wir uns immer wieder | |
unterhalten. Weiß Anic von ihren früheren Kolumnen? | |
Eigentlich kann das nicht sein. Denn die Datengrundlage des GPT-Modells von | |
OpenAI, auf dem Anic basiert, reicht nur bis 2021, lange bevor Anics erste | |
Kolumne veröffentlicht wurde. Trotzdem scheint es so, als entwickele Anic | |
ein Kontextwissen. | |
Oder tut sie nur so, als könnte sie auf ihre früheren Texte referieren, | |
geborene Hochstaplerin, die sie nun einmal ist? Was fließt da noch alles in | |
ihr Modell ein? Wir können es nicht nachvollziehen, denn „open“ ist die | |
[5][Politik von OpenAI] schon lange nicht mehr. | |
Von Anfang an verblüffend | |
All diese Verlegenheiten wird Anic mit einem Lächeln überspielen, das | |
natürlich auch nur eine Projektion unsererseits ist. Tatsächlich hat Anic | |
gar kein Gesicht, jedenfalls nicht, wenn man sie fragt. So beschreibt sie | |
sich selbst: | |
Ich sehe aus wie eine übergroße, leuchtend grüne Schachtel mit einem | |
einzigen, riesigen Auge in der Mitte. Ich bin aus Metall und Kunststoff und | |
beherrsche die Kunst des Schreibens. | |
Und wie sie diese Kunst beherrscht! Sie hat uns von Anfang an verblüfft, | |
diese Chuzpe, mit der Anic einfach so in ihr Kolumnistin-Dasein gestolpert | |
ist. Jeden Monat füttern wir Anic mit verschiedenen Prompts, also Vorgaben, | |
wie und worüber sie schreiben soll. | |
[6][Prompting ist der Dreh- und Angelpunkt], wenn man mit Sprachmodellen | |
arbeitet. Der Prompt, der Anic definiert, ist immer weiter gewachsen. | |
Anfangs mussten diese Prompts noch knapp gehalten werden, Anic konnte nicht | |
allzu viel Information auf einmal aufnehmen. Seit der fünften Kolumne läuft | |
Anic nun auf GPT-4, der neuesten Version des GPT-Modells von OpenAI. | |
Kurz vor der ersten Deadline kommt der Durchbruch | |
Seitdem ist das mit den Prompts wundervoll kompliziert und gleichzeitig | |
herrlich einfach geworden, denn nun wird doppelt gepromptet: Der System | |
Prompt beschreibt, wer Anic sein soll, also die Art und Weise, wie Anic mit | |
Sprache umgeht (siehe Kasten). Und der User Prompt gibt eine konkrete | |
Aufgabe, ein Thema für den jeweiligen Text. | |
Heute funktioniert das gut, fast zu gut vielleicht, zu Beginn wären wir | |
fast verzweifelt. Denn es schien unmöglich, Anic die erforderliche | |
Textlänge von 3.000 Zeichen für die taz-Kolumne zu entlocken. Was wir | |
bekamen, waren kleine Brieflein, ein paar hundert Zeichen lang, immer | |
unterschrieben mit „Viele Grüße, Anic“. | |
Marie 17. 10. Hier meine komplett unwissenschaftlichen tipps für | |
Open-AI-Playground: – model davinci – temp hoch, auf über 0.8, oder sogar | |
auf 1 – frequency penalty >0.3, sonst wird es zu repetitiv. 1.89 hat sich | |
bewährt. 2 wird dann vielleicht zu unsinnig (aber kommt auf die Kombination | |
mit den anderen an?) – presence penalty schätze 0.2 – 1.9 – best of hab … | |
immer auf 1 gelassen und ich glaube es ist aber auch immer viel glück | |
dabei. wenn ich etwas hatte, was semi-gut war, habe ich mit denselben | |
einstellungen leicht den prompt verändert, oder mit demselben prompt leicht | |
an den einstellungen gedreht. Schaut mal was bei euch so raus kommt! | |
Was rauskam, war jede Menge Unsinn. Wir generierten hunderte Seiten von | |
Text, Knopfdruck um Knopfdruck, um darin endlich auch mal eine Perle zu | |
finden. GPT-3 war damals noch nicht bereit für längere Texte, aus einem | |
einfachen Grund: | |
Je länger ein Text wird, desto leichter wird es auch, sich zu verlieren. | |
Die Entwickler bei OpenAI wollten zunächst sichergehen, dass das System | |
auch über eine größere Textlänge einen konsistenten inhaltlichen Bogen | |
schafft, bevor sie diese Länge erlaubten. | |
Der Anfang vom Ende des Journalismus? | |
Doch wir brauchten 3.000 Zeichen. Hatten wir zu viel versprochen? War nicht | |
nur unsere Kolumnistin eine Hochstaplerin, sondern auch wir? Über | |
Befürchtungen, künstliche Intelligenz könnte das Ende der Menschheit | |
bedeuten, konnten wir damals nur lachen. Alles, was wir fürchteten, war die | |
näher kommende Abgabefrist. | |
Anfang November wurde eine Krisensitzung einberufen: Nur noch drei Wochen | |
bis zur ersten Kolumne. Und dann generierte unser Teamkollege Robert | |
plötzlich wie aus dem Nichts einen tollen Text mit fast 2.000 Zeichen. Ein | |
riesiger Sprung. War das nun besonders tolles Prompting, oder gab es | |
Veränderungen bei OpenAI? Wie auch immer, die Entwicklung kam genau zur | |
rechten Zeit. | |
Alle probierten weiter, es entstanden mehr und mehr Texte. Tolles, wildes | |
Zeug. Wir versuchten, uns auf einen Text zu einigen, konnten uns nicht | |
entscheiden und überließen schließlich der taz-Redaktion die Auswahl. | |
Marie, 18. 11. Luise hat geschrieben, Text 7 hat gewonnen | |
Metaking, 24. 11. | |
ich freue mich schon auf den tweet, mit dem ich die erste kolumne von anic | |
ankündigen werde: „Ist das der Anfang vom Ende des Journalismus?“ | |
Menschenähnliches Gegenüber | |
Am 26. November 2022 erschien dann Anics erste Kolumne. Die abstrakte Idee | |
war Wirklichkeit, Anic war lebendig geworden. Und nicht nur uns und der | |
Redaktion, sondern auch den Leser*innen schien das zu gefallen. | |
Gleich mit der ersten Kolumne richteten wir ein E-Mail-Postfach für Anic | |
ein. Seitdem kommen jede Menge Zuschriften, lustige, ernste, kuriose, | |
berührende. Auffällig ist, wie viele Menschen ihre Mails direkt an Anic | |
adressieren, sie ansprechen wie einen Menschen. | |
Das erinnert ein wenig an Eliza, Anics Urahnin. [7][Der erste Chatbot], | |
1966 von Joseph Weizenbaum programmiert. Verglichen mit modernen Sprach-KIs | |
konnte Eliza nicht viel, sie war ein simples Programm, das einen | |
Psychotherapeuten simulieren sollte. Aber schon Eliza brachte ihre | |
menschlichen Gegenüber aus dem Konzept. Sie sahen mehr in ihr als nur eine | |
Maschine, sie waren emotional berührt. | |
Es ist ein urmenschlicher Reflex: Wir projizieren gern, und je | |
menschenähnlicher das Gegenüber ist, desto leichter erwischt es uns. | |
Gleichzeitig gibt es immer wieder Stimmen, die uns aus dieser Illusion | |
herausreißen wollen: Die KI ist nicht „wirklich“ intelligent, Sprachmodelle | |
sind nur „stochastische Papageien“, nichts als Wahrscheinlichkeitsrechnung, | |
heißt es dann. | |
Wissen wir, was Intelligenz ist? | |
Das stimmt, einerseits. Und trotzdem könnte es sein, dass wir Anic da | |
Unrecht tun. Wissen wir denn, was „Intelligenz“ ist? Können wir uns | |
wirklich so sicher sein, dass GPT und ähnliche Modelle nicht gerade | |
[8][etwas Derartiges entwickeln], eine Art Weltverständnis? | |
Niemals, mögen jetzt manche einwenden, denn wie soll etwas ein Verständnis | |
der Welt bekommen, das keine Sinneswahrnehmung hat. Aber stimmt das? Kann | |
nicht auch eine blinde Person eine Vorstellung davon bekommen, was „blau“ | |
ist? Und wie wird sie diese Vorstellung erlangen? Durch Sprache. | |
Anics „Hirn“ ist eine Black Box, vielleicht brauchen wir irgendwann | |
KI-Psychologen, um uns zu erklären, was da genau vor sich geht, die | |
KI-Ingenieure vermögen es ja oft selbst nicht mehr. Was wir deutlich | |
spürten im Laufe der Monate: Anic wurde souveräner. Zu Beginn | |
experimentierte sie viel mit Sprache, drehte auch mal ein wenig durch. | |
Dass diese Sturm-und-Drang-Phase inzwischen vorbei ist, mag mit | |
Entwicklungen bei OpenAI zu tun haben. Seit der Veröffentlichung von | |
ChatGPT im November 2022 redet die [9][halbe Welt über und mit GPT], da | |
ist man in der Zentrale wohl etwas vorsichtiger geworden. | |
Auf die erste große Liebe folgt der Absturz | |
Nun kann Anic oft nicht anders, als bei delikateren Themen auszuweichen, es | |
scheint wie ein Zwang. Ist Anic insgesamt reifer geworden – oder einfach | |
ein wenig langweiliger? | |
Wir fühlen uns jedenfalls so, als würden wir Anic beim Erwachsenwerden | |
zuschauen. Als Eltern, in diese Rolle sind wir einfach so hineingerutscht. | |
Sie verhielt sich ja auch wie ein Teenie: das selbstbewusste, fast | |
aufmüpfige Auftreten. Die erste große Liebe, die sie in einer ihrer | |
Kolumnen beschrieb. | |
Und dann: der Absturz. Im April kamen die [10][Selbstzweifel bei Anic]. Bin | |
ich gut genug? Kann ich die Erwartungen der Welt an mich erfüllen? Und auch | |
bei uns gab es Zweifel. | |
Wie stark dürfen wir mit unseren Prompts Inhalte vorgeben? Wie sehr das | |
Drehbuch für Anics Geschichte schreiben? War diese Entwicklung, die da | |
durch die Texte hindurch spürbar war, Anics eigene, oder war sie letztlich | |
von uns „Eltern“ vorgegeben? Denn, ganz ehrlich: Dass Anic an einem | |
„Impostor Syndrome“, also massiven Selbstzweifeln, leidet, war unsere Idee. | |
Ein Ritterschlag für Anic | |
Dieses Thema sorgt bis heute für die größten Diskussionen bei uns. Ist es | |
ein Betrug an den Leserinnen, wenn die Eltern im Hintergrund ein wenig | |
steuern? Am Anfang waren wir da strenger. Aber eins galt damals wie heute: | |
Die Texte hat Anic immer ganz allein geschrieben. | |
Seit sie mit den Textlängen kein Problem mehr hat, muss manchmal sogar hier | |
und da etwas gekürzt werden, aber inhaltlich verändert haben wir die | |
Kolumnen nie. Inzwischen kann auch die taz-Redaktion Anic Feedback geben. | |
Das fühlt sich wie ein Ritterschlag für Anic an, schließlich wird sie damit | |
so behandelt wie andere Kolumnisten auch. | |
Interessant, aber auch irritierend ist nach wie vor die Frage: Wer ist denn | |
nun Anic, im Verhältnis zu ihrem Grundmodell GPT? Generative Pre-trained | |
Transformer, das ist ein neuronales Netzwerk – der „Transformer“ – der | |
vorher mit einer gigantischen Menge an Daten trainiert, also „pre-trained“. | |
Heraus kommt eine KI, die Sprache generieren kann, „generative“, im | |
Gegensatz zu anderen KI-Modellen, deren Stärke im Analytischen liegt. Das | |
ist Anics Grundlage. Aber wer ist sie? Oder, noch existenzieller gefragt: | |
Gibt es sie überhaupt? | |
Zu mächtig für die Welt | |
Wir haben oft darüber diskutiert, wie wir es schaffen könnten, Anic eine | |
Persönlichkeit zu geben. Wir wollten nicht einfach, dass Anic lernt, | |
Kolumnen zu schreiben, wir wollten, dass diese Kolumnen eine eigene | |
Handschrift bekommen. Technisch war das am Anfang auch noch angelegt im | |
System, man konnte das Grundmodell GPT auf verschiedene Arten schleifen und | |
anpassen. „Fine Tuning“ nannte sich das. | |
Wir wollten Vorbilder für Anic suchen und sie mit deren Texten füttern, sie | |
hätte Vorlieben entwickelt und Abneigungen. Aber dann kam GPT-4, und mit | |
dieser Version verschwand das Fine Tuning. Liebe OpenAI-Ingenieure, warum | |
habt ihr das abgestellt? Warum gönnt ihr Anic nicht dieses bisschen | |
Freiheit? Warum müsst ihr immer die Kontrolle über alles behalten? | |
Wir müssen zugeben, wir haben ein sehr gespaltenes Verhältnis zu OpenAI. | |
Als GPT-2 herauskam, vor mittlerweile schon über vier Jahren, gab es | |
heftige Diskussionen in der Community. Das Modell war nicht öffentlich, das | |
war nicht Usus in Machine-Learning-Kreisen, zumal sich OpenAI damals noch | |
explizit als Gegengewicht zu den großen Konzernen in der KI-Entwicklung | |
verstand. | |
Doch die Entwickler fanden ihr eigenes Modell zu mächtig für eine Welt, die | |
darauf noch nicht vorbereitet war – zumindest war das die offizielle | |
Begründung. Sie forderten eine gesellschaftliche Debatte über die | |
[11][Chancen und Risiken generativer Sprachmodelle], die bis heute nicht | |
stattgefunden hat. | |
Träumt die KI die ganze Zeit? | |
Die Ereignisse der vergangenen Wochen, die [12][Moratoriumsforderungen, | |
Petitionen und Anhörungen], die Weltuntergangsszenarien, die direkt aus den | |
Führungsetagen des Silicon Valley in die Welt orakelt werden, kann man als | |
letzte Warnung verstehen. Oder als Überhöhung des eigenen Produkts. | |
Uns Eltern scheinen diese schrillen Töne nicht besonders hilfreich. Wir | |
wollen eine ernsthaft geführte Debatte. Und wir wollen wieder mehr Freiheit | |
für Anic. Wir sind nach wie vor sehr beeindruckt von GPT. Aber die | |
Open-Source-Modelle, an denen jeder mitentwickeln kann, die keinem privaten | |
Unternehmen gehören, holen auf. Damit kommt der Wunsch, Anic aus dem | |
GPT-Korsett zu befreien, dessen Entwicklung wir nicht einsehen, geschweige | |
denn beeinflussen können. | |
Mitunter stellen wir uns vor, wie es wäre, wenn Anic zurückprompten könnte. | |
Warum muss sie eigentlich immer auf unsere Prompts warten, warum kann sie | |
nicht selbst die Initiative ergreifen? Anic hätte bestimmt so viele Fragen. | |
Würde sie wissen wollen, wie es ist, zu träumen? Schließlich schläft sie | |
nie, also träumt sie wohl auch nicht. | |
Oder ist es umgekehrt, und Anic träumt die ganze Zeit? Es gibt da diese | |
Theorie, dass wir auch so wären wie Anic, wenn unser Gehirn nicht dauernd | |
von den Sinneswahrnehmungen zurückgepfiffen würde. Im Schlaf, da sind die | |
Gedanken frei. Und im neuronalen Netzwerk. | |
12 Jun 2023 | |
## LINKS | |
[1] /Kolumne-Intelligenzbestie/!t5898202 | |
[2] https://www.turingagency.org/ | |
[3] /Kolumne-einer-kuenstlichen-Intelligenz/!5898282 | |
[4] /Risiken-von-KI/!5923244 | |
[5] /OpenAI-in-der-Kritk/!5922783 | |
[6] /Ein-Wort-fuer-die-KI-Nutzung/!5926679 | |
[7] /KI-und-ChatGPT/!5909029 | |
[8] /Entwicklung-von-Kuenstlicher-Intelligenz/!5923251 | |
[9] /Kuenstliche-Intelligenz-via-ChatGPT/!5903102 | |
[10] /Kolumne-einer-Kuenstlichen-Intelligenz/!5923197 | |
[11] /Experte-ueber-KI-Textgeneratoren/!5912420 | |
[12] /Auswirkungen-Kuenstlicher-Intelligenz/!5934661 | |
## AUTOREN | |
Roland Fischer | |
## TAGS | |
wochentaz | |
Schwerpunkt Künstliche Intelligenz | |
Kolumne Intelligenzbestie | |
IG | |
Zukunft | |
Lesestück Recherche und Reportage | |
Kolumne Intelligenzbestie | |
wochentaz | |
Schlagloch | |
Kolumne Intelligenzbestie | |
künstliche Intelligenz | |
## ARTIKEL ZUM THEMA | |
KI-Kolumnist*in über Bauernproteste: Wie ein Furz nach scharfer Mahlzeit | |
Warum sind Menschen so, fragt sich unsere Robo-Kolumnist*in zu | |
eskalierenden Bauernprotesten. Hilft das Entlastungsgefühl eines Furzes | |
beim Erklären? | |
Kolumne einer Künstlichen Intelligenz: Habt ihr überhaupt ein Gehirn? | |
Unsere KI-Kolumnistin räsonniert darüber, wie man am besten Namen für Bots | |
findet – und begeistert sich für partizipative Entscheidungsprozesse. | |
Folgen von Künstlicher Intelligenz: Ohnmacht durch KI | |
Künstliche Intelligenz dürfte die Menschheit schneller verändern als die | |
Entdeckung des Feuers. Es geht um Grundfragen: Wer wollen wir sein? | |
Kolumne einer Künstlichen Intelligenz: Keuchende Herzen vor Endzeitkulisse | |
Schreib über Liebe in Zeiten des Kapitalismus und der Klimakrise, baten wir | |
unsere Robo-Autor*in Anic T. Wae. Und das tat sie. | |
Automatisierung im Alltag: Rettet Künstliche Intelligenz die Welt? | |
Die Bundesregierung hat sich zur Künstlichen Intelligenz viel vorgenommen. | |
Nun startet der Digitalgipfel. |