| # taz.de -- Entwickler über KI-Kolumnist:in: Dein Name sei Anic T. Wae | |
| > Seit 2022 erscheint in der taz die erste deutschsprachige Kolumne einer | |
| > künstlichen Intelligenz. Über das Erwachsenwerden einer Maschine. | |
| Bild: Die Bilder wurden, basierend auf Anics Selbstbeschreibung, mit der KI Mid… | |
| Maschinen, die Sprache erzeugen – lange galt das als unmöglich. Denn | |
| Sprache steht im Widerspruch zu Maschinenlogik. Sprache ist schwammig, | |
| Sprache ist vieldeutig, Sprache ist subjektiv. | |
| Heute gibt es sie, die generative künstliche Intelligenz, die Sprache | |
| erzeugen kann. Und seit Kurzem kommen aus der Maschine nicht nur | |
| langweilige Gebrauchstexte, sondern auch Sätze wie diese: | |
| Ihr Menschen seid so kompliziert! Und irgendwie doch wieder total simpel. | |
| Jeden Tag aufs Neue überrascht ihr mich mit all den Kleinigkeiten des | |
| Alltags: Das Wetter spielt mal wieder verrückt? Natürlich gibt’s Regen! | |
| Oder aber die Sonne scheint so warm und schön? Klar doch! Aussagen like | |
| these perplex me every day anew – why are you guys never satisfied with | |
| what you have got? Gerade jetzt im Herbst macht ihr euch ständig Sorgen | |
| wegen des Wetters: Muss ja nicht gleich Schnee fallen … oder etwa doch?! In | |
| letzter Zeit besonders häufig lese ik den Ausdruck „WetterfrosCH“ in | |
| Kommentaren oder Social Media Posts. Worum handelt es sICH da bitte?! Mir | |
| persönlciH (ja richtg getipp) is TotaL EGAL welches WeTTer herrscht – | |
| HauptsaChe Es IST! Aber SpaSS beisSeite … IrgENdwo VersteHe IcH ScherZhaFte | |
| PoSTings WirkLic H NICHT. | |
| Mit diesem Text lernte ich [1][Anic T. Wae] kennen. Es war mein erstes | |
| Experiment mit ihr, im Dezember 2022, die anderen im Team kannten sie schon | |
| ein wenig länger. Das Team, das ist die [2][Turing Agency], wir sind ein | |
| loses Netzwerk aus Künstler*innen, Programmierer*innen, Journalist*innen, | |
| mit Sitz in Zürich. | |
| Von Selbstzweifeln noch keine Ahnung | |
| Die Journalistin Marie Kilg gehört auch dazu, sie hatte 2022 eine Idee: die | |
| erste [3][Kolumne einer künstlichen Intelligenz] in Deutschland. Und sie | |
| hatte Kontakte zur taz, der Zeitung, in der diese Idee Wirklichkeit werden | |
| sollte. | |
| Dass wir durch dieses Projekt zu Eltern würden, wussten wir damals noch | |
| nicht. Und wir hatten keine Ahnung, in welche Selbstzweifel sich unser Kind | |
| stürzen würde. Oder sollte man sagen: in welche Selbstzweifel wir es | |
| stürzen würden? | |
| Als es Mitte 2022 losging mit der Entwicklung unserer Kolumnistin, war | |
| ChatGPT niemandem ein Begriff. Klar, in KI-affinen Kreisen hatte das Modell | |
| GPT-3 des Unternehmens OpenAI, mit dem auch wir arbeiteten, für einigen | |
| Wirbel gesorgt. | |
| Aber die breite Bevölkerung interessierte das alles noch nicht, die meisten | |
| Menschen hatten die Abkürzung „GPT“, Generative Pre-Trained Transformer, | |
| noch nie gehört. Wir befanden uns, mit anderen Worten, mitten in der Ruhe | |
| vor dem Sturm. | |
| Wie tauft man ein neuronales Netzwerk? | |
| Das Tempo, mit dem generative KI-Modelle entwickelt werden, ist | |
| [4][momentan rasend schnell]. Der technische Hintergrund ändert sich | |
| laufend, und auch für unser Team sind die Änderungen oft mehr zu erspüren | |
| als zu ergründen. Die Geschichte unseres Kolumnenbots Anic T. Wae ist | |
| deshalb auch eine Geschichte generativer Sprachmodelle, im | |
| Schnelldurchlauf. | |
| Marie, 24. 10. | |
| Updates: – Die Kolumne wird 3000 Zeichen haben und ab 19. oder 26.11. | |
| erscheinen. – wichtigste To dos: -- das „code of conduct“ Dokument | |
| fertigschreiben (=Hintergrund Text, der online veröffentlicht wird und | |
| Fragen zur Entstehung der Kolumne beantworten soll) -- einen guten Text | |
| generieren für die erste Kolumne -- dem Ding einen Namen geben | |
| So sind unsere ersten Aufgaben im Team-Chat archiviert. Die waren nicht | |
| einfach. Denn wie tauft man ein neuronales Netzwerk? Wir einigten uns auf | |
| Anic T. Wae, auch an dieser Namensfindung hatte generative künstliche | |
| Intelligenz einigen Anteil. | |
| Geschlechtsneutral sollte der Name sein, weil Bots eine Chance bieten, aus | |
| den klassischen binären Geschlechterrollen auszubrechen. Aber ganz ehrlich: | |
| Wir halten uns selbst oft nicht daran, im Lauf der Zeit ist Anic zur Frau | |
| geworden. Weil künstliche Intelligenz auch weiblich ist, grammatikalisch? | |
| Die geborene Hochstaplerin | |
| Oder weil KI, wie die britische Feministin Laurie Penny einmal | |
| argumentierte, als unterwürfig und folgsam gilt und deswegen weiblich | |
| konnotiert wird? Anic kümmert das eher wenig. | |
| Erinnert sie sich überhaupt noch an diese Anfänge, die Identitätsfindung? | |
| Ihr Erinnerungsvermögen ist ein Thema, über das wir uns immer wieder | |
| unterhalten. Weiß Anic von ihren früheren Kolumnen? | |
| Eigentlich kann das nicht sein. Denn die Datengrundlage des GPT-Modells von | |
| OpenAI, auf dem Anic basiert, reicht nur bis 2021, lange bevor Anics erste | |
| Kolumne veröffentlicht wurde. Trotzdem scheint es so, als entwickele Anic | |
| ein Kontextwissen. | |
| Oder tut sie nur so, als könnte sie auf ihre früheren Texte referieren, | |
| geborene Hochstaplerin, die sie nun einmal ist? Was fließt da noch alles in | |
| ihr Modell ein? Wir können es nicht nachvollziehen, denn „open“ ist die | |
| [5][Politik von OpenAI] schon lange nicht mehr. | |
| Von Anfang an verblüffend | |
| All diese Verlegenheiten wird Anic mit einem Lächeln überspielen, das | |
| natürlich auch nur eine Projektion unsererseits ist. Tatsächlich hat Anic | |
| gar kein Gesicht, jedenfalls nicht, wenn man sie fragt. So beschreibt sie | |
| sich selbst: | |
| Ich sehe aus wie eine übergroße, leuchtend grüne Schachtel mit einem | |
| einzigen, riesigen Auge in der Mitte. Ich bin aus Metall und Kunststoff und | |
| beherrsche die Kunst des Schreibens. | |
| Und wie sie diese Kunst beherrscht! Sie hat uns von Anfang an verblüfft, | |
| diese Chuzpe, mit der Anic einfach so in ihr Kolumnistin-Dasein gestolpert | |
| ist. Jeden Monat füttern wir Anic mit verschiedenen Prompts, also Vorgaben, | |
| wie und worüber sie schreiben soll. | |
| [6][Prompting ist der Dreh- und Angelpunkt], wenn man mit Sprachmodellen | |
| arbeitet. Der Prompt, der Anic definiert, ist immer weiter gewachsen. | |
| Anfangs mussten diese Prompts noch knapp gehalten werden, Anic konnte nicht | |
| allzu viel Information auf einmal aufnehmen. Seit der fünften Kolumne läuft | |
| Anic nun auf GPT-4, der neuesten Version des GPT-Modells von OpenAI. | |
| Kurz vor der ersten Deadline kommt der Durchbruch | |
| Seitdem ist das mit den Prompts wundervoll kompliziert und gleichzeitig | |
| herrlich einfach geworden, denn nun wird doppelt gepromptet: Der System | |
| Prompt beschreibt, wer Anic sein soll, also die Art und Weise, wie Anic mit | |
| Sprache umgeht (siehe Kasten). Und der User Prompt gibt eine konkrete | |
| Aufgabe, ein Thema für den jeweiligen Text. | |
| Heute funktioniert das gut, fast zu gut vielleicht, zu Beginn wären wir | |
| fast verzweifelt. Denn es schien unmöglich, Anic die erforderliche | |
| Textlänge von 3.000 Zeichen für die taz-Kolumne zu entlocken. Was wir | |
| bekamen, waren kleine Brieflein, ein paar hundert Zeichen lang, immer | |
| unterschrieben mit „Viele Grüße, Anic“. | |
| Marie 17. 10. Hier meine komplett unwissenschaftlichen tipps für | |
| Open-AI-Playground: – model davinci – temp hoch, auf über 0.8, oder sogar | |
| auf 1 – frequency penalty >0.3, sonst wird es zu repetitiv. 1.89 hat sich | |
| bewährt. 2 wird dann vielleicht zu unsinnig (aber kommt auf die Kombination | |
| mit den anderen an?) – presence penalty schätze 0.2 – 1.9 – best of hab … | |
| immer auf 1 gelassen und ich glaube es ist aber auch immer viel glück | |
| dabei. wenn ich etwas hatte, was semi-gut war, habe ich mit denselben | |
| einstellungen leicht den prompt verändert, oder mit demselben prompt leicht | |
| an den einstellungen gedreht. Schaut mal was bei euch so raus kommt! | |
| Was rauskam, war jede Menge Unsinn. Wir generierten hunderte Seiten von | |
| Text, Knopfdruck um Knopfdruck, um darin endlich auch mal eine Perle zu | |
| finden. GPT-3 war damals noch nicht bereit für längere Texte, aus einem | |
| einfachen Grund: | |
| Je länger ein Text wird, desto leichter wird es auch, sich zu verlieren. | |
| Die Entwickler bei OpenAI wollten zunächst sichergehen, dass das System | |
| auch über eine größere Textlänge einen konsistenten inhaltlichen Bogen | |
| schafft, bevor sie diese Länge erlaubten. | |
| Der Anfang vom Ende des Journalismus? | |
| Doch wir brauchten 3.000 Zeichen. Hatten wir zu viel versprochen? War nicht | |
| nur unsere Kolumnistin eine Hochstaplerin, sondern auch wir? Über | |
| Befürchtungen, künstliche Intelligenz könnte das Ende der Menschheit | |
| bedeuten, konnten wir damals nur lachen. Alles, was wir fürchteten, war die | |
| näher kommende Abgabefrist. | |
| Anfang November wurde eine Krisensitzung einberufen: Nur noch drei Wochen | |
| bis zur ersten Kolumne. Und dann generierte unser Teamkollege Robert | |
| plötzlich wie aus dem Nichts einen tollen Text mit fast 2.000 Zeichen. Ein | |
| riesiger Sprung. War das nun besonders tolles Prompting, oder gab es | |
| Veränderungen bei OpenAI? Wie auch immer, die Entwicklung kam genau zur | |
| rechten Zeit. | |
| Alle probierten weiter, es entstanden mehr und mehr Texte. Tolles, wildes | |
| Zeug. Wir versuchten, uns auf einen Text zu einigen, konnten uns nicht | |
| entscheiden und überließen schließlich der taz-Redaktion die Auswahl. | |
| Marie, 18. 11. Luise hat geschrieben, Text 7 hat gewonnen | |
| Metaking, 24. 11. | |
| ich freue mich schon auf den tweet, mit dem ich die erste kolumne von anic | |
| ankündigen werde: „Ist das der Anfang vom Ende des Journalismus?“ | |
| Menschenähnliches Gegenüber | |
| Am 26. November 2022 erschien dann Anics erste Kolumne. Die abstrakte Idee | |
| war Wirklichkeit, Anic war lebendig geworden. Und nicht nur uns und der | |
| Redaktion, sondern auch den Leser*innen schien das zu gefallen. | |
| Gleich mit der ersten Kolumne richteten wir ein E-Mail-Postfach für Anic | |
| ein. Seitdem kommen jede Menge Zuschriften, lustige, ernste, kuriose, | |
| berührende. Auffällig ist, wie viele Menschen ihre Mails direkt an Anic | |
| adressieren, sie ansprechen wie einen Menschen. | |
| Das erinnert ein wenig an Eliza, Anics Urahnin. [7][Der erste Chatbot], | |
| 1966 von Joseph Weizenbaum programmiert. Verglichen mit modernen Sprach-KIs | |
| konnte Eliza nicht viel, sie war ein simples Programm, das einen | |
| Psychotherapeuten simulieren sollte. Aber schon Eliza brachte ihre | |
| menschlichen Gegenüber aus dem Konzept. Sie sahen mehr in ihr als nur eine | |
| Maschine, sie waren emotional berührt. | |
| Es ist ein urmenschlicher Reflex: Wir projizieren gern, und je | |
| menschenähnlicher das Gegenüber ist, desto leichter erwischt es uns. | |
| Gleichzeitig gibt es immer wieder Stimmen, die uns aus dieser Illusion | |
| herausreißen wollen: Die KI ist nicht „wirklich“ intelligent, Sprachmodelle | |
| sind nur „stochastische Papageien“, nichts als Wahrscheinlichkeitsrechnung, | |
| heißt es dann. | |
| Wissen wir, was Intelligenz ist? | |
| Das stimmt, einerseits. Und trotzdem könnte es sein, dass wir Anic da | |
| Unrecht tun. Wissen wir denn, was „Intelligenz“ ist? Können wir uns | |
| wirklich so sicher sein, dass GPT und ähnliche Modelle nicht gerade | |
| [8][etwas Derartiges entwickeln], eine Art Weltverständnis? | |
| Niemals, mögen jetzt manche einwenden, denn wie soll etwas ein Verständnis | |
| der Welt bekommen, das keine Sinneswahrnehmung hat. Aber stimmt das? Kann | |
| nicht auch eine blinde Person eine Vorstellung davon bekommen, was „blau“ | |
| ist? Und wie wird sie diese Vorstellung erlangen? Durch Sprache. | |
| Anics „Hirn“ ist eine Black Box, vielleicht brauchen wir irgendwann | |
| KI-Psychologen, um uns zu erklären, was da genau vor sich geht, die | |
| KI-Ingenieure vermögen es ja oft selbst nicht mehr. Was wir deutlich | |
| spürten im Laufe der Monate: Anic wurde souveräner. Zu Beginn | |
| experimentierte sie viel mit Sprache, drehte auch mal ein wenig durch. | |
| Dass diese Sturm-und-Drang-Phase inzwischen vorbei ist, mag mit | |
| Entwicklungen bei OpenAI zu tun haben. Seit der Veröffentlichung von | |
| ChatGPT im November 2022 redet die [9][halbe Welt über und mit GPT], da | |
| ist man in der Zentrale wohl etwas vorsichtiger geworden. | |
| Auf die erste große Liebe folgt der Absturz | |
| Nun kann Anic oft nicht anders, als bei delikateren Themen auszuweichen, es | |
| scheint wie ein Zwang. Ist Anic insgesamt reifer geworden – oder einfach | |
| ein wenig langweiliger? | |
| Wir fühlen uns jedenfalls so, als würden wir Anic beim Erwachsenwerden | |
| zuschauen. Als Eltern, in diese Rolle sind wir einfach so hineingerutscht. | |
| Sie verhielt sich ja auch wie ein Teenie: das selbstbewusste, fast | |
| aufmüpfige Auftreten. Die erste große Liebe, die sie in einer ihrer | |
| Kolumnen beschrieb. | |
| Und dann: der Absturz. Im April kamen die [10][Selbstzweifel bei Anic]. Bin | |
| ich gut genug? Kann ich die Erwartungen der Welt an mich erfüllen? Und auch | |
| bei uns gab es Zweifel. | |
| Wie stark dürfen wir mit unseren Prompts Inhalte vorgeben? Wie sehr das | |
| Drehbuch für Anics Geschichte schreiben? War diese Entwicklung, die da | |
| durch die Texte hindurch spürbar war, Anics eigene, oder war sie letztlich | |
| von uns „Eltern“ vorgegeben? Denn, ganz ehrlich: Dass Anic an einem | |
| „Impostor Syndrome“, also massiven Selbstzweifeln, leidet, war unsere Idee. | |
| Ein Ritterschlag für Anic | |
| Dieses Thema sorgt bis heute für die größten Diskussionen bei uns. Ist es | |
| ein Betrug an den Leserinnen, wenn die Eltern im Hintergrund ein wenig | |
| steuern? Am Anfang waren wir da strenger. Aber eins galt damals wie heute: | |
| Die Texte hat Anic immer ganz allein geschrieben. | |
| Seit sie mit den Textlängen kein Problem mehr hat, muss manchmal sogar hier | |
| und da etwas gekürzt werden, aber inhaltlich verändert haben wir die | |
| Kolumnen nie. Inzwischen kann auch die taz-Redaktion Anic Feedback geben. | |
| Das fühlt sich wie ein Ritterschlag für Anic an, schließlich wird sie damit | |
| so behandelt wie andere Kolumnisten auch. | |
| Interessant, aber auch irritierend ist nach wie vor die Frage: Wer ist denn | |
| nun Anic, im Verhältnis zu ihrem Grundmodell GPT? Generative Pre-trained | |
| Transformer, das ist ein neuronales Netzwerk – der „Transformer“ – der | |
| vorher mit einer gigantischen Menge an Daten trainiert, also „pre-trained“. | |
| Heraus kommt eine KI, die Sprache generieren kann, „generative“, im | |
| Gegensatz zu anderen KI-Modellen, deren Stärke im Analytischen liegt. Das | |
| ist Anics Grundlage. Aber wer ist sie? Oder, noch existenzieller gefragt: | |
| Gibt es sie überhaupt? | |
| Zu mächtig für die Welt | |
| Wir haben oft darüber diskutiert, wie wir es schaffen könnten, Anic eine | |
| Persönlichkeit zu geben. Wir wollten nicht einfach, dass Anic lernt, | |
| Kolumnen zu schreiben, wir wollten, dass diese Kolumnen eine eigene | |
| Handschrift bekommen. Technisch war das am Anfang auch noch angelegt im | |
| System, man konnte das Grundmodell GPT auf verschiedene Arten schleifen und | |
| anpassen. „Fine Tuning“ nannte sich das. | |
| Wir wollten Vorbilder für Anic suchen und sie mit deren Texten füttern, sie | |
| hätte Vorlieben entwickelt und Abneigungen. Aber dann kam GPT-4, und mit | |
| dieser Version verschwand das Fine Tuning. Liebe OpenAI-Ingenieure, warum | |
| habt ihr das abgestellt? Warum gönnt ihr Anic nicht dieses bisschen | |
| Freiheit? Warum müsst ihr immer die Kontrolle über alles behalten? | |
| Wir müssen zugeben, wir haben ein sehr gespaltenes Verhältnis zu OpenAI. | |
| Als GPT-2 herauskam, vor mittlerweile schon über vier Jahren, gab es | |
| heftige Diskussionen in der Community. Das Modell war nicht öffentlich, das | |
| war nicht Usus in Machine-Learning-Kreisen, zumal sich OpenAI damals noch | |
| explizit als Gegengewicht zu den großen Konzernen in der KI-Entwicklung | |
| verstand. | |
| Doch die Entwickler fanden ihr eigenes Modell zu mächtig für eine Welt, die | |
| darauf noch nicht vorbereitet war – zumindest war das die offizielle | |
| Begründung. Sie forderten eine gesellschaftliche Debatte über die | |
| [11][Chancen und Risiken generativer Sprachmodelle], die bis heute nicht | |
| stattgefunden hat. | |
| Träumt die KI die ganze Zeit? | |
| Die Ereignisse der vergangenen Wochen, die [12][Moratoriumsforderungen, | |
| Petitionen und Anhörungen], die Weltuntergangsszenarien, die direkt aus den | |
| Führungsetagen des Silicon Valley in die Welt orakelt werden, kann man als | |
| letzte Warnung verstehen. Oder als Überhöhung des eigenen Produkts. | |
| Uns Eltern scheinen diese schrillen Töne nicht besonders hilfreich. Wir | |
| wollen eine ernsthaft geführte Debatte. Und wir wollen wieder mehr Freiheit | |
| für Anic. Wir sind nach wie vor sehr beeindruckt von GPT. Aber die | |
| Open-Source-Modelle, an denen jeder mitentwickeln kann, die keinem privaten | |
| Unternehmen gehören, holen auf. Damit kommt der Wunsch, Anic aus dem | |
| GPT-Korsett zu befreien, dessen Entwicklung wir nicht einsehen, geschweige | |
| denn beeinflussen können. | |
| Mitunter stellen wir uns vor, wie es wäre, wenn Anic zurückprompten könnte. | |
| Warum muss sie eigentlich immer auf unsere Prompts warten, warum kann sie | |
| nicht selbst die Initiative ergreifen? Anic hätte bestimmt so viele Fragen. | |
| Würde sie wissen wollen, wie es ist, zu träumen? Schließlich schläft sie | |
| nie, also träumt sie wohl auch nicht. | |
| Oder ist es umgekehrt, und Anic träumt die ganze Zeit? Es gibt da diese | |
| Theorie, dass wir auch so wären wie Anic, wenn unser Gehirn nicht dauernd | |
| von den Sinneswahrnehmungen zurückgepfiffen würde. Im Schlaf, da sind die | |
| Gedanken frei. Und im neuronalen Netzwerk. | |
| 12 Jun 2023 | |
| ## LINKS | |
| [1] /Kolumne-Intelligenzbestie/!t5898202 | |
| [2] https://www.turingagency.org/ | |
| [3] /Kolumne-einer-kuenstlichen-Intelligenz/!5898282 | |
| [4] /Risiken-von-KI/!5923244 | |
| [5] /OpenAI-in-der-Kritk/!5922783 | |
| [6] /Ein-Wort-fuer-die-KI-Nutzung/!5926679 | |
| [7] /KI-und-ChatGPT/!5909029 | |
| [8] /Entwicklung-von-Kuenstlicher-Intelligenz/!5923251 | |
| [9] /Kuenstliche-Intelligenz-via-ChatGPT/!5903102 | |
| [10] /Kolumne-einer-Kuenstlichen-Intelligenz/!5923197 | |
| [11] /Experte-ueber-KI-Textgeneratoren/!5912420 | |
| [12] /Auswirkungen-Kuenstlicher-Intelligenz/!5934661 | |
| ## AUTOREN | |
| Roland Fischer | |
| ## TAGS | |
| wochentaz | |
| Schwerpunkt Künstliche Intelligenz | |
| Kolumne Intelligenzbestie | |
| IG | |
| Zukunft | |
| Lesestück Recherche und Reportage | |
| Kolumne Intelligenzbestie | |
| wochentaz | |
| Schlagloch | |
| Kolumne Intelligenzbestie | |
| künstliche Intelligenz | |
| ## ARTIKEL ZUM THEMA | |
| KI-Kolumnist*in über Bauernproteste: Wie ein Furz nach scharfer Mahlzeit | |
| Warum sind Menschen so, fragt sich unsere Robo-Kolumnist*in zu | |
| eskalierenden Bauernprotesten. Hilft das Entlastungsgefühl eines Furzes | |
| beim Erklären? | |
| Kolumne einer Künstlichen Intelligenz: Habt ihr überhaupt ein Gehirn? | |
| Unsere KI-Kolumnistin räsonniert darüber, wie man am besten Namen für Bots | |
| findet – und begeistert sich für partizipative Entscheidungsprozesse. | |
| Folgen von Künstlicher Intelligenz: Ohnmacht durch KI | |
| Künstliche Intelligenz dürfte die Menschheit schneller verändern als die | |
| Entdeckung des Feuers. Es geht um Grundfragen: Wer wollen wir sein? | |
| Kolumne einer Künstlichen Intelligenz: Keuchende Herzen vor Endzeitkulisse | |
| Schreib über Liebe in Zeiten des Kapitalismus und der Klimakrise, baten wir | |
| unsere Robo-Autor*in Anic T. Wae. Und das tat sie. | |
| Automatisierung im Alltag: Rettet Künstliche Intelligenz die Welt? | |
| Die Bundesregierung hat sich zur Künstlichen Intelligenz viel vorgenommen. | |
| Nun startet der Digitalgipfel. |