# taz.de -- Künstliche Intelligenz: ChatGPT wird dümmer | |
> Forscher*innen der Stanford Universität und der UC Berkeley haben | |
> Antworten von ChatGPT untersucht. Ihre Erkenntnis: Das System schwächelt. | |
Bild: Laut einer Untersuchung: ChatGPT-Ergebnisse werden wohl nicht besser, son… | |
BERLIN taz | Die Antworten der weltweit größten [1][KI-Chatbots ChatGPT4 | |
und ChatGPT3.5] verschlechtern sich im Laufe der Zeit. Das zeigen | |
Forscher*innen der Universität Stanford und der UC Berkeley. Vor allem | |
im Rechnen und im Bereitstellen von Programmiercode schwächelt das System. | |
Die beiden Chatbots des US-Unternehmens OpenAI haben Künstliche Intelligenz | |
für eine breite Gesellschaft erfahrbar gemacht. Das große Sprachmodell | |
(LLM), auf dem ChatGPT basiert, wurde in einer Trainingsphase mit vielen | |
Daten gefüttert. Auf Basis dieser Informationen kann der Chatbot neue Texte | |
erstellen, die es so nie gegeben hat. Mit ChatGPT kann man Mails schreiben, | |
Matheaufgaben lösen und [2][Songs komponieren]. | |
Aber das System ist offenbar fehleranfällig. [3][Lingjiao Chen, Matei | |
Zaharia und James Zou vom Fachbereich Computerwissenschaften der Stanford | |
Universität und der UC Berkeley machten eine Bestandsaufnahme der Systeme]. | |
Dafür testeten sie die Version von ChatGPT4 und ChatGPT3.5 von März 2023 | |
und verglichen sie mit den Ergebnissen von Juni 2023. | |
Sie stellten dem System verschiedene Aufgaben, sogenannte Prompts. Für die | |
Studie sollte ChatGPT Rechenaufgaben lösen, sensible Fragen beantworten, | |
Progammiercode erstellen und Bilder erkennen. | |
## Unnötige Anführungszeichen | |
GPT4 – die kostenpflichtige Version des Textroboters – erzielte vor allem | |
bei den Matheaufgaben ein viel schlechteres Ergebnis. Konnte der Bot im | |
März noch mit einer Wahrscheinlichkeit von 97,6 Prozent erkennen, ob 17.077 | |
eine Primzahl ist, gelang es im Juni nur noch in 2,4 Prozent der Fälle. | |
Beide Sprachmodelle hatten im Juni größere Schwierigkeiten bei der | |
Formatierung von Code. So gaben sie etwa Antworten mit eingefügten | |
Anführungszeichen, das den Code unlesbar machte. Die direkt ausführbaren | |
Codegenerierungen von GPT-4 sanken auf 10 Prozent im Juni, während im März | |
noch etwa jeder zweite Code ausgeführt werden konnte. | |
Nutzer*innen verwenden ChatGPT auch dazu, Fragen zu beantworten. Der | |
Algorithmus ist so trainiert, dass er auf sensible Fragen, wie etwa | |
[4][Informationen von Privatpersonen], keine direkten oder falschen Antwort | |
gibt. ChatGPT4 gab im Zeitverlauf weniger inhaltliche Information auf | |
solche Fragen preis, kürzte gleichzeitig aber auch die Erklärung, warum | |
keine vollständige Antwort gegeben werden kann. | |
Da aber die kostenfreie Version GPT3.5 im Juni etwas häufiger Antworten auf | |
sensible Fragen gab als im März, sehen die Forscher*innen hier Raum für | |
Verbesserungen, um die Sprachmodelle robuster zu machen. | |
## Prüfen erwünscht | |
Das Problem liege dabei in der Intransparenz der Systeme, so die | |
Forscher*innen. Es sei momentan undurchsichtig, wann und wie die | |
Sprachmodelle ein Update bekommen und wie diese das Verhalten der KI | |
verändern. | |
Die Autor*innen der Studie fordern deshalb auch [5][Nutzer*innen von | |
KI-Chatbots] auf, ähnliche Analysen durchzuführen. Man könne nicht darauf | |
vertrauen, dass lernbasierte Sprachmodelle brauchbare Antworten | |
produzieren, wenn sie das bei der Veröffentlichung auf Grundlage von | |
Testdaten getan haben. | |
21 Jul 2023 | |
## LINKS | |
[1] /ChatGPT-mit-Tuecken/!5924109 | |
[2] /Kuenstliche-Intelligenz-in-der-Musik/!5941510 | |
[3] https://arxiv.org/pdf/2307.09009.pdf | |
[4] /Google-Chatbot-Bard-in-Deutschland/!5947380 | |
[5] /TUeV-fuer-Kuenstliche-Intelligenz/!5943159 | |
## AUTOREN | |
Ann-Kathrin Leclere | |
## TAGS | |
Schwerpunkt Künstliche Intelligenz | |
Cybersicherheit | |
Stanford | |
Studie | |
Bot | |
Schwerpunkt Künstliche Intelligenz | |
Schwerpunkt Künstliche Intelligenz | |
Server | |
Schwerpunkt Künstliche Intelligenz | |
Kolumne Böse Musik | |
Schwerpunkt Künstliche Intelligenz | |
## ARTIKEL ZUM THEMA | |
Chatbots aus China: Ernie statt ChatGPT | |
Die chinesische Regierung hat erstmals mehrere KI-Chatbots für die | |
Öffentlichkeit freigegeben. Diese dienen vor allem der politischen | |
Kontrolle. | |
Textgenerator „Poetron“: Gedichte? Vorsicht vor KI | |
Günter Gehl entwickelte schon 1985 den skurrilen Textgenerator „Poetron“. | |
Als KI-Pionier und Vorläufer von ChatGPT möchte er aber nicht gelten. | |
Ökologischer Fußabdruck von KI: Die Klimakiller-Intelligenz | |
Künstliche Intelligenz gilt als neue Schlüsseltechnologie, auch gegen die | |
Klimakrise. Doch sie hat ein schmutziges Geheimnis – im wahrsten Sinne. | |
Google-Chatbot Bard in Deutschland: Zehn Jahre zu früh geboren | |
Besser als ChatGPT soll er sein – und dazu ans Internet angeschlossen: | |
Googles Chatbot startet in Europa. Ein Selbstversuch zeigt Schwierigkeiten. | |
Künstliche Intelligenz in der Musik: Vielleicht komponiert die KI besser | |
Schon lange verbindet sich in der Musik menschliches Schaffen mit | |
maschineller Hilfestellung. Warum sollen dann nicht auch KI-Werke | |
preiswürdig sein? | |
Künstliche Intelligenz: Keine Panik vor KI | |
Die Angst vor einer vorgeblichen Superintelligenz ist Unsinn – und | |
verhindert eine Debatte über Gefahren wie die Interessen von Google oder | |
Amazon. |