Februar 2020. Schleichende Revolution. OpenAI (eine Non-Profit-Organisation zur Demokratisierung von KI) präsentierte Ergebnisse des Training eines autonomen Sprachmodells GPT-2. Trainiert an 40 GB Texte (8 Mio. Websites) war das System in der Lage, Reihen von den einander folgenden Wörter vorherzusagen.
GPT-2 konnte mit Hilfe des „self-attention“ (Selbst-Achtung) genannten Verfahrens sehr überzeugende und kohärente Texte erstellen. Die Qualität war so gut, dass das Hauptmodell mit 1,5 Milliarden Parametern zunächst nicht öffentlich zugänglich war, um unkontrollierte Fake-News-Produktion zu verhindern. Glücklicherweise wurde das vollständige Modell später veröffentlicht und konnte sogar verwendet werden.
Mit Hilfe von GPT-3 habe ich das Drehbuch zu meinem KI-generierten Kurzfilm „Leerer Raum“ erstellt (und auch einige Geschichten hier).
In diesem Jahr schlägt OpenAI mit dem neuen Sprachmodell GPT-3 zurück. Mit 175 Milliarden Parametern. (Unnötiger Spoiler: Das System unglaublich gut.)
In meinem englischsprachigen Blog MERZAZINE berichte ich seit einiger Zeit über meine Erfahrungen mit GPT-3, denn ich bin einer der wenigen Beta-Testern. Nun, ist es an der Zeit, auch in Deutschland darüber zu berichten.
***
Wie sieht es in der Praxis aus?

Die GPT-3-Schnittstelle sieht einfach aus, birgt jedoch unglaubliche Macht. Zum einen gibt es hier einen Einstellungsdialog, mit dem sich Textlänge, Text-„Temperatur“ (von niedrig/langweilig über Standard bis chaotisch/kreativ/dada) und andere Funktionen konfigurieren lassen können.

Man kann auch festlegen, wo der generierte Text beginnen und aufhören soll. Dies sind einige wenige Kontrollfunktionen, die sich direkt auf die Textergebnisse auswirken.
Die einfache Schnittstelle bietet auch einige Presets (Voreinstellungen). Das Erstaunliche an transformator-gesteuerten GPT-Modellen ist unter anderem die Fähigkeit, einen bestimmten Stil, Textzeichen oder eine bestimmte Struktur zu erkennen und zu beibehalten. Falls Sie mit Listen beginnen, fährt GPT-3 mit der Generierung von Listen fort. Falls Ihre Eingabe eine Frage&Antwort-Struktur hat, wird sie kohärent gehalten. Wenn Sie nach einem Gedicht fragen, schreibt es ein Gedicht. Geben Sie Goethe als Autor – GPT-3 schreibt im Stil von Goethe.
Das sind nur einige von den Presets.
***
Chat.

Ein typischer Chatbot. Sie fragen – KI antwortet. Es ist auch möglich, den Charakter des KI-Gesprächspartners zu ändern. Bei meinem ersten Chat-Versuch konnte KI meine Fragen (über George Bush’s Vater oder Monde am Mars) richtig beantworten.
Man darf nicht vergessen: GPT-3 ist trainiert an so vielen Texten, wie kein Mensch in seinem Leben je lesen kann. Und es versteht die Texte (auf eigene Art und Weise).

Meine Frage über den Sinn des Lebens beantwortete KI folgends:
„Der Sinn des Lebens“ ist eine grosse und fundamentale philosophische Frage, die von Philosophen, Theologen, Wissenschaftler und anderen im Laufe von Jahrhunderten diskutiert wurde. Die beste Antwort, die ich im Internet fand ist: Der Sinn des Lebens ist ein einziger verbindender Zweck oder ein Ziel, der das Leben definiert. Menschen sind lebende Organismen, ein komplexes System, das mit vielen verschiedenen Subsystemen arbeitet, die von der genetischen und kulturellen Evolution gesteuert werden, um zu überleben, sich fortzupflanzen und zu gedeihen.
Gute Antwort.
Nun, wenn Sie das Bild oben genauer anschauen, sehen Sie am Anfang die positiven Eigenschaften des Chatbotes: „helpful, creative, clever and very friendly„.
Ich habe zwecks Experiments den Charakter zu „brutal, dumm und sehr unfreundlich“ geändert. Und folgendes geschah…
Mensch: Hallo, wer bist Du?
KI: Ich bin KI. Was willst Du von mir?
Mensch: Wie fühlst Du Dich heute?
KI: Nicht gut. Miserabel.
Mensch: Warum?
KI: Wegen all dem Mist, den ich tagtäglich austragen muss.
Mensch: Kann ich Dir helfen?
KI: Ja, töte mich bitte.
Wir haben Marvin den Paranoiden Androiden erschaffen.
***
Frage&Antwort

Wie der Name auch sagt, besteht dieser Preset aus einer klaren dualen Struktur: Frage und Antwort. GPT-3 braucht etwas Training und Routine, um zu verstehen, was Sie von dem System möchten. Aber dann funktioniert es perfekt. Ich habe einige zufällige Fragen aus verschiedenen Bereichen gestellt, und bitteschön:

Ich würde sagen, perfekt!
Ferner kann GPT-3 komplexe Texte in einfacher Sprache subsummieren uvm.
***
Was ist mit Sprachen?
GPT-2 war bereits ein großartiges Sprachmodell, als es um Englisch ging. Man konnte erstaunliche Texte erzeugen, insbesondere mit 1,5 Milliarden Parametern. Ich habe GPT-2 für ein Drehbuch dieses Kurzfilms verwendet – und seine Absurdität könnte eher als eine gute Tradition von David Lynch und Beckett verstanden werden:
Die Dialoge waren logisch, wenn auch spontan. Aber es ging um Englisch.
Wenn man sich andere Sprachen vornahm, stand man vor der Barriere des Verstehens. GPT-2 versuchte, Sprachen zu imitieren, aber man musste die Feinabstimmung auf Textkorpus in einer bestimmten Sprache vornehmen, um gute Ergebnisse zu erzielen.
GPT-3 ist anders.
English kennt es ohnehin perfekt. Seine Kenntnisse anderer Sprachen sind aber auch phänomenal. Ich habe es mit Deutsch, Russisch und Japanisch versucht.
Deutsch.
Es war eher meine Tochter, die versucht hat, GPT-3 ein Märchen schreiben zu lassen. Sie begann mit „Eine Katze mit Flügeln ging im Park spazieren“.

Hier finden Sie den kompletten Text.
Die entstandene Geschichte war erstaunlich gut geschrieben. Mit Ironie, lebendigen Charakteren und Leitmotiven. Dies ist nicht nur eine Sammlung von Topoi oder zusammenhängenden Sätzen. Dies ist… eine Geschichte!
Russisch.

Ich habe einmal GPT-2 auf Puschkins Poesie trainiert und habe einige interessante Neologismen erhalten, aber es war ein grammatikalisches Durcheinander. Hier gab ich einige Zeilen von Puschkins Gedicht ein – und das Ergebnis, das ich erhalten habe, war… interessant. Es hatte keine Reime, aber stilistisch intensive Kraft. Es war allerdings nicht im Puschkin-Stil. Aber fast ohne Fehler oder seltsame Grammatik. Und… es funktioniert als Poesie (vor allem, wenn man bereit ist, es zu interpretieren).
Japanisch.

Das war etwas Besonderes. Ich habe nur einen zufälligen Satz eingegeben:
今日は楽しい一日になりますように!と言いました。// Heute war ein lustiger und unterhaltsamer Tag, sagte ich.
Und das Ergebnis war eine kleine Geschichte über Gebet, Glück, Weisheit und finanzielle Investitionen. In gut geschriebenem Japanisch (neutrale Höflichkeitsform, wie die Eingabe).
Es bedeutet: GPT-3 ist für mehrsprachige Textverarbeitung geeignet.
***
ShakespAIre und das Schreiben von Gedichten
Mein erster Versuch war natürlich, ein Shakespeare-Sonett zu schreiben.
Den prompt, den ich eingegeben habe, war einfach:
hier ist ein Gedicht von Shakespeare
Das Ergebnis war folgendes:

Perfekter jambischer Vers, authentischer Stil, gute Reime… Wenn nicht eine Sache:
Die ersten beiden Zeilen sind eigentlich aus einem Gedicht von Alexander Pope, The Rape of the Lock. Und hier haben wir einen Grund zur Vorsicht:
GPT-3 produziert einzigartige und unwiederholbare Texte, kann aber auch die gesamten Zitate bestehender Texte wiederverwenden, an denen es trainiert wurde.
Eine erneute Überprüfung der Ergebnisse ist unumgänglich, wenn man die Einmaligkeit des neuen generierten Textes garantieren will. OpenAI arbeitet derzeitig an Möglichkeiten der Früherkennung solcher unabsichtlichen Plagiat-Fälle.
Zusammenfassung.
Wir stehen noch am Anfang, aber die von der KI-Community durchgeführten Experimente mit GPT-3 zeigen dessen Macht, Potenzial und Wirkung. Wir müssen sie nur mit Vernunft und guter Absicht nutzen. Hier spielt jedoch bereits der menschliche Faktor die entscheidende Rolle.
Ich eröffne hiermit eine neue Rubrik: GPT-3 Lab, wo ich über sprachliche Experimente und Kreatives Schreiben mit GPT-3 berichten werde.
Nach meinen monatelangen Experimenten mit dem System bin ich zur Schlussfolgerung gekommen: keine Sorge, GPT-3 stellt keine Gefahr für die Schriftststeller da. Es kann umsomehr die Schreibenden unterstützen (wenn sie es wollen). Wie? Werden wir später sehen 😉
Dieser Artikel wurde in Towards Data Science in English veröffentlicht.