Photo by Drew Dizzy Graham on Unsplash
GPT-3 (Generative Pre-trained Transformer 3) ist ein Sprachmodell basierend auf einem Künstlichen Neuronalen Netz (kurz KNN), das durch Deep Learning trainiert wurde. Deep-Learning-Methoden werden oft verwendet, wenn es nicht möglich oder bequem ist, handgemachte Regeln aufzustellen. Sie kommen auch dann zum Einsatz, wenn die Aufgabenstellung für andere maschinelle Lernmethoden wie klassische künstliche Intelligenz (KI) und Expertensysteme zu komplex sind.
GPT-3 wurde von OpenAI-Forschern entwickelt. Es ist der Nachfolger von Generative Pre-trained Transformer 2 (GPT-2) und kann unabhängig von manueller Eingabe eigene Texte schreiben, Fragen beantworten, Gespräche führen oder Programme erstellen. GPT-3 wurde von Open AI entwickelt, einer amerikanischen Organisation, die von Elon Musk gegründet wurde. Bereits 2018 entwickelten Alec Radford, Karthik Narasimhan, Tim Salimans und Ilya Sutskever ein allgemeines, aufgabenunabhängiges Modell. Basierend auf nicht gekennzeichnetem Text wird ein Vortraining durchgeführt, und dann wird das Training separat für jede spezifische Aufgabe durchgeführt, was als Generieren von Vortraining/Vortraining bezeichnet wird.
OpenAI hatte im September 2019 dann sein verbessertes GPT 2-Modell veröffentlicht. Es verwendete 1 Million Stunden menschlicher Sprache aus Reddit-Rezensionen für das Training. Das Ergebnis ist GPT-1. Das neue vortrainierte Sprachmodell GPT-3 wird jedoch ergänzt und trainiert durch Deep-Learning-Technologie und basiert auf 175 Millionen Synapsen in einem riesigen neuronalen Netz, das mit minimalen Anforderungen Texte ergänzen und schreiben kann. Es ist der grösste Konverter zur Verarbeitung natürlicher Sprache (NLP), der menschliche Denk- und Demonstrationsmodelle genau und effektiv reproduzieren kann.
Die generierten Texte sind so gut geschrieben, dass der Leser sie nicht mehr von von Menschen geschriebenen Texten unterscheiden kann. Seit der Einführung von GPT-3 im Jahr 2020 hat es durchschnittlich 4,5 Millionen Wörter pro Tag generiert und wird von mehr als 300 Anwendungen verwendet. GPT-3 lässt die durch Training erworbenen Kenntnisse in diese Texte einfliessen.
Neben dem Schreiben von Texten kann GPT-3 auch Texte zusammenfassen, vereinfachen und übersetzen, Programmiercodes erstellen, Formulare ausfüllen, Gespräche führen und mehr. GPT-3 unterstützt viele verschiedene Sprachen. Das zugrunde liegende Modell umfasst derzeit 175 Milliarden Parameter. Im Gegensatz dazu hat das Turing-NLG-Sprachmodell von Microsoft nur 17 Milliarden Parameter.
Der von GPT-3 gelieferte Text ist manchmal schwer von einem von Menschen erstellten Text zu unterscheiden. Es kann aber auch notwendig sein, dass Personen den Text Korrektur lesen, überarbeiten und planen. GPT-3 generiert Sätze mit einer Geschwindigkeit von etwa 100 Wörtern pro Sekunde, dies hängt jedoch von der Größe des Datensatzes ab. Wenn wir beispielsweise einen grossen Datensatz verwenden, erhöht sich die Generierungsgeschwindigkeit erheblich.
Mit Hilfe dieser riesigen Wissensbasis (von der die komplette englische Wikipedia weniger als 1% ausmacht) liegt die Hauptleistung in der schnellen Berechnung und Wahrscheinlichkeitskombination basierend auf maschinellem Lernen: das nächste Wort, der nächste Satz oder der Absatz. Gleichzeitig nutzt der Transformer das sogenannte Natural Language Processing NLP (nicht zu vergleichen mit Neuro-Linguistische Programmieren (ebenfalls kurz NLP) eine Parawissenschaft & Methode. Wir sprechen bei GPT-3 von Natural Language Processing, um den Aufbau der Sprache zu beherrschen: denn das Ziel von NLP in diesem Kontext ist eine direkte Kommunikation zwischen Mensch und Computer auf Basis der natürlichen Sprache. Die künstliche Intelligenz (KI) hinter beispielsweise GPT-3 ist ein Thema, das in der Science-Fiction seit vielen Jahren diskutiert wird.
Die künstliche Intelligenz wird bald aus unserem täglichen Leben nicht mehr wegzudenken sein. Die Zukunft der künstlichen Intelligenz ist jedoch sehr ungewiss. Es gibt viele unterschiedliche Meinungen über die potenziellen Bedrohungen und Vorteile, die es für die Menschheit bringen kann. Einige Leute sagen, dass KI mehr Arbeitsplätze schaffen wird, während andere über die Übernahme von KI besorgt sind.
Wissenschaftler sind sich einig, dass diese KI gefährlich sein kann, wenn sie zu gut in ihrer Arbeit wird, ohne dass ihr irgendeine Art von Kontrolle oder Regulierung durch den Menschen auferlegt wird. Dies sieht man bereits bei der Erstellung von automatisch erstellten Texten: Die Möglichkeit, falsche Informationen zu generieren, ist leider gross. GPT-3 wird offensichtlich Informationen liefern, die einem abgefragten Muster entsprechen.
Ausserdem beginnt das Modell bei längeren Texten, denselben Inhalt immer wieder zu wiederholen, und es werden keine neuen Informationen hinzugefügt. Im Deutschen gehören oft unnötige Schimpfwörter zum Inhalt der Produktion. Der verwendete Datensatz ist ein weiterer sensibler Punkt. Diese enthalten Vorurteile und können Geschlecht, ethnische Zugehörigkeit, Rasse oder Religion diskriminieren. Das bedeutet, dass von GPT-3 generierte Inhalte nicht ohne Korrekturlesen und Faktenprüfung veröffentlicht werden sollten.
Auch dieser Text wurde mit den Tools von FRASE.io, JARVIS.ai und RYTR.me erstellt und dann mit Grammarly auf Plagiate geprüft — wer will, kann diese Tools gerne selbst ausprobieren. Die Problematik die sich aber stellte war manigfaltig: aus Abkürzugen wurden wilde Definitionen, es gab zahlreiche Wiederholungen im Text und die Fälle von Dativ und Genitiv sind nicht wirklich AI-sensitiv.
Mein Fazit zu GPT-3 ist darum einfach: alle diese Hilfsmittel machen uns zwar schneller und effizienter, aber nicht immer in gleichem Masse schlauer.