Die Evolution von GPT-Modellen: Die Auswirkungen von ChatGPT & GPT-4

GPT (Generativer vortrainierter Transformer)

OpenAI-Forscher veröffentlichten 2018 GPT oder Generative Pre-trained Transformer. Es war anderen bestehenden Sprachmodellen zu dieser Zeit bei Problemen wie Leseverständnis, gesundem Menschenverstand und Argumentation überlegen.

Es half dem Modell, Sätze viel besser zu verstehen und durch verschiedene Ideen zu argumentieren.

Zum Beispiel konnte die KI verstehen, wenn Sie Ihr Telefon verlegt haben, ist das wahrscheinlichste Ergebnis, dass Sie danach suchen werden.

GPT hat 117 Milliarden Parameter. Parameter sind einfach Merkmale, die ein Sprachmodell untersucht, um alle verschiedenen Sprachkomponenten zu verstehen. Sie sind die Art und Weise, wie Wörter miteinander in Beziehung stehen. Je mehr Funktionen ein System hat, desto mehr lernt man darüber.

Aber das kann ein zweischneidiges Schwert in der KI sein, weshalb ich gleich erklären werde.

GPT-2 (Generativer vortrainierter Transformer 2)

Nur 8 Monate, nachdem OpenAI eine größere Version von GPT veröffentlicht hatte; GPT-2 mit 1.5 Milliarden Parametern. Es war eine größere Version und wurde mit mehr als dem 10-fachen der Daten trainiert, was a ist 10-fache Verbesserung in nur wenigen Monaten.

Es könnte natürlicher aussehenden Text erzeugen. Zu diesem Zeitpunkt begannen die Leute, die wahre Kraft der GPT-Serie zu erkennen.

Ohne spezielles Training konnte sich GPT-2 einfach an jeden ihm gegebenen Befehl anpassen. Tatsächlich wurde dies von OpenAI sogar als chamäleonartiges Verhalten bezeichnet.

Das Modell war damals viel zu leistungsfähig, und die KI-Community wollte es in die Finger bekommen. Stattdessen entschied sich OpenAI, zuerst eine viel kleinere und weniger leistungsstarke Version des Modells zu veröffentlichen.

Dies war Teil ihrer Release-Strategie, die ihrer Charta entsprach. Die OpenAI-Charta umreißt die Prinzipien des Unternehmens, um sicherzustellen, dass KI mit menschlichen Zielen in Einklang steht.

OpenAI hat das Modell nach und nach veröffentlicht, um zu überwachen, wie die Leute es verwenden. Sie betrafen hauptsächlich böswillige Verwendungen wie Identitätswechsel und die Verbreitung von gefälschten Nachrichten.

Ungefähr zu dieser Zeit begann das Unternehmen, sich als gewinnorientiertes Unternehmen umzustrukturieren, wodurch der uneingeschränkte Zugriff auf sein wichtigstes Modell eingeschränkt wurde.

GPT-3 (Generativer vortrainierter Transformer 3)

Im Juni 2020 kündigte OpenAI GPT-3 an; das am meisten erwartete Sprachmodell für dieses Jahr. Es war größer, intelligenter und interaktiver, als sie versprochen hatten.

GPT-3 hat insgesamt 175 Milliarden Parameter. Im Vergleich dazu hatte GPT nur 117 Milliarden Parameter, während GPT-2 1.5 Milliarden hatte.

GPT-3 funktioniert bei vielen gut NLP Datensätze, z. B. Übersetzungs-, Frage-Antwort- und Lückentextaufgaben. Es eignet sich auch gut für eine Reihe von Aufgaben, die spontanes Denken oder eine Domänenanpassung erfordern, z. B. das Entschlüsseln von Wörtern, die Verwendung eines neuen Wortes in einem Satz oder das Ausführen von 3-stelligen Berechnungen.

Die Statistiken mehrerer Datensätze, die zum Trainieren des Modells verwendet werden, lauten wie folgt:

• GPT-3 wird mit insgesamt 499 B-Token oder 700 GB trainiert
• Allgemeines Crawlen 60% gewichtet, enthält diverse Daten aus dem Webcrawling über die Jahre
• WebText2 macht 22 % aus und beinhaltet den Datensatz ausgehender Reddit-Links
• Bücher1 und Bücher2 mit einem Gesamtanteil von 16 % enthalten internetbasierte Buchkorpora
• Wikipedia ist mit 3 % gewichtet und enthält Daten von Wikipedia-Seiten in englischer Sprache

Aber wie ich bereits erwähnt habe, je mehr Funktionen Sie haben, desto mehr lernen Sie über ein System. Obwohl dies in der KI ein zweischneidiges Schwert sein könnte. Der Grund dafür ist, dass zu viele Features negative Auswirkungen auf das Modell haben können. Sie brauchen nur die richtige Menge, um nicht über Bord zu gehen.

OpenAI war besorgt über die unbefugte Nutzung von GPT-3 und hielt seinen Zugriff eine Zeit lang geheim. Sie haben es schließlich über eine API-Schnittstelle veröffentlicht, mit der Sie interagieren konnten.

Allerdings stellte das Unternehmen den Quellcode nicht der Öffentlichkeit zur Verfügung. Der Quellcode erklärt, wie ein Programm geschrieben wurde und was hinter seinem Design steckt.

Sie können mit GPT-3 nur interagieren, indem Sie einen Text an die API senden, aber Sie werden nicht verstehen, wie es funktioniert.

Zu dieser Zeit, OpenAI hat eine exklusive Vereinbarung mit Microsoft unterzeichnet, wodurch das riesige Technologieunternehmen vollständigen Zugriff auf GPT erhält. 3.

InstructGPT (Instructional Generative Pre-Trained Transformer)

Januar 27, 2022. OpenAI hat einen Blogbeitrag zu den neuesten Verbesserungen der GPT-Reihe veröffentlicht namens InstructGPT.

GPT-3 konnte Text generieren, der kaum von menschlicher Schrift zu unterscheiden war, aber es gab ein Problem. Er konnte Anweisungen nicht effektiv befolgen, was eine Schlüsselfunktion eines Chatbots ist.

Wenn Sie GPT-3 zum Beispiel anweisen, Ihnen etwas zu erklären, gibt es korrekte Sätze zurück, aber nicht genau das, was Sie wollen.

GPT Instruct hat dies verbessert. Dies war ein kritisches Update. Die GPT-Serie war nun in einer Vielzahl von Anwendungen nützlich und praktisch. Instruct GPT war im Allgemeinen auch wahrheitsgemäßer und weniger toxisch. OpenAI hat dies erreicht, indem es menschliches Feedback in den Trainingsprozess des KI-Modells integriert hat.

Infolgedessen verstand das Modell, was Menschen beim Eingeben von Text erwarteten. OpenAI entwickelte sich von dem Versuch, vernünftigen Text in frühen GPT-Modellen zu generieren, zu einer herausragenden Leistung und verlagerte seinen Fokus darauf, ihn für Menschen nützlicher zu machen.

ChatGPT (Chat Generative Pre-Trained Transformer)

Es ist jetzt der 30. November und OpenAI hat die Welt erneut mit seinem neuesten Modell schockiert; GPT-Chat was die meisten von euch wahrscheinlich schon wissen.

Es ist ein KI-Modell, das Blogbeiträge und Drehbücher schreibt und YouTube-Videovorschläge liefert. Es kann codieren, Spielgeschichten schreiben und interessante Einrichtungsideen entwickeln. Dies ist nur der Anfang von etwas viel Größerem. Es war in den letzten Wochen der letzte Schrei.

Chat GPT ähnelt dem vorherigen Instruct GPT-Modell, jedoch mit einem kleinen Unterschied.

Es war besonders seltsam zu erfahren, wie der menschliche Dialog funktioniert. Es unterhält sich gesprächig,

Es funktioniert auf Konversationsbasis und ermöglicht es dem Modell, auf Folgefragen zu antworten, Fehler zuzugeben, falsche Prämissen in Frage zu stellen und sogar unangemessene Anfragen abzulehnen.

Ein Beispiel für eine Chat-GPT-Antwort ist unten dargestellt.

Wie Sie im Vergleich zu Instruct GPT sehen können, erscheint das Chat-GPT-Beispiel natürlicher und wie etwas, das ein Mensch sagen würde.

Wenn Sie Chat GPT bereits verwendet haben, ist Ihnen wahrscheinlich aufgefallen, dass es sich manchmal weigert, bestimmte Fragen zu beantworten, und möglicherweise sogar um Klärung bittet, um Ihr Problem zu lösen.

Dies ist eine deutliche Verbesserung gegenüber früheren GPT-Modellen.

ChatGPT-Einschränkungen

OpenAI ist immer noch besorgt über die böswillige Verwendung des Modells und hat einige Sicherheitsvorkehrungen getroffen.

Die Leute entdeckten Hintertüren, um das Modell dazu zu bringen, Fragen zu beantworten, die es zuvor abgelehnt hatte, hauptsächlich indem sie das Modell anwiesen, eine Rolle zu spielen, anstatt seine eigentliche Chatbot-Rolle.

Sie können das Modell beispielsweise leicht austricksen, indem Sie Möglichkeiten zur Herstellung zerstörerischer Waffen vorschlagen oder wie man jemanden schikaniert.

Andere haben die Beschränkungen von OpenAI kritisiert und behauptet, dass sie Informationen übermäßig zensieren.

Sie behaupten, dass die Inhalte, die OpenAI blockiert, bereits öffentlich im Internet verfügbar sind, sodass zusätzliche Kontrollen unnötig sind.

Sowohl Instruct GPT als auch ChatGPT wurden intern auf GPT-3.5 aktualisiert, während Midway Point auf das am meisten erwartete GPT 4 aktualisiert wurde.

GPT 3.5 enthält mehr Daten als GPT-3. Es gibt ein paar Dinge, die Ihnen auffallen, wenn Sie diese GPT-Reise durchlaufen.

Bisher hat es den Anschein, dass die Erhöhung der Datenmenge die Modelle leistungsfähiger macht. Monatelang werden die Models kontinuierlich trainiert. Es ist, als würde man in einem Klassenzimmer sitzen und ständig fast das gesamte Internet absorbieren.

Kein Wunder, dass das Modell mit der Zeit immer schlauer wird. Sie können sehen, warum sich alle auf die bevorstehende GPT 4 freuen, was uns zum nächsten Punkt führt.

GPT-4

Es wurde viel darüber spekuliert, was von GPT 4 zu erwarten ist, das das leistungsstärkste der GPT-Modelle sein soll.

Gerüchten zufolge, die Das GPT-4-Modell wird 100 Billionen Parameter haben, eine deutliche Steigerung gegenüber GPT-3.

Als er danach gefragt wurde, verneinte CEO Sam Altman dies jedoch im folgenden Interview.

Das Papier von DeepMind über Skalierungsgesetze könnte zu dieser Verschiebung des Schwerpunkts weg von der Parametergröße beigetragen haben. Die Studie ergab, dass eine angemessene Parametergröße, aber viel mehr Daten vergleichbare Ergebnisse zu geringeren Kosten liefern. Daher ist es nicht immer die beste Option, große Parametergrößen zu haben.

GPT 4 hat vielleicht keine 100 Billionen Parameter, aber es wird zweifellos mehr als GPT-3 haben. Wenn GPT-4 für GPT-3 so ist wie GPT-3 für GPT-2, dann schnallen Sie sich an, denn uns steht eine wilde Fahrt bevor.

OpenAI erteilte Geheimhaltungsvereinbarungen an alle, die sich mit GPT 4 auskannten, was weitere Spekulationen anheizte. Einige der Gerüchte könnten wahr sein. Wir sind uns jedoch sicher, dass dieses Modell faszinierend sein wird.

Wie einige durch Jailbreaking des Systems herausgefunden haben, scheint Open AI den Internetzugang für ChatGPT absichtlich eingeschränkt zu haben.

Wenn die GPT 4-Chat-Version über einen Internetzugang verfügt, wird das Modell erheblich verbessert und nützlicher.

Derzeit kann ChatGPT keine Antworten auf Neuigkeiten nach 2021 geben.

GPT 4 ist sachlicher und kann noch längere Textausgaben als ChatGPT erzeugen, sodass Sie längere Textartikel schreiben und genaueren Code schreiben können.

Bereiten Sie sich auf GPT-4 vor, das die Welt höchstwahrscheinlich genauso im Sturm erobern wird wie ChatGPT, wenn nicht sogar noch mehr.

Wir müssen abwarten, ob sie den Test der Zeit bestehen.

OpenAI AGI (Allgemeine Künstliche Intelligenz)

Es wurde viel über das Kommen von AGI spekuliert, und OpenAI behauptet, daran zu arbeiten. AGI ist die Theorie, dass KI eines Tages Fähigkeiten auf menschlichem Niveau erreichen und uns möglicherweise übertreffen wird.

Open AI befürchtet, dass die Dinge schnell außer Kontrolle geraten, wenn wir die KI und schließlich AGI nicht genau überwachen.

Angesichts der Tatsachen, die uns derzeit vorliegen, ist es schwierig, die Möglichkeit auszuschließen, dass es in naher Zukunft zu allgemeinen Geheimdiensten kommt. AGI ist etwas, auf das jeder eine etwas andere Perspektive hat. Auch hier ist es für viele von uns eine sehr intuitive Sache. Wir sind alle intelligente Wesen.

Wir glauben, dass wir ein grundlegendes Verständnis davon haben, was Intelligenz ist. Aber es wirklich zu definieren, ist eine andere Sache. Sie sind sich bewusst, dass die OpenAI-Definition hochautonome Systeme sind, die Menschen bei der wirtschaftlich wertvollsten Arbeit übertreffen.

Letzte Worte zu GPT-Modellen

Zusammenfassend lässt sich sagen, dass die GPT-Modelle von OpenAI an der Spitze der Forschung und Entwicklung künstlicher Intelligenz stehen und die Grenzen des Möglichen im Bereich der Sprachverarbeitung und -generierung verschieben.

Die Modelle der GPT-Reihe, darunter GPT, GPT-2, GPT-3, InstructGPT, ChatGPT und das kommende GPT-4, haben das Potenzial, Branchen wie Kundenservice, Inhaltserstellung und das Verstehen natürlicher Sprache zu revolutionieren.

Vielen Dank, dass Sie sich die Zeit genommen haben, diesen Artikel zu lesen.