L'évolution des modèles GPT : l'impact de ChatGPT et GPT-4

GPT (Transformateur Génératif Préformé)

Les chercheurs d'OpenAI ont publié GPT, ou Generative Pre-trained Transformer, en 2018. Il était supérieur aux autres modèles de langage existants à l'époque pour des problèmes tels que la compréhension de la lecture, le bon sens et le raisonnement.

Cela a aidé le modèle à mieux comprendre les phrases et à raisonner à travers différentes idées.

Par exemple, l'IA a pu comprendre quand vous égarez votre téléphone, le résultat le plus probable est que vous irez le chercher.

GPT a 117 milliards de paramètres. Les paramètres sont simplement des caractéristiques qu'un modèle de langage examine afin de comprendre toutes les différentes composantes du langage. Ce sont les manières dont les mots se rapportent les uns aux autres. Plus un système a de fonctionnalités, plus vous en apprenez à son sujet.

Mais cela peut être une épée à double tranchant dans l'IA dont j'expliquerai pourquoi dans un instant.

GPT-2 (transformateur génératif pré-formé 2)

Seulement 8 mois après qu'OpenAI ait publié une version plus grande de GPT ; GPT-2 avec 1.5 milliard de paramètres. C'était une version plus grande et formée sur plus de 10 fois les données, ce qui est un Amélioration multipliée par 10 en quelques mois seulement.

Cela pourrait générer un texte plus naturel. C'est à ce moment-là que les gens ont commencé à réaliser la véritable puissance de la série GPT.

Sans aucune formation spéciale, GPT-2 pourrait simplement s'adapter à n'importe quelle commande qui lui est donnée. En fait, cela a même été qualifié de comportement de caméléon par OpenAI.

Le modèle était beaucoup trop puissant à l'époque et la communauté de l'IA voulait mettre la main dessus. Au lieu de cela, OpenAI a décidé de publier d'abord une version beaucoup plus petite et moins puissante du modèle.

Cela faisait partie de leur stratégie de sortie, qui correspondait à leur charte. La charte OpenAI décrit les principes de l'entreprise pour s'assurer que l'IA est alignée sur les objectifs humains.

OpenAI a progressivement publié le modèle afin de surveiller la façon dont les gens l'utilisaient. Ils étaient principalement préoccupés par les utilisations malveillantes telles que l'usurpation d'identité et la diffusion de fausses nouvelles.

À cette époque, l'entreprise a commencé à se restructurer en une entité à but lucratif, limitant l'accès complet à son modèle le plus important.

GPT-3 (transformateur génératif pré-formé 3)

En juin 2020, OpenAI a annoncé GPT-3 ; le modèle linguistique le plus attendu pour cette année. C'était plus grand, plus intelligent et plus interactif qu'ils ne l'avaient promis.

GPT-3 a un total de 175 milliards de paramètres. En comparaison, GPT n'avait que 117 milliards de paramètres, tandis que GPT-2 en avait 1.5 milliard.

GPT-3 fonctionne bien sur de nombreux PNL ensembles de données, tels que les tâches de traduction, de réponse aux questions et de cloze. Il fonctionne également bien sur un certain nombre de tâches qui nécessitent un raisonnement à la volée ou une adaptation de domaine, telles que le décryptage des mots, l'utilisation d'un nouveau mot dans une phrase ou les calculs à 3 chiffres.

Les statistiques de plusieurs ensembles de données utilisés pour entraîner le modèle sont les suivantes :

• GPT-3 est formé avec un total de jetons 499B, ou 700GB
• Exploration commune pondéré à 60 %, contient diverses données issues de l'exploration du Web au fil des ans
• TexteWeb2 représente 22 % et inclut l'ensemble de données des liens Reddit sortants
• Livres1 et Livres2 avec une part combinée de 16 %, contiennent des corpus de livres sur Internet
• Wikipédia est pondéré à 3 % et inclut les données des pages Wikipédia en anglais

Mais comme je l'ai mentionné plus tôt, plus vous avez de fonctionnalités, plus vous en apprenez sur un système. Bien que cela puisse être une arme à double tranchant en IA. La raison en est que trop de fonctionnalités peuvent avoir un impact négatif sur le modèle. Vous n'avez besoin que de la bonne quantité pour éviter d'en faire trop.

OpenAI était préoccupé par l'utilisation non autorisée de GPT-3, il a gardé son accès privé pendant un certain temps. Ils l'ont finalement publié via une interface API avec laquelle vous pouvez interagir.

Cependant, la société n'a pas mis le code source à la disposition du public. Le code source explique comment un programme a été écrit et le raisonnement derrière sa conception.

Vous ne pouvez interagir avec GPT-3 qu'en envoyant un texte à l'API, mais vous ne comprendrez pas comment cela fonctionne.

À ce moment-là, OpenAI a signé un accord exclusif avec Microsoft, accordant à la société technologique géante un accès complet à GPT. 3.

InstructGPT (transformateur génératif pédagogique pré-formé)

Janvier 27, 2022. OpenAI a publié un article de blog sur ses dernières améliorations de la série GPT appelé InstructGPT.

GPT-3 pouvait générer un texte presque impossible à distinguer de l'écriture humaine, mais il y avait un problème. Il ne pouvait pas suivre efficacement les instructions, ce qui est une fonction clé d'un chatbot.

Lorsque vous dites à GPT-3 de vous expliquer quelque chose, par exemple, il renverra des phrases correctes mais pas exactement ce que vous voulez.

Instruction GPT améliorée à ce sujet. Il s'agissait d'une mise à jour critique. La série GPT était désormais utile et pratique dans un large éventail d'applications. Instruct GPT était également plus véridique et moins toxique en général. OpenAI y est parvenu en incorporant des commentaires humains dans le processus de formation du modèle d'IA.

En conséquence, le modèle comprenait ce à quoi les humains s'attendaient lorsqu'ils tapaient du texte. OpenAI est passé d'essayer de générer du texte sensible dans les premiers modèles GPT à exceller dans ce domaine et à se concentrer sur le rendre plus utile aux gens.

ChatGPT (Transformateur pré-entraîné génératif de chat)

Nous sommes maintenant le 30 novembre et OpenAI a une fois de plus choqué le monde avec son dernier modèle ; ChatGPT dont la plupart d'entre vous savent probablement ce que c'est maintenant.

Il s'agit d'un modèle d'IA qui écrit des articles de blog, des scripts de films et fournit des suggestions de vidéos YouTube. Il peut coder, écrire des histoires de jeu et proposer des idées de design d'intérieur intéressantes. Ce n'est que le début de quelque chose de bien plus vaste. Il a fait fureur ces dernières semaines.

Chat GPT est similaire au précédent modèle Instruct GPT, mais avec une légère différence.

C'était particulièrement étrange d'apprendre comment fonctionne le dialogue humain. Il s'entretient de manière conversationnelle,

Cela fonctionne de manière conversationnelle, permettant au modèle de répondre aux questions de suivi, d'admettre les erreurs, de contester les prémisses incorrectes et même de rejeter les demandes inappropriées.

Un exemple de réponse Chat GPT est présenté ci-dessous.

Comme vous pouvez le voir par rapport à Instruct GPT, l'exemple Chat GPT semble plus naturel et ressemble à quelque chose qu'un humain dirait.

Si vous avez déjà utilisé Chat GPT, vous avez probablement remarqué qu'il refuse parfois de répondre à certaines questions, et peut même demander des éclaircissements pour résoudre votre problème.

Il s'agit d'une amélioration significative par rapport aux modèles GPT précédents.

Limitations de ChatGPT

OpenAI est toujours préoccupé par l'utilisation malveillante du modèle et a mis en place certaines mesures de protection.

Les gens ont découvert des portes dérobées pour inciter le modèle à répondre à des questions qu'il refusait auparavant, principalement en demandant au modèle de jouer un rôle plutôt que son rôle réel de chatbot.

Par exemple, vous pouvez facilement tromper le modèle en suggérant des moyens de fabriquer des armes destructrices ou d'intimider quelqu'un.

D'autres ont critiqué les restrictions d'OpenAI, affirmant qu'elles censurent excessivement les informations.

Ils affirment que le contenu bloqué par OpenAI est déjà accessible au public sur Internet, de sorte que des contrôles supplémentaires sont inutiles.

Instruct GPT et ChatGPT ont été mis à jour en interne vers GPT-3.5, tandis que Midway Point a été mis à jour vers leur GPT 4 le plus attendu.

GPT 3.5 contient plus de données que GPT-3. Il y a quelques choses que vous commencez à remarquer au fur et à mesure que vous progressez dans ce voyage GPT.

Jusqu'à présent, il semble que l'augmentation de la quantité de données rend les modèles plus puissants. Pendant des mois, les modèles sont entraînés en continu. C'est comme être assis dans une salle de classe et absorber en permanence la quasi-totalité d'Internet.

Il n'est pas surprenant que le modèle devienne de plus en plus intelligent avec le temps. Vous pouvez voir pourquoi tout le monde est enthousiasmé par le prochain GPT 4, ce qui nous amène au point suivant.

GPT-4

Il y a eu beaucoup de spéculations sur ce à quoi s'attendre du GPT 4, qui sera le plus puissant des modèles GPT.

Selon les rumeurs, le Le modèle GPT-4 aura 100 XNUMX milliards de paramètres, une augmentation significative par rapport au GPT-3.

Interrogé à ce sujet, cependant, le PDG Sam Altman l'a nié dans l'interview ci-dessous.

L'article de DeepMind sur les lois d'échelle peut avoir contribué à ce déplacement de l'accent mis sur la taille des paramètres. L'étude a découvert que le fait d'avoir une taille de paramètre adéquate mais beaucoup plus de données donne des résultats comparables à moindre coût. Par conséquent, avoir de grandes tailles de paramètres n'est pas toujours la meilleure option.

GPT 4 n'a peut-être pas 100 billions de paramètres, mais il en aura sans aucun doute plus que GPT-3. Si le GPT-4 est au GPT-3 comme le GPT-3 l'était au GPT-2, alors attachez votre ceinture car nous allons faire une course folle.

OpenAI a délivré des NDA à toute personne connaissant GPT 4, alimentant de nouvelles spéculations. Certaines des rumeurs pourraient être vraies. Nous sommes certains, cependant, que ce modèle sera fascinant.

Comme certains l'ont découvert en débridant le système, Open AI semble avoir volontairement limité l'accès à Internet pour ChatGPT.

Si la version de chat GPT 4 a accès à Internet, cela améliorera considérablement le modèle et le rendra plus utile.

Actuellement, ChatGPT n'est pas en mesure de fournir des réponses pour les nouvelles après 2021.

GPT 4 sera plus factuel et peut produire des sorties de texte encore plus longues que ChatGPT, vous permettant d'écrire des articles de texte plus longs et d'écrire un code plus précis.

Préparez-vous pour GPT-4, qui prendra très probablement le monde d'assaut de la même manière que ChatGPT, sinon plus.

Nous devrons attendre et voir s'ils résistent à l'épreuve du temps.

OpenAI AGI (Intelligence Artificielle Générale)

Il y a eu beaucoup de spéculations sur l'arrivée d'AGI, et OpenAI prétend y travailler. AGI est la théorie selon laquelle l'IA atteindra un jour des capacités de niveau humain et nous dépassera peut-être.

Open AI craint que si nous ne surveillons pas de près l'IA et, éventuellement, l'AGI, les choses deviendront rapidement incontrôlables.

Compte tenu des faits dont nous disposons actuellement, il est difficile d'exclure la possibilité que des renseignements généraux se produisent dans un proche avenir. AGI est quelque chose sur lequel tout le monde a une perspective légèrement différente. Encore une fois, pour beaucoup d'entre nous, c'est quelque chose de très intuitif. Nous sommes tous des créatures intelligentes.

Nous croyons que nous avons une compréhension de base de ce qu'est l'intelligence. Mais le définir vraiment est une autre affaire. Vous savez que la définition d'OpenAI est celle de systèmes hautement autonomes qui surpassent les humains dans le travail le plus précieux sur le plan économique.

Modèles GPT Derniers mots

En conclusion, les modèles GPT d'OpenAI ont été à la pointe de la recherche et du développement en intelligence artificielle, repoussant les limites de ce qui est possible dans le domaine du traitement et de la génération du langage.

La série de modèles GPT, y compris GPT, GPT-2, GPT-3, InstructGPT, ChatGPT et le futur GPT-4, a le potentiel de révolutionner des secteurs tels que le service client, la création de contenu et la compréhension du langage naturel.

Merci d'avoir pris le temps de lire cet article.