La evolución de los modelos GPT: el impacto de ChatGPT y GPT-4

GPT (Transformador preentrenado generativo)

Los investigadores de OpenAI lanzaron GPT, o Transformador preentrenado generativo, en 2018. Era superior a otros modelos de lenguaje existentes en ese momento para problemas como la comprensión de lectura, el sentido común y el razonamiento.

Ayudó al modelo a comprender oraciones mucho mejor y razonar a través de diferentes ideas.

Por ejemplo, la IA pudo comprender que cuando extravía su teléfono, el resultado más probable es que vaya a buscarlo.

GPT tiene 117 mil millones de parámetros. Los parámetros son simplemente características que un modelo de lenguaje examina para comprender todos los diversos componentes del lenguaje. Son las formas en que las palabras se relacionan entre sí. Cuantas más funciones tenga un sistema, más aprenderá sobre él.

Pero esto puede ser un arma de doble filo en IA, y explicaré por qué en un momento.

GPT-2 (Transformador preentrenado generativo 2)

Solo 8 meses después de que OpenAI lanzara una versión más grande de GPT; GPT-2 con 1.5 millones de parámetros. Era una versión más grande y se entrenó con más de 10 veces los datos, lo cual es un Mejora 10X en solo unos meses.

Podría generar un texto de aspecto más natural. Fue entonces cuando la gente comenzó a darse cuenta del verdadero poder de la serie GPT.

Sin ningún entrenamiento especial, GPT-2 simplemente podría adaptarse a cualquier comando que se le dé. De hecho, OpenAI incluso se refirió a esto como un comportamiento camaleónico.

El modelo era demasiado poderoso en ese momento, y la comunidad de IA quería tenerlo en sus manos. En cambio, OpenAI decidió lanzar primero una versión mucho más pequeña y menos poderosa del modelo.

Esto era parte de su estrategia de lanzamiento, que correspondía a su estatuto. La carta de OpenAI describe los principios de la empresa para garantizar que la IA esté alineada con los objetivos humanos.

OpenAI lanzó gradualmente el modelo para monitorear cómo lo usaba la gente. En su mayoría, estaban preocupados por los usos maliciosos, como la suplantación de identidad y la difusión de noticias falsas.

Alrededor de este tiempo, la empresa comenzó a reestructurarse como una entidad con fines de lucro, restringiendo el acceso total a su modelo más importante.

GPT-3 (Transformador preentrenado generativo 3)

En junio de 2020, OpenAI anunció GPT-3; el modelo de lenguaje más esperado para ese año. Era más grande, más inteligente y más interactivo de lo que habían prometido.

GPT-3 tiene un total de 175 mil millones de parámetros. En comparación, GPT tenía solo 117 2 millones de parámetros, mientras que GPT-1.5 tenía XNUMX millones.

GPT-3 funciona bien en muchos PNL conjuntos de datos, como tareas de traducción, respuesta a preguntas y cloze. También funciona bien en una serie de tareas que requieren razonamiento sobre la marcha o adaptación de dominio, como descifrar palabras, usar una nueva palabra en una oración o hacer matemáticas de 3 dígitos.

Las estadísticas de varios conjuntos de datos utilizados para entrenar el modelo son las siguientes:

• GPT-3 está entrenado con un total de tokens 499B, o 700GB
• Rastreo común con una ponderación del 60 %, contiene diversos datos del rastreo web a lo largo de los años
• WebTexto2 representa el 22 % e incluye el conjunto de datos de los enlaces salientes de Reddit
• Libros1 y Libros2 con una participación combinada del 16%, contienen corpus de libros basados ​​en Internet
• Wikipedia tiene una ponderación del 3 % e incluye datos de páginas de Wikipedia en inglés

Pero como mencioné anteriormente, cuantas más funciones tenga, más aprenderá sobre un sistema. Aunque esto podría ser un arma de doble filo en IA. La razón es que tener demasiadas funciones puede tener un impacto negativo en el modelo. Solo necesitas la cantidad adecuada para no pasarte.

OpenAI estaba preocupado por el uso no autorizado de GPT-3, mantuvo su acceso privado durante un tiempo. Eventualmente lo lanzaron a través de una interfaz API con la que podías interactuar.

Sin embargo, la empresa no puso el código fuente a disposición del público. El código fuente explica cómo se escribió un programa y el razonamiento detrás de su diseño.

Solo puede interactuar con GPT-3 enviando un mensaje de texto a la API, pero no entenderá cómo funciona.

En ese tiempo, OpenAI firmó un acuerdo exclusivo con Microsoft, otorgando a la gigante empresa de tecnología acceso completo a GPT. 3.

InstructGPT (Transformador preentrenado generativo instructivo)

Enero 27, 2022. OpenAI publicó una publicación de blog sobre sus últimas mejoras en la serie GPT llamado InstructGPT.

GPT-3 podía generar texto que era casi indistinguible de la escritura humana, pero había un problema. No podía seguir instrucciones de manera efectiva, que es una función clave de un chatbot.

Cuando le dices a GPT-3 que te explique algo, por ejemplo, devolverá oraciones correctas pero no exactamente lo que quieres.

GPT Instructor mejorado en esto. Esta fue una actualización crítica. La serie GPT ahora era útil y práctica en una amplia gama de aplicaciones. Instruir GPT también fue más veraz y menos tóxico en general. OpenAI logró esto al incorporar comentarios humanos en el proceso de entrenamiento del modelo de IA.

Como resultado, el modelo entendió lo que los humanos esperaban cuando escribían texto. OpenAI pasó de tratar de generar texto sensato en los primeros modelos GPT a sobresalir en él y cambiar su enfoque para hacerlo más útil para las personas.

ChatGPT (Transformador preentrenado generativo de chat)

Ahora es el 30 de noviembre y OpenAI ha sorprendido al mundo una vez más con su último modelo; ChatGPT que la mayoría de ustedes probablemente ya saben lo que es.

Es un modelo de IA que escribe publicaciones de blog, guiones de películas y proporciona sugerencias de videos de YouTube. Puede codificar, escribir historias de juegos y proponer interesantes ideas de diseño de interiores. Esto es solo el comienzo de algo mucho más grande. Ha estado de moda en las últimas semanas.

Chat GPT es similar al modelo Instruct GPT anterior, pero con una ligera diferencia.

Fue particularmente extraño aprender cómo funciona el diálogo humano. Conversa de manera conversacional,

Funciona de manera conversacional, lo que permite que el modelo responda a preguntas de seguimiento, admita errores, cuestione premisas incorrectas e incluso rechace solicitudes inapropiadas.

A continuación se muestra un ejemplo de una respuesta de GPT de Chat.

Como puede ver en comparación con Instruct GPT, el ejemplo de Chat GPT parece más natural y como algo que diría un humano.

Si ha usado Chat GPT anteriormente, probablemente haya notado que a veces se niega a responder ciertas preguntas, e incluso puede pedir aclaraciones para resolver su problema.

Esta es una mejora significativa con respecto a los modelos GPT anteriores.

Limitaciones de ChatGPT

OpenAI todavía está preocupado por el uso malicioso del modelo y ha implementado algunas medidas de seguridad.

La gente descubrió puertas traseras para engañar al modelo para que respondiera preguntas que antes rechazaba, principalmente instruyéndolo para que desempeñe un papel en lugar de su papel real de chatbot.

Por ejemplo, puede engañar fácilmente al modelo sugiriendo formas de fabricar armas destructivas o cómo intimidar a alguien.

Otros han criticado las restricciones de OpenAI, alegando que censuran la información en exceso.

Afirman que el contenido que bloquea OpenAI ya está disponible públicamente en Internet, por lo que los controles adicionales son innecesarios.

Tanto Instruct GPT como ChatGPT se actualizaron internamente a GPT-3.5, mientras que Midway Point se actualizó a su GPT 4 más esperado.

GPT 3.5 contiene más datos que GPT-3. Hay algunas cosas que comienza a notar a medida que avanza en este viaje GPT.

Hasta ahora, parece que aumentar la cantidad de datos hace que los modelos sean más potentes. Durante meses, las modelos se capacitan continuamente. Es como sentarse en un salón de clases y absorber continuamente casi todo Internet.

No sorprende que el modelo se vuelva más y más inteligente con el tiempo. Puede ver por qué todos están entusiasmados con el próximo GPT 4, lo que nos lleva al siguiente punto.

GPT-4

Ha habido mucha especulación sobre qué esperar de GPT 4, que será el más poderoso de los modelos GPT.

Según los rumores, el El modelo GPT-4 tendrá 100 billones de parámetros, un aumento significativo sobre GPT-3.

Sin embargo, cuando se le preguntó al respecto, el CEO Sam Altman lo negó en la entrevista a continuación.

El artículo de DeepMind sobre las leyes de escala puede haber contribuido a este cambio de énfasis en el tamaño del parámetro. El estudio descubrió que tener un tamaño de parámetro adecuado pero muchos más datos produce resultados comparables a un costo menor. Como resultado, tener parámetros de gran tamaño no siempre es la mejor opción.

Es posible que GPT 4 no tenga 100 billones de parámetros, pero sin duda tendrá más que GPT-3. Si GPT-4 es a GPT-3 como GPT-3 fue a GPT-2, entonces abróchese el cinturón porque nos espera un viaje salvaje.

OpenAI emitió NDA a cualquier persona con conocimiento de GPT 4, lo que generó más especulaciones. Algunos de los rumores podrían ser ciertos. Sin embargo, estamos seguros de que este modelo será fascinante.

Como algunos han descubierto al hacer jailbreak al sistema, Open AI parece haber limitado deliberadamente el acceso a Internet para ChatGPT.

Si la versión de chat de GPT 4 tiene acceso a Internet, mejorará enormemente el modelo y lo hará más útil.

Actualmente, ChatGPT no puede proporcionar respuestas para ninguna noticia posterior a 2021.

GPT 4 será más factual y puede producir salidas de texto incluso más largas que ChatGPT, lo que le permitirá escribir artículos de texto más largos y escribir código más preciso.

Prepárese para GPT-4, que probablemente conquistará el mundo de la misma manera que lo hizo ChatGPT, si no más.

Tendremos que esperar y ver si resisten la prueba del tiempo.

OpenAI AGI (Inteligencia Artificial General)

Se ha especulado mucho sobre la llegada de AGI y OpenAI afirma estar trabajando en ello. AGI es la teoría de que la IA algún día logrará habilidades de nivel humano y posiblemente nos supere.

A Open AI le preocupa que si no monitoreamos de cerca la IA y, eventualmente, la AGI, las cosas rápidamente se saldrán de control.

Dados los hechos que tenemos en este momento, es difícil descartar la posibilidad de que ocurra una inteligencia general en un futuro cercano. AGI es algo sobre lo que todos tienen una perspectiva ligeramente diferente. Nuevamente, para muchos de nosotros, es algo muy intuitivo. Todos somos criaturas inteligentes.

Creemos que tenemos una comprensión básica de lo que es la inteligencia. Pero realmente definirlo es otro asunto. Usted es consciente de que la definición de OpenAI es sistemas altamente autónomos que superan a los humanos en el trabajo económicamente más valioso.

Modelos GPT Palabras finales

En conclusión, los modelos GPT de OpenAI han estado a la vanguardia de la investigación y el desarrollo de la inteligencia artificial, superando los límites de lo que es posible en el campo del procesamiento y la generación del lenguaje.

La serie de modelos GPT, incluidos GPT, GPT-2, GPT-3, InstructGPT, ChatGPT y el próximo GPT-4, tienen el potencial de revolucionar industrias como la atención al cliente, la creación de contenido y la comprensión del lenguaje natural.

Gracias por tomarse el tiempo de leer este artículo.