A evolução dos modelos GPT: o impacto do ChatGPT e GPT-4

GPT (Transformador pré-treinado generativo)

Os pesquisadores da OpenAI lançaram o GPT, ou transformador pré-treinado generativo, em 2018. Ele era superior a outros modelos de linguagem existentes na época para problemas como compreensão de leitura, bom senso e raciocínio.

Isso ajudou o modelo a entender as frases muito melhor e a raciocinar por meio de ideias diferentes.

Por exemplo, a IA foi capaz de entender quando você perde seu telefone, o resultado mais provável é que você o procure.

GPT tem 117 bilhões de parâmetros. Parâmetros são simplesmente características que um modelo de linguagem examina para compreender todos os vários componentes da linguagem. São as maneiras pelas quais as palavras se relacionam umas com as outras. Quanto mais recursos um sistema tiver, mais você aprenderá sobre ele.

Mas isso pode ser uma faca de dois gumes na IA, e explicarei o porquê daqui a pouco.

GPT-2 (Transformador Gerativo Pré-treinado 2)

Apenas 8 meses após a OpenAI lançar uma versão maior do GPT; GPT-2 com 1.5 bilhão de parâmetros. Era uma versão maior e treinada com mais de 10 vezes os dados, o que é um Melhoria de 10 vezes em apenas alguns meses.

Poderia gerar um texto com aparência mais natural. Foi quando as pessoas começaram a perceber o verdadeiro poder da série GPT.

Sem nenhum treinamento especial, o GPT-2 poderia simplesmente se adaptar a qualquer comando que lhe fosse dado. Na verdade, isso foi chamado de comportamento camaleônico pela OpenAI.

O modelo era muito poderoso na época, e a comunidade de IA queria colocar as mãos nele. Em vez disso, a OpenAI decidiu lançar primeiro uma versão muito menor e menos poderosa do modelo.

Isso fazia parte de sua estratégia de lançamento, que correspondia à sua carta. O estatuto da OpenAI descreve os princípios da empresa para garantir que a IA esteja alinhada com os objetivos humanos.

A OpenAI liberou gradualmente o modelo para monitorar como as pessoas o usavam. Eles estavam principalmente preocupados com usos maliciosos, como falsificação de identidade e disseminação de notícias falsas.

Nessa época, a empresa começou a se reestruturar como uma entidade com fins lucrativos, restringindo o acesso total ao seu modelo mais importante.

GPT-3 (Transformador Gerativo Pré-treinado 3)

Em junho de 2020, a OpenAI anunciou o GPT-3; o modelo de linguagem mais esperado para aquele ano. Era maior, mais inteligente e mais interativo do que haviam prometido.

GPT-3 tem um total de 175 bilhões de parâmetros. Em comparação, o GPT tinha apenas 117 bilhões de parâmetros, enquanto o GPT-2 tinha 1.5 bilhão.

GPT-3 funciona bem em muitos PNL conjuntos de dados, como tradução, resposta a perguntas e tarefas de fechamento. Ele também se sai bem em uma série de tarefas que exigem raciocínio dinâmico ou adaptação de domínio, como desembaralhar palavras, usar uma nova palavra em uma frase ou fazer cálculos de 3 dígitos.

As estatísticas de vários conjuntos de dados usados ​​para treinar o modelo são as seguintes:

• GPT-3 é treinado com um total de tokens 499B, ou 700GB
• Rastreio comum ponderado 60%, contém diversos dados de rastreamento da web ao longo dos anos
• WebText2 responde por 22% e inclui o conjunto de dados de links externos do Reddit
• Livros1 e Livros2 com uma participação combinada de 16%, contêm corpora de livros baseados na Internet
• Wikipedia é ponderado 3% e inclui dados de páginas da Wikipedia em inglês

Mas, como mencionei anteriormente, quanto mais recursos você tiver, mais aprenderá sobre um sistema. Embora isso possa ser uma faca de dois gumes na IA. O motivo é que ter muitos recursos pode ter um impacto negativo no modelo. Você só precisa da quantidade certa para evitar exageros.

A OpenAI, preocupada com o uso não autorizado do GPT-3, manteve seu acesso privado por um tempo. Eles finalmente o lançaram por meio de uma interface de API com a qual você poderia interagir.

No entanto, a empresa não disponibilizou o código-fonte ao público. O código-fonte explica como um programa foi escrito e o raciocínio por trás de seu design.

Você só pode interagir com o GPT-3 enviando um texto para a API, mas não entenderá como funciona.

Naquela hora, A OpenAI assinou um contrato de exclusividade com a Microsoft, concedendo à gigantesca empresa de tecnologia acesso completo ao GPT. 3.

InstructGPT (Transformador Gerativo Pré-treinado Instrucional)

Janeiro 27, 2022. A OpenAI publicou uma postagem no blog sobre suas últimas melhorias na série GPT chamado InstructGPT.

O GPT-3 podia gerar texto quase indistinguível da escrita humana, mas havia um problema. Ele não conseguia seguir as instruções de maneira eficaz, o que é uma função fundamental de um chatbot.

Quando você diz ao GPT-3 para explicar algo para você, por exemplo, ele retorna frases corretas, mas não exatamente o que você deseja.

O GPT Instruct melhorou nisso. Esta foi uma atualização crítica. A série GPT agora era útil e prática em uma ampla gama de aplicações. O Instruct GPT também foi mais verdadeiro e menos tóxico em geral. A OpenAI conseguiu isso incorporando o feedback humano no processo de treinamento do modelo de IA.

Como resultado, o modelo entendeu o que os humanos esperavam quando digitavam um texto. A OpenAI evoluiu de tentar gerar texto sensato nos primeiros modelos GPT para se destacar e mudar seu foco para torná-lo mais útil para as pessoas.

ChatGPT (Transformador pré-treinado gerador de bate-papo)

Agora é 30 de novembro e a OpenAI chocou o mundo mais uma vez com seu modelo mais recente; GPT-chat que a maioria de vocês provavelmente já sabe o que é.

É um modelo de IA que escreve postagens de blog, roteiros de filmes e fornece sugestões de vídeos do YouTube. Ele pode codificar, escrever histórias de jogos e apresentar ideias interessantes de design de interiores. Este é apenas o começo de algo muito maior. Tem sido a última moda nas últimas semanas.

O Chat GPT é semelhante ao modelo Instruct GPT anterior, mas com uma pequena diferença.

Foi particularmente estranho aprender como funciona o diálogo humano. Ele conversa de maneira coloquial,

Ele funciona de maneira conversacional, permitindo que o modelo responda a perguntas de acompanhamento, admita erros, conteste premissas incorretas e até mesmo rejeite solicitações inapropriadas.

Um exemplo de resposta GPT de bate-papo é mostrado abaixo.

Como você pode ver quando comparado ao Instruct GPT, o exemplo do Chat GPT parece mais natural e como algo que um humano diria.

Se você já usou o Chat GPT, provavelmente já percebeu que ele às vezes se recusa a responder algumas perguntas, podendo até pedir esclarecimentos para resolver o seu problema.

Esta é uma melhoria significativa em relação aos modelos GPT anteriores.

Limitações do ChatGPT

A OpenAI ainda está preocupada com o uso malicioso do modelo e implementou algumas salvaguardas.

As pessoas descobriram portas dos fundos para induzir o modelo a responder a perguntas que ele recusou anteriormente, principalmente instruindo o modelo a desempenhar um papel em vez de seu papel real de chatbot.

Por exemplo, você pode facilmente enganar o modelo sugerindo maneiras de fazer armas destrutivas ou como intimidar alguém.

Outros criticaram as restrições do OpenAI, alegando que eles censuram informações excessivamente.

Eles alegam que o conteúdo que o OpenAI bloqueia já está disponível publicamente na internet, portanto controles adicionais são desnecessários.

Ambos Instruct GPT e ChatGPT foram atualizados internamente para GPT-3.5, enquanto o Midway Point foi atualizado para o GPT 4 mais esperado.

O GPT 3.5 contém mais dados do que o GPT-3. Há algumas coisas que você começa a notar à medida que avança nesta jornada GPT.

Até agora, parece que aumentar a quantidade de dados torna os modelos mais poderosos. Durante meses, os modelos são continuamente treinados. É como sentar em uma sala de aula e absorver continuamente quase toda a internet.

Não é surpresa que o modelo fique cada vez mais inteligente com o tempo. Você pode ver por que todos estão entusiasmados com o próximo GPT 4, que nos leva ao próximo ponto.

GPT-4

Tem havido muita especulação sobre o que esperar do GPT 4, que será o mais poderoso dos modelos GPT.

Segundo rumores, o Modelo GPT-4 terá 100 trilhões de parâmetros, um aumento significativo sobre GPT-3.

Quando questionado sobre isso, no entanto, o CEO Sam Altman negou na entrevista abaixo.

O artigo da DeepMind sobre leis de escala pode ter contribuído para essa mudança na ênfase do tamanho do parâmetro. O estudo descobriu que ter um tamanho de parâmetro adequado, mas muito mais dados, produz resultados comparáveis ​​a um custo menor. Como resultado, ter grandes tamanhos de parâmetros nem sempre é a melhor opção.

O GPT 4 pode não ter 100 trilhões de parâmetros, mas sem dúvida terá mais do que o GPT-3. Se o GPT-4 está para o GPT-3 como o GPT-3 estava para o GPT-2, então aperte o cinto porque estamos em um passeio selvagem.

A OpenAI emitiu NDAs para qualquer pessoa com conhecimento do GPT 4, alimentando mais especulações. Alguns dos rumores podem ser verdadeiros. Temos certeza, porém, de que este modelo será fascinante.

Como alguns descobriram ao fazer o jailbreak do sistema, o Open AI parece ter limitado propositalmente o acesso à Internet para o ChatGPT.

Se a versão de bate-papo GPT 4 tiver acesso à Internet, ela melhorará muito o modelo e o tornará mais útil.

Atualmente, o ChatGPT não pode fornecer respostas para nenhuma notícia após 2021.

O GPT 4 será mais factual e pode produzir saídas de texto ainda mais longas do que o ChatGPT, permitindo que você escreva artigos de texto mais longos e escreva um código mais preciso.

Prepare-se para o GPT-4, que provavelmente conquistará o mundo da mesma forma que o ChatGPT, se não mais.

Teremos que esperar e ver se eles resistem ao teste do tempo.

OpenAI AGI (Inteligência Artificial Geral)

Tem havido muita especulação sobre a chegada do AGI, e a OpenAI afirma estar trabalhando nisso. AGI é a teoria de que a IA um dia alcançará habilidades de nível humano e possivelmente nos superará.

A Open AI está preocupada com o fato de que, se não monitorarmos de perto a AI e, eventualmente, a AGI, as coisas rapidamente sairão do controle.

Dados os fatos que temos agora, é difícil descartar a possibilidade de ocorrência de inteligência geral em um futuro próximo. AGI é algo sobre o qual todos têm uma perspectiva ligeiramente diferente. Novamente, para muitos de nós, é uma coisa muito intuitiva. Somos todos criaturas inteligentes.

Acreditamos ter uma compreensão básica do que é inteligência. Mas defini-lo realmente é outra questão. Você está ciente de que a definição OpenAI é sistemas altamente autônomos que superam os humanos no trabalho economicamente mais valioso.

Palavras Finais dos Modelos GPT

Em conclusão, os modelos GPT da OpenAI têm estado na vanguarda da pesquisa e desenvolvimento de inteligência artificial, ampliando os limites do que é possível no campo de processamento e geração de linguagem.

A série de modelos GPT, incluindo GPT, GPT-2, GPT-3, InstructGPT, ChatGPT e o próximo GPT-4, tem o potencial de revolucionar setores como atendimento ao cliente, criação de conteúdo e compreensão de linguagem natural.

Obrigado por reservar um tempo para ler este artigo.