O que pode parar o ChatGPT?

Segundo um ex-engenheiro da OpenAI (dona do ChatGPT), a evolução do GPT-2 para o GPT-4 é semelhante a uma criança na pré-escola comparada a um estudante muito inteligente do Ensino Médio.

Isso em apenas 4 anos.

A expectativa é que a gente veja um salto semelhante entre o momento que estamos vivendo, e 2027.

Em 2027 a expectativa é que os modelos existentes sejam capazes de fazer o trabalho de um engenheiro de inteligência artificial.

Ou seja, daqui menos de 3 anos, vamos olhar para a versão atual do ChatGPT, da mesma forma que hoje olhamos para o GPT 2.

O GPT-4 nada mais é do que uma década de forte e consistente progresso em deep learning.

Há 10 anos, os modelos existentes mal conseguiam identificar imagens simples de gatos e cachorros. Ou mesmo formar frases coerentes.

E tem um ponto aqui que é relevante você saber: como grande parte das tecnologias, mesmo com o aumento de performance, o custo da ferramenta diminui com o passar dos anos.

Os custos da API do GPT-4 são os mesmos custos do GPT-3. Mesmo performando bem mais.

O Gemini 1.5 (versão do google), chega a custar 60x menos que o GPT-4. Com uma performance semelhante a um GPT-4.

Mas um detalhe que pode parar todo esse avanço: já não temos mais tantos dados assim na internet para treinar esses modelos.

Eu também fiquei chocado quando descobri isso. Existem estudos que mostram que o Llama 3 (versão da Meta/Facebook) basicamente já usou todos os dados da internet. E olha que eles acabaram de lançar o Llama 3.1, que potencialmente tem performance superior ao ChatGPT.

Uma solução seria repetir os dados. Podemos pegar e treinar esses modelos com todos os dados existentes na internet mais uma vez. Mas alguns estudos já mostram que depois de algumas repetições, os retornos diminuem rapidamente.

Isso é um grande problema porque os dados são basicamente o alimento desses modelos de inteligência artificial.

Com escassez de alimentos, você não progride. E sem progresso, você não consegue retornar o investimento.

E o retorno para um investimento de capital massivo em AI, precisa acontecer. As empresas precisam transformar todo esse investimento em receita para a empresa.

Essa situação já tem até nome: “AI $600B Question”, ou seja, seria necessário 600 bilhões de dólares em receita por meio dessas empresas, para equilibrar as contas.

Então com certeza as empresas que entenderem como lidar com esse problema de “falta de dados na internet”, vai sair na frente. Possivelmente esses são os estudos mais ocultos hoje em dia.

Nos módulos finais do Tech for PMs, falamos sobre deep learning. Para nós PMs, o mais importante é entender como tudo isso funciona, a necessidade de retorno financeiro por meio das empresas, e possíveis desdobramentos nos produtos que somos responsáveis.

Se você quer aprofundar mais, me procura no LinkedIn (Giampaolo Lepore), que te passo o material que estou estudando. Comece pesquisando por “Situational Awareness” do Leopold Aschenbrenner, que foi a base desse texto.