A IA já está estagnando? Novos relatórios sugerem que o GPT-5 pode estar com problemas

O modelo Orion de próxima geração do ChatGPT da OpenAI, que há rumores e negação de chegar até o final do ano, pode não ser tudo o que se espera quando chegar, de acordo com um novo relatório da The Information .

Citando funcionários anônimos da OpenAI, o relatório afirma que o modelo Orion mostrou uma melhoria “muito menor” em relação ao seu antecessor GPT-4 do que o GPT-4 mostrou em relação ao GPT-3 . Essas fontes também observam que o Orion “não é confiávelmente melhor que seu antecessor [GPT-4] no tratamento de certas tarefas”, especificamente na codificação de aplicativos, embora o novo modelo seja notavelmente mais forte em recursos de linguagem geral, como resumir documentos ou gerar e-mails .

O relatório da Information cita uma “oferta cada vez menor de textos e outros dados de alta qualidade” sobre os quais treinar novos modelos como um fator importante nos ganhos insubstanciais do novo modelo. Em suma, a indústria da IA ​​está rapidamente a deparar-se com um estrangulamento de dados de formação, já tendo eliminado as fontes fáceis de dados de redes sociais de sites como X, Facebook e YouTube (este último em duas ocasiões diferentes ). tendo dificuldade em encontrar os tipos de desafios complicados de codificação que ajudarão a avançar seus modelos além de suas capacidades atuais, retardando seu treinamento de pré-lançamento.

Essa redução da eficiência do treinamento tem enormes implicações ecológicas e comerciais. À medida que os LLMs de classe fronteiriça crescem e aumentam ainda mais a sua contagem de parâmetros para os elevados biliões, espera-se que a quantidade de energia, água e outros recursos aumente seis vezes na próxima década . É por isso que estamos vendo a Microsoft tentar reiniciar Three Mile Island , a AWS comprar uma usina de 960 MW e o Google comprar a produção de sete reatores nucleares, tudo para fornecer a energia necessária para sua crescente variedade de data centers de IA – os atuais centros de dados de IA do país. a infra-estrutura energética simplesmente não consegue acompanhar.

Em resposta, como relata o TechCrunch , a OpenAI criou uma “equipe de fundações” para contornar a falta de dados de treinamento apropriados. Essas técnicas podem envolver o uso de dados de treinamento sintéticos, como os que a família de modelos Nemotron da Nvidia pode gerar. A equipe também busca melhorar o desempenho do modelo pós-treinamento.

Orion, que foi originalmente pensado para ser o codinome do GPT-5 da OpenAI, agora deve chegar em algum momento de 2025. Se teremos energia disponível suficiente para vê-lo em ação, sem sobrecarregar nossas redes elétricas municipais, resta ver.