O próximo modelo de IA da Meta exigirá quase 10 vezes mais potência para treinar

A empresa-mãe do Facebook, Meta, continuará a investir pesadamente em seus esforços de pesquisa de inteligência artificial , apesar de esperar que a tecnologia nascente exija anos de trabalho antes de se tornar lucrativa, explicaram os executivos da empresa na teleconferência de resultados do segundo trimestre da empresa na quarta-feira.

A Meta está “planejando os clusters de computação e os dados que precisaremos nos próximos anos”, disse o CEO Mark Zuckerberg na teleconferência. Meta precisará de uma “quantidade de computação… quase 10 vezes mais do que usamos para treinar o Llama 3”, disse ele, acrescentando que o Llama 4 “será o [modelo] mais avançado da indústria no próximo ano”. Para referência, o modelo Llama 3 foi treinado em um cluster de 16.384 GPUs Nvidia H100 de 80 GB .

A empresa conhece bem a emissão de cheques para projetos ambiciosos de pesquisa e desenvolvimento. As finanças do segundo trimestre da Meta mostram que a empresa espera gastar entre US$ 37 bilhões e US$ 40 bilhões em despesas de capital em 2024, e os executivos esperam um aumento “significativo” nesses gastos no próximo ano. “É difícil prever como isso afetará as múltiplas gerações no futuro”, observou Zuckerberg. “Mas neste momento, prefiro arriscar a construção de capacidade antes que seja necessária, em vez de tarde demais, dados os longos prazos para desenvolver novos projetos de inferência.”

E não é como se Meta não tivesse dinheiro para gastar. Com cerca de 3,27 bilhões de pessoas usando pelo menos um aplicativo Meta diariamente, a empresa obteve pouco mais de US$ 39 bilhões em receita no segundo trimestre, um aumento de 22% em relação ao ano anterior. Com isso, a empresa obteve cerca de US$ 13,5 bilhões em lucro, um aumento de 73% ano a ano.

Mas só porque a Meta está lucrando não significa que seus esforços de IA sejam lucrativos. A CFO Susan Li admitiu que a sua IA generativa não gerará receitas este ano e reiterou que as receitas provenientes desses investimentos “virão durante um período de tempo mais longo”. Ainda assim, a empresa “continua a construir a nossa infraestrutura de IA tendo em mente a fungibilidade, para que possamos flexibilizar a capacidade onde pensamos que será melhor utilizada”.

Li também observou que os clusters de treinamento existentes podem ser facilmente retrabalhados para realizar tarefas de inferência, que deverão constituir a maior parte da demanda computacional à medida que a tecnologia amadurece e mais pessoas começam a usar esses modelos diariamente.

“À medida que dimensionamos a capacidade de treinamento generativo em IA para aprimorar nossos modelos básicos, continuaremos a construir nossa infraestrutura de uma forma que nos proporcione flexibilidade na forma como a utilizamos ao longo do tempo. Isso nos permitirá direcionar a capacidade de treinamento para a inferência de geração de IA ou para nosso trabalho principal de classificação e recomendação, quando esperamos que isso seja mais valioso”, disse ela durante a teleconferência de resultados.