Você não vai acreditar quanto custa para operar o ChatGPT

Um novo relatório afirma saber quanto custa a execução do ChatGPT por dia, incluindo quanto cada consulta custa aproximadamente. O popular chatbot de conversão de texto em fala pode ter desencadeado uma revolução de IA em novembro de 2022, mas provou ser extremamente caro de manter.

O novo relatório vem de Dylan Patel, analista-chefe da empresa de pesquisa SemiAnalysis , que diz que custa aproximadamente US$ 700.000 por dia, ou 36 centavos por consulta, para manter o chatbot funcionando.

Na verdade, é tão caro que a Microsoft pode estar desenvolvendo seus próprios chips de IA proprietários para auxiliar na manutenção da operação do ChatGPT da OpenAI, de acordo com o Windows Central .

Além de atingir rapidamente 100 milhões de usuários ativos em janeiro, um feito que antes levava anos para as marcas de tecnologia, o ChatGPT tem lutado com alto tráfego e problemas de capacidade, diminuindo a velocidade e travando seus servidores. A empresa tentou remediar isso introduzindo um nível pago do ChatGPT Plus , que custa US$ 20 por mês, no entanto, não há informações sobre quantos usuários assinam a opção paga.

Atualmente, a OpenAI usa GPUs Nvidia para manter não apenas seus próprios processos ChatGPT, mas também os das marcas com as quais faz parceria. Analistas do setor esperam que a empresa provavelmente exija 30.000 GPUs adicionais da Nvidia para manter seu desempenho comercial apenas até o final de 2023.

Com a Microsoft como um de seus principais colaboradores e investidores , a OpenAI pode estar olhando para a marca de tecnologia para ajudar no desenvolvimento de hardware para reduzir o custo de operações do ChatGPT. De acordo com o Windows Central, a Microsoft já tem esse chip AI em andamento. Com o codinome Athena, ele está sendo testado internamente com equipes próprias da marca. Espera-se que o chip seja introduzido no próximo ano para os serviços de IA do Azure da Microsoft.

Não há nenhuma palavra sobre como ou quando o chip chegará ao OpenAI e ChatGPT, mas a suposição é que sim. A conexão vem do fato de que o ChatGPT é suportado pelos serviços do Azure. O chip AI pode não substituir totalmente as GPUs da Nvidia, mas pode ajudar a diminuir a demanda pelo hardware, reduzindo assim o custo de execução do ChatGPT, acrescentou o Windows Central.