GPT-4o toca “Black Myth Wukong”! AI “Ma Men” pode controlar o Boss, com uma taxa de vitórias sobre-humana
O jogo "Black Myth: Wukong" é apenas um monstro?
Confesso que quando meu amigo me questionou assim, naquele momento, quebrei a guarda.
Levei apenas menos de meio dia desde a percepção de que Yang Jian deve ser capturado até a morte do Tiger Vanguard. Se quisermos limpar o “Mito Negro”, podemos contar com a IA?
Role e desvie, mantenha distância e tenha uma visão clara dos movimentos do monstro.
Quando chegou a hora, o homem do destino de repente balançou sua pesada vara.
Com a ajuda do poder da IA, um conjunto de combos sedosos foi executado e o chefe foi derrotado sem capacidade de revidar. Não sei quantos jogadores estão chorando.
A equipe de pesquisa do Alibaba propôs recentemente uma estrutura de agente VARP. E este "cavalo" de IA foi feito por eles.
Pode-se dizer que não é um plug-in, mas é melhor que um plug-in.
Os GPTs que enfrentaram o Grande Sábio não eram piores que os humanos.
A IA enfrentando o Grande Sábio não é tão complicada.
Tradicionalmente, a IA de jogos depende de APIs de jogos para obter informações ambientais e dados de ações executáveis. Mas o problema é que nem todo jogo está disposto a fornecer uma API aberta, ou mesmo que seja fornecida, algumas APIs carecem de braços e pernas, dificultando o atendimento às necessidades reais.
Além disso, os métodos tradicionais sempre parecem que falta algo e não conseguem simular totalmente a experiência real de jogo dos jogadores humanos.
Com base nisso, a equipe de pesquisa do Alibaba propôs uma nova estrutura de agente VARP (Vision Action Role-Playing).
Depois de receber capturas de tela do jogo de entrada, a estrutura do agente VARP realiza inferência usando um conjunto de VLMs e, finalmente, gera código em formato Python para controlar o personagem do jogo, incluindo uma combinação de uma série de comandos atômicos, como ataque leve, evitação, ataque pesado e recuperação da saúde espere.
O VARP contém três bases de conhecimento: base de situação, base de ação e base de orientação humana, e dois sistemas: sistema de planejamento de ação e sistema de trajetória de orientação humana.
Simplificando, o sistema de planejamento de ações equivale a um bibliotecário, responsável por encontrar os materiais mais apropriados na biblioteca de situações e na biblioteca de ações atualizável.
Com base nas capturas de tela do jogo de entrada, o sistema seleciona ou gera ações que se adequam à situação atual e, em seguida, essas ações e situações são armazenadas ou atualizadas nessas duas bibliotecas.
O sistema de trajetória guiada por humanos usa conjuntos de dados de operação humana para melhorar o desempenho do VARP em tarefas complexas, como tarefas de localização de caminhos e tarefas de combate difíceis.
Na biblioteca de ações, "def new_func_a()" representa uma nova ação gerada pelo sistema de planejamento de ações, e "def new_func_h()" representa uma nova ação gerada pelo sistema de trajetória guiada por humanos. "def pre_func()" representa uma ação predefinida.
No jogo "Black Myth Wukong" mencionado acima, a equipe de pesquisa definiu 12 tarefas, 75% das quais envolveram combate, e realizou testes de benchmark usando VLMs, incluindo GPT-4o, Claude 3.5 Sonnet e Gemini 1.5 pro.
Os resultados mostram que o VARP tem uma taxa de vitória de até 90% em tarefas básicas e batalhas de dificuldade simples a média. No entanto, quando confrontado com tarefas difíceis, o desempenho do VARP cai facilmente e seu nível geral ainda não é tão bom quanto o dos jogadores humanos.
Além disso, quando o agente VARP processa decisões no jogo, ele não pode analisar cada quadro do jogo (ou seja, a tela do jogo) em tempo real porque depende da velocidade de inferência do modelo de linguagem visual (VLM).
Em outras palavras, ele não pode reagir a tudo que acontece na tela quase instantaneamente como um jogador humano faz. Em vez disso, ele só pode processar a filmagem do jogo a cada poucos segundos, selecionando alguns quadros importantes (quadros-chave) para análise e tomada de decisão.
Quando "Black Myth: Wukong" foi lançado, foi criticado por não ter um mapa claro e um grande número de "paredes aéreas". Portanto, sem a ajuda dos pesquisadores, a IA seria como uma mosca sem cabeça incapaz de encontrar. o chefe.
A IA generativa acendeu o fogo da mudança mundial e, antes de entrar na consciência pública, o vínculo mais intuitivo das pessoas comuns com a IA pode ter se originado principalmente dos jogos.
A IA é muito mais importante na história dos videogames do que pensávamos
Muitas pessoas podem não ter pensado que um dos primeiros jogos a entrar no trem da IA seria o clássico jogo de arcade “Pac-Man”.
O pré-requisito para a vitória do jogador é comer todos os feijões do labirinto, e os fantasmas coloridos aparentemente bobos têm algoritmos de perseguição diferentes e perseguirão o jogador de diferentes maneiras e caminhos.
Os movimentos do algoritmo de cada fantasma são extremamente simples e não possuem qualquer capacidade de aprendizagem. Uma vez que o jogador entenda essas regras, a dificuldade do jogo irá despencar.
“Metal Gear Solid”, lançado em 1987, marcou outro marco importante na IA dos jogos.
Os personagens de IA do jogo começaram a exibir padrões de comportamento mais complexos e, pela primeira vez, foi introduzido um mecanismo de resposta hostil aos jogadores. Neste jogo, se o jogador for descoberto pelo inimigo, o inimigo irá acionar o sistema de alarme, pedir reforços, alterar rotas de patrulha e até montar armadilhas.
Mais tarde, se o processo de desenvolvimento de IA e jogos for brevemente listado em uma série de eventos marcantes, será aproximadamente o seguinte:
- Em 1997, o "Deep Blue" da IBM derrotou o campeão mundial humano em uma partida de xadrez, marcando um grande avanço para a IA em jogos de xadrez.
- Em 2004, foi lançado "Half-Life 2". Os personagens de IA do jogo foram capazes de tomar decisões e interações mais complexas, melhorando a imersão do jogo.
- Em 2011, o "Watson" da IBM derrotou o campeão humano no programa de perguntas e respostas "Jeopardy!", demonstrando o progresso da IA no processamento de linguagem natural e no raciocínio do conhecimento.
- Em 2016, AlphaGo derrotou Lee Sedol no jogo Go, marcando um grande avanço para a IA em jogos de estratégia complexos.
- Em 2018, foi lançado "Red Dead Redemption 2". O nível de interação entre os personagens de IA do jogo e o ambiente foi bastante melhorado, proporcionando uma experiência de jogo altamente realista.
- Em 2020, a NVIDIA lançou a tecnologia DLSS, que usa IA para acelerar a renderização gráfica e melhorar o desempenho dos jogos e a qualidade da imagem.
Olhando para o ambiente de jogo atual, o jogo ainda foca no companheirismo, e a IA é como um amplificador, amplificando esse companheirismo inúmeras vezes.
Na CES deste ano, a Nvidia usou o Avatar Cloud Engine (ACE) para tornar os NPCs de jogos “vivos” e se tornou popular na indústria.
Em uma demonstração chamada Kairos, os jogadores puderam interagir com Jin, dono de uma loja de ramen. Embora Jin seja apenas um NPC, ele responde a perguntas como uma pessoa real com a ajuda de IA generativa.
A combinação de IA e jogos sempre foi uma combinação de amor e ódio.
Tomemos como exemplo os jogos competitivos. No passado, o método era apenas ajustar a dificuldade de forma rígida, mas agora é imitar as operações humanas para tornar a experiência de jogo mais realista.
Os defensores acreditam que quando a IA de simulação humana se torna um oponente ou companheiro de equipe, ela pode, por sua vez, melhorar a sensação competitiva do jogo devido à falta de jogadores reais.
Esta também é a desvantagem. A taxa de retenção dos jogadores foi melhorada, mas sob o controle do sistema, os jogadores não podem escapar do vórtice de serem manipulados pela IA.
Na fase inicial houve palavras ousadas, na fase intermediária houve bobagens e na fase posterior houve silêncio.
Quando ficamos acordados a noite toda só para ganhar outro jogo, é difícil dizer se estamos jogando ou se o jogo está jogando contra nós. Especialmente quando você percebe que seus companheiros de equipe podem ser IA, a sensação de impotência é como um punho batendo em algodão.
Meu coração estava mole e sem foco.
Velho Profeta Huang! Os jogos futuros serão gerados por IA?
Até mesmo um novato em codificação pode usar IA para jogar.
Há alguns anos, isto provavelmente teria sido algo que só poderia ser imaginado em sonhos, mas a chegada da IA generativa deu a todo este espaço real para implementação.
Em menor escala, é como criar um GPT e contar histórias. Em maior escala, é um pequeno jogo de programa gerado com assistência de IA. Embora a interatividade não seja tão interessante, é melhor do que os belos e ricos gráficos.
Indo um passo adiante, até mesmo jogos de nível de obra-prima 3A poderão ser gerados diretamente por meio da renderização de IA no futuro.
No ano passado, o fundador da Nvidia, Jensen Huang, previu que cada pixel dos jogos futuros seria gerado em vez de renderizado. Quando isto foi dito na altura, todos ainda podiam estar hesitantes, mas agora, cada vez mais resultados de investigação têm encontrado a possibilidade desta implementação.
Normalmente, pode levar uma semana para criar um ambiente para um jogo pequeno e mais tempo para um projeto de estúdio, dependendo da complexidade do design.
No mês passado, o Google DeepMind anunciou seu primeiro “mecanismo de jogo de IA” GameNGen.
Ele pode simular o clássico jogo de tiro “Doom” em tempo real a uma velocidade de mais de 20 quadros por segundo em um único chip TPU. Funciona usando um modelo de difusão para prever cada quadro em tempo real, o que significa que cada momento do jogo é gerado em tempo real com base nas complexas interações das ações do jogador e do ambiente.
Naquela época, Jim Fan, cientista sênior da NVIDIA, não pôde deixar de suspirar que "Doom", que estava sendo executado descontroladamente por hackers em vários lugares, foi na verdade implementado em um modelo de difusão pura, e cada pixel foi gerado.
Mais tarde, resultados mais semelhantes estão surgindo.
Não muito tempo atrás, a Tencent também deu um grande passo e lançou um grande modelo específico para jogos de mundo aberto AAA – GameGen-O.
GameGen-O não é simples, ele pode simular personagens, ambientes dinâmicos e ações complexas em vários jogos AAA, como "The Witcher 3", "Cyberpunk 2077", "Assassin's Creed" e "Black Myth: Wukong", para gerar. A qualidade das cenas do jogo também é muito alta.
Para construir o conjunto de dados, a Tencent, que gastou muito dinheiro, coletou mais de 32.000 vídeos de jogos, cada vídeo durando apenas alguns minutos ou algumas horas, e então selecionou 15.000 vídeos disponíveis por meio de dados manuais anotação.
Esses vídeos selecionados são cortados em segmentos por meio de detecção de cena e, em seguida, rigorosamente classificados e filtrados com base na estética, análise de fluxo óptico e conteúdo semântico.
A Electronic Arts, uma desenvolvedora de jogos americana, mostrou recentemente à indústria um futuro brilhante para a IA no desenvolvimento de jogos por meio de um vídeo “Da imaginação à criação”.
No vídeo, os jogadores podem usar ferramentas de IA para criar cenas de jogos, personagens e outros conteúdos com apenas instruções simples.
O CEO Andrew Wilson disse que a IA generativa pode melhorar mais da metade dos processos de desenvolvimento da empresa no futuro e espera-se que projete e crie mundos de jogos maiores e mais envolventes dentro de três a cinco anos.
A IA pode não apenas melhorar a eficiência do desenvolvimento de jogos existentes, mas também criar potencialmente novas experiências de jogo.
Talvez você diga que não importa qual tecnologia avançada seja usada no jogo, em última análise, a diversão é rei.
Mas com o GTA 6 adiado repetidamente e sem deixar rastros, também podemos ter a ideia de fazer isso nós mesmos e ter comida e roupas suficientes.
Afinal, seria muito bom se eu pudesse criar pessoalmente uma “Cidade do Pecado” no futuro.
# Bem-vindo a seguir a conta pública oficial do WeChat do aifaner: aifaner (WeChat ID: ifanr). Mais conteúdo interessante será fornecido a você o mais rápido possível.
