Os desenvolvedores do Gran Turismo Sophy explicam como ele ensinou uma conduta esportiva a um piloto de IA

Como o primeiro lançamento público significativo da tecnologia da Sony AI , formada em 2020, o próximo modo Gran Turismo Sophy Race Together para o Gran Turismo 7 será a primeira exposição de muitos jogadores à complexa tecnologia AI que pode ter um impacto duradouro em muitos dos Jogos da Sony Interactive Entertainment. Assim, se a IA é rude, injusta e imbatível para muitos jogadores, o GT Sophy pode ser visto como mais um sinal de alerta de que a IA ainda não está pronta para o horário nobre. É por isso que garantir que o GT Sophy tenha etiqueta esportiva adequada é uma prioridade para seus desenvolvedores.

“ Nas corridas, você precisa ter certeza de que está dirigindo agressivamente porque quer vencer, mas, ao mesmo tempo, quer dirigir de forma justa”, disse Michael Spranger, COO da Sony AI, à Digital Trends. “Você não pode bater em outros carros para ganhar vantagem e precisa garantir que todos possam competir de forma justa. Essa é uma área interessante porque essas regras são bastante imprecisas; há um livro de regras, mas precisa de interpretação dos juízes. Fazer isso direito – dirigir de forma agressiva e competitiva versus dirigir de forma justa – é um dos grandes desafios do GT Sophy”.

A Sony AI, a Sony Interactive Entertainment e a Polyphony Digital confirmaram que os jogadores poderão competir com o GT Sophy em um modo Gran Turismo 7 por tempo limitado a partir de 21 de fevereiro. apenas a habilidade de GT Sophy por meio do aprendizado por reforço, mas também sua etiqueta em relação a um conjunto nebuloso de regras de cortesia. Antes de sua adição ao Gran Turismo 7, a Digital Trends conversou com o COO da Sony AI, Michael Spranger, e o líder do projeto GT Sophy, Peter Wurman, para saber mais sobre sua abordagem ética à conduta esportiva do GT Sophy e quais usos futuros eles veem para essa tecnologia nos jogos.

A entrevista a seguir foi editada para concisão e clareza.

O que tornou o Gran Turismo a opção mais atraente para desenvolver uma IA avançada primeiro?

Michael Spranger: Foi porque era possível e porque o Gran Turismo é um jogo realmente empolgante. O Gran Turismo faz parte do PlayStation desde o início. É um jogo icônico que fornece essa área específica de desafio de realismo físico, estratégia, tomada de decisões e etiqueta esportiva. Além disso, tem um grande público de pessoas que realmente acompanham o jogo, e isso significa que qualquer tecnologia que desenvolvemos no jogo pode ter um impacto potencialmente significativo em milhões de jogadores. Eu também adoro o jogo. Essas coisas combinadas nos fizeram escolher o Gran Turismo como um dos primeiros alvos para projetos de IA de jogos.

Como o aprendizado por reforço permite que essa IA assuma mais riscos ou conduza de forma mais impressionante do que sua IA de jogo padrão? É apenas tentar conduzir a linha de corrida mais precisa?

Peter Wurman: Existem diferentes níveis de habilidade. A linha de base está dirigindo mais rápido na pista, então o aprendizado por reforço funciona permitindo que o agente de IA explore o efeito que suas ações têm no mundo e, em seguida, tente maximizar sua recompensa. Ao dar sinais positivos para ir mais rápido na pista, ele aprende a dirigir muito rápido na pista. Ele aprende a pisar no acelerador e a entrar nas curvas para não bater, o que funciona muito bem para treiná-lo para um cenário de contra-relógio.

Para realmente torná-lo um piloto competitivo , tivemos que dar a ele outros sinais de recompensa por ultrapassar os carros que estão à sua frente e não impedir que os carros atrás dele o ultrapassassem. Também aplicamos penalidades por colidir ou bater em outros carros. Essa combinação de recompensas e penalidades exigiu algum esforço para acertar, mas uma vez que treinamos com a população certa de oponentes, ele aprendeu a ser um piloto muito eficaz.

Quais foram os maiores aprendizados dos primeiros eventos Race Together que você realizou com os melhores jogadores do Gran Turismo Sport ?

Peter Wurman: Se você acompanhou o projeto, saberá que houve duas corridas. Na primeira fomos bem, mas não ganhamos o Team Score. Algumas das coisas interessantes que aprendemos com isso têm a ver com encontrar o equilíbrio entre assertividade e ser um bom esportista. Descobrimos duas semanas antes que o agente que havíamos treinado era muito agressivo e não poderia correr, então tivemos que mexer e ajustar as coisas. Você não pode ter um agente de IA que é realmente bom em dirigir rápido e outro que pensa nos aspectos táticos da ultrapassagem; em vez disso, tivemos que incorporá-los juntos em um agente coerente que estava fazendo as duas coisas ao mesmo tempo. Essas são as coisas que vimos depois da corrida de julho de 2021 , então nos sentimos muito mais confiantes para a corrida de outubro de 2021 .

Michael Spranger: Houve uma coisa em que nos disseram que era muito agressivo, mas no primeiro dia de corrida de exibição, na verdade perdemos a corrida porque não éramos agressivos o suficiente e tímidos. O problema de como você equilibra essas coisas ficou muito aparente durante o desenvolvimento do projeto.

Que mudanças tiveram que ser feitas no GT Sophy quando você decidiu adicioná-lo ao Gran Turismo 7 e não apenas treiná-lo em um ambiente de teste?

Peter Wurman: O maior é que, em todas as exibições, o GT Sophy foi executado em um computador separado e se comunicava por meio de uma conexão de rede com o console PlayStation. Aqui, o GT Sophy está embutido no jogo. Fazê-lo funcionar em um PlayStation com os recursos que estavam disponíveis para nós depois de toda a renderização e outras coisas que estão acontecendo foi um pouco de trabalho de engenharia.

A outra coisa é que a Polyphony Digital realmente queria que o agente fosse um exemplo extremamente bom de estilo de corrida e habilidade de corrida. Fizemos algumas mudanças para encorajar o GT Sophy a ficar mais dentro das linhas. Se você assistiu a alguma das exibições, verá que foi muito bom em usar toda a pista, às vezes colocando dois pneus na grama. Isso é legal, mas não exatamente o que você poderia fazer em um carro de corrida real. Fizemos algumas mudanças para manter o GT Sophy mais nas entrelinhas. Ainda é muito rápido, mas um pouco mais limpo.

Quais são as principais coisas que a equipe de IA da Sony espera aprender ao adicionar o Gran Turismo Sophy Race Together ao Gran Turismo 7 ?

Peter Wurman: O principal é que esperamos que as pessoas gostem de jogar contra ele, sintam-se realmente desafiadas em todos os níveis de habilidade e estejam aprendendo a se tornar melhores pilotos de carros de corrida simulados.

Michael Spranger: Também queremos ver como as pessoas interagem com a tecnologia. No momento, poucas pessoas experimentaram a tecnologia, então estamos curiosos para ver como as pessoas vão usar isso para aprender por si mesmas, adquirir novas habilidades e ter novas experiências. Acho que isso está no cerne do projeto de várias maneiras. Temos o avanço tecnológico e acho que isso é muito importante, mas acho que estamos abrindo um novo estágio para as pessoas e no Gran Turismo. De muitas maneiras, a IA integrada tem uma faixa bastante estreita de desempenho e você pode superá-la quando se tornar um piloto intermediário em cada dificuldade.

Mesmo com as relativamente poucas combinações de carros de corrida que revelamos aqui, desde o que posso fazer até o que alguns dos melhores jogadores podem fazer, todos podem encontrar uma partida realmente interessante. Esperamos ver mais disso e ver como as pessoas aprendem com isso. Também é muito difícil para alguns jogadores encontrar bons oponentes e, pela primeira vez, você pode ter interações repetidas com um oponente digno sem ter que chamar todos os seus amigos e reuni-los. Vai ser algo em que as pessoas podem fazer muito progresso para melhorar no jogo, porque podem ter essas experiências personalizadas até certo ponto.

No lado ético das coisas, você pode explicar o processo de determinação do que constitui uma conduta esportiva para o GT Sophy, de modo que não assedie certos jogadores?

Peter Wurman: Bem, ele não pode falar com você , então há muitas coisas ruins que o GT Sophy não pode fazer porque isso não faz parte do jogo. Estamos principalmente focados em tentar aderir às regras do espírito esportivo nas corridas automotivas; agora, esses são bastante nebulosos. Você não pode bloquear uma oportunidade legítima de passe e coisas assim. Há um monte de palavras confusas nessas regras que eram difíceis de codificar e programar, então tivemos que aproximá-las com sinais de recompensa e penalidades se fizesse coisas como bater em outro carro.

Então, tivemos que entregá-lo à Polyphony Digital e aos pilotos de teste e deixá-los nos dar feedback, porque correr contra outros agentes de IA realmente não nos mostra se está pronto para competir contra a variedade de estilos de corrida humanos. Isso exigiu algum esforço e iteração para acertar.

Michael Spranger: Para este lançamento, acho justo dizer que é competitivo. Ele vai tentar ultrapassar os jogadores, mas não vai bombardeá-los. É competitivo, mas educado. Definitivamente está colocando pressão sobre você; você vai vê-lo nos espelhos retrovisores tentando ultrapassá-lo. Ao mesmo tempo, tentará dar a você algum espaço para que você possa competir de forma competitiva, mas justa.

Peter Wurman: Mas se você fizer bagunça, vai tirar vantagem.

Michael Spranger: Isso mesmo, instantaneamente!

Onde você vê o GT Sophy e a tecnologia AI nos jogos da Sony nos próximos cinco anos?

Michael Spranger: Obviamente, não podemos anunciar nada especificamente, mas, em geral, há várias camadas nisso. Ainda há desafios e coisas que podemos fazer no Gran Turismo para desbloquear novas experiências, e não acho que tenhamos terminado. Há uma verdadeira empolgação em levar a tecnologia adiante. Então, da perspectiva da Sony AI de P&D corporativo e iniciativas estratégicas, estamos muito entusiasmados com o que essa tecnologia pode trazer para os jogos em geral.

Outros jogos nos darão um desafio diferente a ser superado e ampliarão as capacidades da tecnologia. É uma tecnologia emergente que teve alguns sucessos no passado, mas acho que o que estamos fazendo aqui é bastante distinto no sentido de que fazemos as descobertas científicas, mas também a implantamos e garantimos que as pessoas ponham as mãos nela a tecnologia de IA. Isso vai impulsionar a tecnologia e desbloquear experiências maiores.

A interação está no centro do PlayStation, não é um erro que se chame Sony Interactive Entertainment. É realmente sobre como é sua interação com as coisas que você encontra no jogo, e eu sinto que essa tecnologia tem o potencial de realmente desbloquear a próxima geração de jogos, e estamos muito animados com isso.