Como a equipe Thanos VFX deu vida aos personagens de The Quarry (e depois os matou)

A desenvolvedora de jogos Supermassive Games recebeu muitos elogios por sua aventura de terror interativa e cinematográfica Until Dawn , e seguiu com o “sucessor espiritual” deste ano para o sucesso de 2015, The Quarry . O jogo coloca os jogadores no controle de um grupo de conselheiros do acampamento que se encontram cercados por uma variedade de ameaças mortais – humanas e sobrenaturais – depois de ficarem presos no acampamento remoto onde passaram o verão.

Assim como Until Dawn , The Quarry apresenta um elenco de atores familiares que retratam os personagens do jogo, com uma mistura de sistemas de captura de performance de ponta e tecnologia de efeitos visuais no nível de Hollywood, permitindo que o elenco dê vida aos seus homólogos do jogo e coloque o destino desses personagens nas mãos dos jogadores. A fim de trazer o trabalho dos atores em um cenário de captura de desempenho para o mundo aterrorizante do jogo, a Supermassive recrutou o estúdio de efeitos visuais vencedor do Oscar Digital Domain , mais conhecido por seu trabalho em transformar Josh Brolin em Thanos em Vingadores: Guerra Infinita .

A Digital Trends falou anteriormente com a equipe da Digital Domain sobre o sistema de rastreamento facial Masquerade orientado por IA que eles desenvolveram para Infinity War , que recebeu uma atualização significativa desde o filme de 2018. Ele agora retorna aos holofotes em The Quarry , um jogo criado usando o sistema Masquerade 2.0 aprimorado do estúdio. O diretor criativo e supervisor de efeitos visuais da Digital Domain em The Quarry , Aruna Inversin , e o produtor sênior Paul “Pizza” Pianezza explicaram como uma mistura de tecnologia inovadora, técnicas de filmagem inteligentes e performances inspiradas do elenco do jogo tornaram a mais recente aventura interativa de Supermassive tão emocionante para seus equipe criativa como é para os jogadores.

[Nota: Esta entrevista irá discutir pontos da trama em The Quarry . Considere isso um aviso de spoiler se você ainda não jogou o jogo.]

Tendências Digitais: Em 2019, discutimos o Masquerade, o sistema de captura facial Digital Domain desenvolvido para Thanos em Avengers: Infinity War . Sua equipe criou Masquerade 2.0 para fazer algo semelhante com The Quarry , mas com mais personagens e muito mais tempo de tela. Quais foram alguns dos grandes passos ao longo do caminho?

Aruna Inversin: Thanos foi o produto mais amplamente divulgado, porque é a Marvel, mas muito do nosso desenvolvimento [em sistemas de captura facial] começou em 2007, quando estávamos trabalhando em O Curioso Caso de Benjamin Button . Muito do [nosso trabalho nesse filme] foi meio que descobrindo tudo. Depois disso, trabalhamos em Tron: Legacy , então estamos empurrando humanos digitais para longas-metragens por um tempo. No entanto, realmente deu um grande salto com Thanos e o processo de Máscara.

O que Masquerade e Masquerade 2.0 permitem que você faça?

Inversin: Ele nos permite pegar qualquer tipo de câmera frontal e então dirigir um personagem digital, um rosto digital, com ela. Para Thanos, foi interessante porque tivemos uma apresentação não humana da performance. E, claro, houve animadores que entraram e ajustaram para torná-lo Thanos. Ainda há um desempenho subjacente de Josh Brolin, no entanto. Desde então, trabalhamos com eficiência em tempo real — como tornar o Masquerade mais em tempo real, mais eficiente e mais econômico. E ao fazer isso, criamos alguns outros produtos. O Masquerade 2.0 é uma combinação do head-tracking e todos os outros desenvolvimentos auxiliares que o tornam mais eficiente. Há melhor rastreamento ocular automatizado, rastreamento de integração mais automatizado de onde os pontos estão no rosto, mais aprendizado de máquina… É um aumento de dez vezes na quantidade de dados que podemos fornecer e interagir.

O tempo total de Thanos na tela foi de 45 minutos. Agora podemos entregar 32 horas [de desempenho] ​​em mais personagens para The Quarry .

Como é o processo geral quando você está coletando dados de atores em algo como The Quarry ?

Paul Pianezza: Capturamos 32 horas de filmagem, mas para começar, fazemos conjuntos de treinamento. Vamos pegar os atores e fazer uma varredura de dados deles. E a partir disso, coletamos cerca de 60 segundos de dados ROM (Range of Motion). Em seguida, fazemos uma varredura de corpo inteiro. Depois disso, fazemos mais ROMs e capturamos mais formas de rosto para estabelecer uma semelhança 1:1 – como o rosto se move e todo esse tipo de coisa. Esse é o nosso ponto de partida. E então, quando formos filmar todos os dias, faremos ainda mais capturas de ROM à medida que eles se apresentarem, para que o set em que trabalhamos fique cada vez maior ao longo do tempo.

Uma coisa é ter todo esse material bruto, mas que tipo de desafios você normalmente encontra ao tentar manipulá-lo e editá-lo em tempo real para algo interativo como um jogo?

Inversin: Depois de termos todos os conjuntos de treinamento, um dos desafios é que, uma vez que você adiciona a performance de um ator à mistura, eles não ficam apenas parados e mostrando como seu rosto e corpo se movem. Eles estão correndo, pulando, lutando com lobisomens e fazendo todo tipo de coisa. E para rastrear isso, criamos novas tecnologias que nos permitem estabilizar a câmera principal e capturar o movimento não afetado pela oscilação da câmera principal, por exemplo. Essas câmeras são bem pesadas, então tivemos que evoluir a estabilização e rastreamento da câmera e o sistema de aprendizado de máquina para que, quando um personagem corre, você veja o rosto se mover com a gravidade enquanto corre. Essa nuance em uma performance em tempo real é algo que você não consegue se capturar o rosto de um ator separadamente de sua performance corporal. Nós gostamos de capturar tudo simultaneamente para que os atores não apenas tenham esse relacionamento uns com os outros, mas o movimento em seus rostos corresponda ao que eles estão fazendo fisicamente.

Pianezza: E a parte divertida é que, ao capturar 32 horas de filmagem com essas câmeras, você encontra todas as maneiras possíveis de quebrar.

Inversin: Certo? Cabos na frente do rosto, capacetes voando… Felizmente, tivemos uma relação muito transparente com o Supermassive. Quando estávamos no set e gritamos para Will [Byles, diretor de The Quarry ] que um cabo passou na frente do rosto de alguém ou uma câmera de cabeça desligada ou o que quer que seja, Will sempre teve a previsão de saber se era algo que precisava ser refeita, ou ele diria: “Sem problemas. Eu vou cortar em torno disso.”

Os movimentos faciais sutis no jogo são fascinantes – como quando alguém aperta os olhos levemente para sugerir que está cético, ou move o queixo de uma maneira minúscula que sugere que está nervoso. Como você captura esse nível de sutileza e mantém os personagens fora do vale misterioso ?

Pianezza: Essa é uma daquelas coisas sobre as quais falamos constantemente: as imperfeições e as sutilezas que o tornam real. Tudo o que capturamos foi projetado para fazer isso. É por isso que temos 32 horas, 4500 fotos de material. E quando você liga o sistema com todo esse material, você obtém todas essas sutilezas nas performances dos atores.

Inversin: Um dos grandes pontos de venda do sistema que desenvolvemos é que ele reconhece que os movimentos sutis – aquelas contrações nos olhos e outras coisas que você viu no jogo – são realmente importantes. Eles vêm diretamente do ator. Não há animação adicional em cima deles. Assim, os atores sabem que seu desempenho será transferido para aquele personagem digital com um grande nível de fidelidade. E só vai melhorar com o tempo.

Então, como você lida com as cenas de morte no jogo? Eles mudam a maneira como você captura performances ou as traduz?

Inversin: Bem, primeiro, quem você matou quando jogou? Quem morreu no seu turno?

Dois conselheiros morreram no meu play-through, Abigail (Ariel Winter) e Kaitlyn (Brenda Song), com o qual estou bastante satisfeito, dado o meu número típico de mortes em jogos como este.

Inversin: Se foi a cena da morte de Abi na casa de barcos, essa foi uma das minhas favoritas. Will deu direção aos atores dizendo: “Ok, você precisa ficar aqui, Ariel, e fingir cair de joelhos e morrer. E Evan [Evagora, que interpreta o conselheiro Nick Furcillo no jogo], você precisa pular nela, mas não pular todo o caminho, porque você será um lobisomem em um certo ponto.” E então nós jogamos isso no set. Ariel grita, cai de joelhos e cai. E então Nick pula, e para, e foi isso. Will disse: “Tomada perfeita. Foram realizadas." E então os dois ficam tipo, “Espere, o que vai acontecer na cena?” Mas depois que a cabeça de Abi sai e a câmera volta para ela desmaiando, isso era uma fotografia real de captura de tela dela desmaiando e morrendo. A expressão em seu rosto no final também foi uma expressão que ela fez no set em seus últimos estertores. Essa expressão é totalmente ela. Eles meio que seguravam aquele quadro. Aquele dia foi divertido.

Pianezza: As pessoas podem morrer de muitas maneiras diferentes também, mas você só pode fazer duas tomadas em um curto período, porque senão elas perderão a voz de todos os gritos. Foi tipo, “Ok, eu tenho que morrer de novo, então vamos fazer uma pausa agora para que eu possa gritar mais tarde”. Você tinha que planejar um monte de mortes diferentes, espalhadas pelas filmagens.

Inversin: Houve um ótimo período com Justice [Smith, que interpreta o conselheiro Ryan], durante os capítulos sete ou oito, quando ele está na casa dos Hackett e sendo perseguido. Aquele dia foi um pouco louco. Era como, “Ok, Justice, você vai morrer umas seis vezes hoje e cada uma vai ser horrível”.

Manter o controle de todas as permutações de arcos de história em um jogo como esse parece que pode ser esmagador.

Pianezza: Foi tudo Will. Foi realmente impressionante. Por exemplo, Dylan [interpretado por Miles Robbins] pode perder o braço em um ponto, seja por motosserra ou por espingarda.

Eu fui com a espingarda.

Pianezza: Ok, então você conhece essa cena. Quando eles estavam filmando cenas diferentes mais tarde, Will dizia: “Ok, você tem que fazer isso com a mão esquerda agora, porque você pode ter perdido o braço direito neste momento”. Ele mantém o controle de tudo em sua mente.

Como você adaptou atores que podem não estar familiarizados com a tecnologia de captura de performance ou jogos de cinema interativos como esse ao processo?

Pianezza: A Digital Domain tem uma longa história de fazer esse tipo de coisa, então podemos mostrar a eles exemplos do que Brolin fez por Thanos, por exemplo. Dissemos a eles: “Você não precisa exagerar. Você está em boas mãos.” Muito do que fazemos em novas mídias não é tradicional, então fazemos muita educação, para clientes, atores ou quem quer que seja. E neste caso, você basicamente transmite a eles que é como o teatro. Não há planos de close-up, amplos e médios, porque é tudo virtual. Temos todas essas câmeras funcionando ao mesmo tempo, essencialmente.

Inversin: Muito do elenco estava realmente interessado no processo, e ser transparente com eles e saber o que poderia sair disso foi muito bom. Will foi ótimo em dirigi-los, dizendo: “Isso é como uma peça de teatro. Podemos colocar as câmeras em qualquer lugar.” Esse repertório e camaradagem entre os atores, sabendo que eles poderiam ficar muito próximos e conversar e atuar como em qualquer peça de teatro, foi muito importante para capturar os personagens. A sequência de prólogo com Ted Raimi, Siobhan Williams e Skyler Gisondo foi um grande momento de conjunto. As brincadeiras de vai-e-vem são tão boas, e isso vem de conseguir que esses atores se apresentem como se fosse uma peça de teatro.

Como eles reagiram quando viram os personagens que vieram de suas performances?

Pianezza: O que é realmente legal é que, para deixar as pessoas à vontade, podemos anexar seu desempenho ao próprio corpo no jogo em tempo real, então, se eles moverem o braço, verão o personagem do jogo movendo o braço. Especialmente com atores que nunca fizeram isso, há um aspecto disso que é muito libertador, porque você só precisa fazer uma ótima atuação uma vez. Você não precisa parar, reiluminar a cena ou reposicionar a câmera e fazer tudo de novo. Você pode simplesmente dizer: “Ótimo desempenho! Você Terminou." Porque tudo o que nos importa é o desempenho do ator. Podemos descobrir as câmeras e iluminação e tal mais tarde.

Inversin: A capacidade de juntar as tomadas dá a liberdade de filmar rapidamente e manter os atores, o diretor e a equipe na mentalidade da performance também. Em um set tradicional, você vai e volta, trocando luzes e câmeras e assim por diante, começando e parando. Às vezes isso tira as pessoas do momento. Isso permite que todos realmente fiquem lá.

Onde você vê sistemas como o Masquerade levando filmes e jogos para o futuro? Que tipo de futuro para filmes e jogos está criando?

Pianezza: Eu só quero ver esse espaço narrativo interativo explodir. Muitas pessoas de ambos os lados – jogos e efeitos visuais – adoram os dois. E isso os combina de uma maneira tão boa. O que é muito legal para mim, porém, é que você cria essas coisas digitalmente, então os acampamentos na Pedreira de Hackett existem para sempre. Se eles quiserem revisitar esse mundo em algum momento, você pode fazer isso, porque é digital. Você não precisa se preocupar em obter uma permissão para filmar no local novamente, ou reconstruir cenários, ou planejar filmagens noturnas, ou qualquer outra coisa, porque é tudo digital. Tudo está lá. Basta voltar e ligar o computador novamente.

Inversin: A oportunidade para DLC, especialmente, é enorme. Os ativos estão todos lá, então à medida que você avança, você pode fazer esse tipo de coisa recorrente e, com esses mesmos personagens, pode amortizar o custo em diferentes episódios ou capítulos. Você pode ter uma série de terror com cada episódio acontecendo a cada dois meses, construída em torno desse grupo de personagens que vive ou morre e muda. Portanto, é fácil ver o potencial cinematográfico e narrativo interativo ali, e é bastante poderoso. Estamos apenas começando.

Supermassive Games e 2K's The Quarry já estão disponíveis para Windows, PlayStation 4, PlayStation 5, Xbox One e Xbox Series X/S.