Usei o Vidu Q4 Preview para criar uma boy band inspirada em Ultraman e Dario, e comecei a dançar ao som de APT

Quando Marlon Brando estava disputando o papel de Corleone em "O Poderoso Chefão", o estúdio achou que ele já havia passado do auge e se recusou a escalá-lo. Ele finalmente conseguiu o papel por meio de uma fita de audição: enfiou dois chumaços de algodão nas bochechas, curvou-se e leu algumas falas para a câmera com a voz rouca.

Hollywood tem uma insistência quase supersticiosa nesse aspecto. Não importa quantos prêmios você tenha ganhado ou quão alto seja o seu cachê, se você quiser entrar para o elenco, primeiro precisa atuar para mim por algumas dezenas de segundos.

Esse sistema pode parecer severo, mas ele filtra o elemento mais caro de um filme: a atuação. Se um simples olhar é transmitido com eficácia, se uma emoção é expressa com fluidez, tudo isso pode ser determinado em apenas algumas dezenas de segundos. O orçamento total do filme, que chega a centenas de milhões, depende, em última análise, desses poucos segundos de julgamento.

Portanto, a essência das audições é verificar as habilidades mais valiosas ao menor custo.

Recebemos recentemente uma versão de pré-visualização de um modelo de vídeo. Seguindo a mesma lógica, o objetivo é permitir que vídeos gerados por IA possuam as habilidades de atuação mais sofisticadas a um custo menor. Um vídeo de teste custa a partir de 0,09 yuan por segundo.

Este é o recém-lançado Vidu Q4 Preview da Shengshu Technology, uma versão de pré-visualização do modelo de vídeo de próxima geração. Comparado ao seu antecessor, o Q4 apresenta melhorias significativas em todos os aspectos. Seu posicionamento oficial é de um " modelo carro-chefe de alto desempenho ", com foco em atuação de personagens, tensão de câmera e efeitos especiais complexos.

Obtivemos acesso antecipado à prévia do Vidu Q4 e a tratamos como um ator em teste, avaliando suas "habilidades de atuação" cena por cena.

Quando os modelos de vídeo começam a apresentar tomadas logicamente coerentes, conseguem girar em vários ângulos e até mesmo atingir resoluções de até 4K, um bom modelo de geração de vídeo pode precisar saber quais tomadas estão sendo filmadas. O assunto, a emoção e o ritmo narrativo não melhoram necessariamente apenas aumentando o número de movimentos de câmera.

Nossa primeira impressão da prévia do Vidu Q4 é que ela é realmente bem "Vidu".

Parece que nunca se contenta em simplesmente gerar um vídeo de forma estável e direta. Se consegue criar uma luta, fará com que seja o mais realista possível; se consegue capturar imagens de diferentes ângulos, não ficará apenas parado filmando; se consegue criar uma explosão, também incorporará fogo, fumaça e pessoas na cena.

Essa preferência por ação em grande escala, planos complexos e emoções fortes ficou ainda mais evidente na prévia do quarto trimestre da Vidu. No entanto, desta vez, a empresa passou a dar mais atenção à relevância dos personagens, ao motivo dos movimentos de câmera e à capacidade de combinar esses elementos para criar um vídeo visualmente atraente.

A chave para a capacidade do Vidu Q4 Preview de gerar vídeos excelentes reside em sua expressividade aprimorada e liberdade criativa, com um custo de apenas 0,09 yuan por segundo.

É possível experimentar o modelo de pré-visualização mais recente do Vidu Q4 no site oficial da Vidu. Esta é a primeira versão de pré-visualização do Q4 lançada para criadores de conteúdo. Atualmente, seus vídeos de referência suportam até 15 imagens de referência, 3 segmentos de áudio de referência e configurações opcionais de saída em ultra-alta definição 2K e 4K.

Link para experimentar: https://www.vidu.cn/home/recommend

Como alternativa, você pode inserir o código de convite exclusivo da APPSO, APPSOQ4, para fazer login no vidu.cn. Novos usuários recebem 500 pontos ao se cadastrarem.

Um único olhar é mais difícil de detectar do que uma explosão.

Se existe uma unidade mínima que constitui um bom desempenho, essa unidade deve ser a "reação".

Precisamos de apenas dois segundos para ouvir uma frase, mas a mudança de meio segundo na expressão facial de um personagem — desde ouvi-la, processá-la e decidir se vai responder — é a base para julgarmos se "essa pessoa é real ou falsa".

Aqueles que afirmam que a IA não pode substituir os atores humanos também acreditam que essas "reações" são algo que a IA jamais poderá aprender. A IA pode expressar tristeza, mas não consegue retratar o processo de "ficar triste".

Encontramos um trecho de "Duna" que já havíamos testado com outros modelos de vídeo. Em um palácio azul profundo que lembra dunas de areia, o choque da rainha se transforma em medo e raiva, terminando com um único olhar. Toda a cena é desprovida de movimento ou enquadramento; os 16 segundos se baseiam quase inteiramente em dois closes, um na frente do outro.

O efeito gerado naturalmente não é tão bom quanto a versão original com atores reais, mas a sequência da reação da rainha no vídeo de IA — desde ouvir, pausar, desviar o olhar primeiro e depois voltar a olhar lentamente — é exatamente como um ator de carne e osso reagiria ao "perceber a verdade".

Encontramos também um trecho de filme que foi incluído no material didático da Academia de Cinema de Pequim, a cena "Eu vou cuidar de você" de "O Rei da Comédia". Yin Tianchou chama Liu Piaopiao na rua depois da chuva, e Liu Piaopiao se vira e sorri, dizendo "Você deveria cuidar de si mesmo primeiro", antes de se virar e desabar sozinho no banco de trás de um táxi.

A dificuldade desta cena reside provavelmente em toda a sua segunda metade, onde Cecilia Cheung retrata o processo de transição do riso para o choro, representando o colapso de uma barragem.

É possível perceber que a prévia do Vidu Q4 ainda apresenta algumas deficiências na fase de demonstração. Ela consegue mostrar todo o processo, do riso ao choro, mas, além da expressividade, o ritmo geral não parece suficientemente natural no momento.

Isso está em consonância com o propósito da versão de pré-visualização: primeiro entregar o modelo aos criadores, expor problemas e coletar feedback por meio do uso no mundo real, e depois continuar a iterar em direção à versão oficial.

No entanto, quando a atuação não exigir mudanças emocionais tão drásticas, a prévia do quarto trimestre terá uma compreensão muito mais estável do estado da personagem.

Em outro caso de Duna, depois que o soldado ferido respondeu "não é minha visão", a câmera se deteve em seu rosto cansado, porém alerta, com os pontos ao redor dos olhos visíveis em vários pontos de amostragem.

Essa atuação mais contida pareceu muito mais natural. E essa expressividade não se refletiu apenas nas expressões faciais; nas cenas de ação dinâmicas, a prévia do quarto trimestre de Vidu também apresentou algumas performances bem características da marca.

Afinal, em comparação com duas pessoas sentadas conversando tranquilamente, o lado mais reconhecível de Vidu ainda são aquelas ações grandiosas e dramáticas, um tanto infantis, um tanto apaixonadas, que dão vontade de jogar a câmera no campo de batalha.

Então, simplesmente colocamos o escolhido de Black Myth: Wukong e a alma de Shadow Blade Zero em um templo dilapidado durante um aguaceiro e os deixamos lutar.

Especificamos uma combinação completa nas instruções, incluindo um dash deslizante, um golpe horizontal na cabeça, um bloqueio longo com o bastão, uma varredura giratória para trás, um salto sobre o bastão e um golpe subsequente após o pouso. O modelo apresentou essa performance de acordo com diferentes movimentos de câmera.

Surpreendentemente, não se baseou em closes frequentes para esconder as posições dos dois personagens, já que esse é o método de "trapaça" mais comum usado em cenas de ação com IA no passado.

O efeito de vídeo gerado segue uma abordagem típica do estilo "Vidu": primeiro, há uma premissa cativante, depois as ações, os ângulos de câmera e os efeitos especiais são adicionados por cima.

O movimento da câmera deve servir à narrativa.

Se a ação eletrizante e os movimentos ousados ​​são o que tornam Vidu memorável, então a forma como a câmera acompanha esses movimentos é provavelmente a outra metade do "toque especial de Vidu".

Filmes ruins e filmes bons geralmente usam o mesmo número de planos; a única diferença é se a câmera sabe o que está filmando.

Assim como seguir um sujeito tem o objetivo de fazer com que o espectador se conecte com essa pessoa, circular ao redor nos ajuda a ver o relacionamento com clareza, e avançar leva as emoções a um clímax. O problema com os vídeos de IA no passado era que a câmera de fato se movia, mas, à medida que se movia, a pessoa desaparecia e o espaço se tornava caótico.

Primeiro, usamos o modelo para criar alguns vídeos em primeira pessoa (FPV), mostrando uma fuga em FPV de dentro da boca de um verme da areia. Mesmo após várias rotações de câmera, o modelo ainda conseguia encontrar o mesmo ponto brilhante na abertura entre os dentes, com a transição de exposição de escuro para claro sendo obtida pela oclusão da saída propriamente dita.

Outro vídeo imita a cena da "Odisseia" em que um navio antigo escapa das garras de um Ciclope. A prévia do Vidu Q4 adiciona mais detalhes, mostrando como a presença do objeto colossal afeta realisticamente a iluminação da cena. O final do vídeo, com um corte do braço imponente para um vasto mar dourado, demonstra claramente ao espectador que o perigo passou.

Um movimento de câmera mais complexo é o do verme mecânico da areia nesta cena de Duna, que se move de uma visão panorâmica da multidão para o motociclista no topo.

A câmera acompanha, gira, sobe e desce simultaneamente, enquanto três vermes de areia mecânicos gigantes avançam. A lente se move da altura do peito da multidão em fuga para a lateral do verme de areia principal e, em seguida, sobe para alcançar o piloto no topo.

De forma geral, a pré-visualização do Vidu Q4 se destaca na direção da câmera e na estabilidade do objeto, mas alguns detalhes, como o controle do estilo visual e o problema de ilusão comum em IA, ainda precisam de otimização.

Mudanças no mundo após a explosão

Quando se trata de efeitos especiais, a performance vibrante e cheia de energia de Vidu se torna ainda mais evidente.

Ondas gigantes, buracos negros, fendas de gelo, explosões, vermes mecânicos da areia… quase nenhum dos cenários que selecionamos desta vez é comum. Mas o que é realmente interessante na prévia do quarto trimestre não é que ela finalmente aprendeu a adicionar mais efeitos visuais, mas sim que esses elementos estão começando a impactar genuinamente o mundo ao nosso redor.

Usaremos um vídeo FPV para mostrar uma onda gigante de um quilômetro de comprimento no mar ao pôr do sol. Em primeira pessoa, o vídeo mostra a onda subindo pela parede de água, girando para a direita e criando uma cortina d'água, passando sobre a crista da onda e descendo pelo outro lado da sua crista.

É evidente que as faixas de água se estendem ao longo da parede da onda, e o reflexo na superfície do mar também muda com a inclinação do ângulo. As camadas de água superaram minhas expectativas para "efeitos especiais planos".

Outro vídeo de fuga de uma estação espacial, com efeitos especiais como explosões e buracos negros, é igualmente limpo e conciso.

Há também um vídeo com efeitos especiais de um vale de fenda de gelo, desde a queda no estreito cânion de gelo até a entrada na água e, em seguida, no mar subterrâneo aberto. No final, uma besta gigante em forma de raio azul fluorescente se transforma gradualmente de um contorno escuro no objeto principal em primeiro plano.

Os efeitos especiais, responsáveis ​​pelo impacto visual, também podem ser usados ​​para testar a conclusão de cenas complexas.

Com opções de resolução 2K e 4K, podemos ver que a luz do fogo ilumina os personagens e a fumaça obstrui a visão. Os efeitos especiais interagem bem com o mundo do filme.

Nossa experiência com o Vidu Q4 é mais evidente em seus recursos, que talvez sejam os aspectos mais aguardados. Esses recursos incluem a capacidade dos personagens se expressarem em closes, a capacidade de realizar diversas tomadas dinâmicas ao redor do alvo e a capacidade de conectar perfeitamente ações subsequentes com efeitos especiais complexos.

Esses filmes finalizados não são gerados apenas a partir de uma única palavra-chave. Imagens de referência desempenham um papel crucial; elas funcionam como um conjunto de fotos de trabalho antes do início da filmagem, especificando a aparência das pessoas, para onde a porta está voltada e onde a câmera irá parar.

O Vidu foi um dos primeiros modelos de vídeo a propor a funcionalidade de "aluno de referência" e, na versão prévia do quarto trimestre, essa funcionalidade continuou a ser aprimorada em direção a um controle mais refinado.

A versão de pré-visualização do Vidu Q4 suporta oficialmente um máximo de 15 imagens de referência, mas, na nossa experiência prática, mais importante do que a quantidade é garantir que cada imagem defina claramente a sua função.

As fotos de perfil dos personagens são usadas para estabelecer suas identidades, as imagens do ambiente definem o espaço e as sequências de ação fornecem os objetivos da cena. Definir claramente esses requisitos é crucial para determinar quais elementos foram usados ​​na versão final e quais foram omitidos.

A possibilidade de referenciar múltiplas imagens não só torna nossos requisitos criativos mais específicos, como também fornece uma base para a aceitação do vídeo.

Após passar na audição, começamos a discutir o salário.

Da pequena tela em nossas mãos à grande TV na parede de casa, e depois à tela gigante do cinema, os vídeos gerados por IA dominaram quase completamente nosso campo de visão.

Nossas expectativas em relação aos modelos de vídeo com IA estão cada vez mais semelhantes às expectativas em relação a um ator de verdade. Além de suas capacidades, também precisamos considerar o salário, a popularidade, as habilidades de atuação e outros aspectos do "ator".

Essas experiências com o modelo são semelhantes às audições mencionadas no início. O aspecto mais honesto do processo de audição é que se trata de uma via de mão dupla: o ator está fazendo o teste e a equipe de produção também. Nós avaliamos se vale a pena contratá-lo para o papel, e a equipe por trás do papel também avalia se vale a pena fazer parte da equipe de produção.

A versão de pré-visualização do Vidu Q4 é essencialmente uma audição de mão dupla. A Shengshu Technology entrega este "modelo carro-chefe altamente expressivo" aos criadores antecipadamente para que vejam como ele se comporta em um fluxo de trabalho real; enquanto os criadores também usam esses poucos dias para avaliar se este "ator" vale a pena ser incluído em sua futura equipe de produção.

Da luta no antigo templo sob a chuva em "Black Myth" e "Shadow Blade Zero", ao gigante que estende a mão para agarrar o antigo navio no mar, até um personagem que passa da contenção ao colapso em uma dúzia de segundos, esses casos parecem abordar temas completamente diferentes, mas, no fim, transmitem uma sensação semelhante.

O que muda com a taxa de 0,09 yuan/segundo é que esse "impulso" não exige mais uma aposta perfeita na primeira tentativa. Podemos jogar com ousadia, continuar tentando e gerar múltiplas versões.

Mais importante ainda, desde as audições de baixo custo na era do "centímetro" até a entrega em alta definição na era do "canto", os diferentes níveis de qualidade de imagem reduziram ainda mais o limiar criativo. Os criadores podem primeiro realizar audições repetidas a baixo custo e, em seguida, concluir o filme final com especificações mais altas, investindo em tomadas verdadeiramente satisfatórias.

Assim como na produção cinematográfica, o que é realmente caro nunca são apenas os poucos segundos que acabam sendo usados, mas as dezenas ou até centenas de tomadas que foram rejeitadas previamente para se encontrar esses poucos segundos.

O mesmo se aplica aos vídeos de IA. Quando o custo de geração for suficientemente baixo, os criadores poderão realmente agir como diretores, experimentando diferentes expressões, mudando os ângulos da câmera e gravando várias tomadas antes de selecionar a melhor.

A prévia do Vidu Q4 pode ser considerada, por enquanto, um teste em andamento, ainda em processo de otimização contínua. No entanto, quando elementos que antes eram extremamente caros e difíceis de testar repetidamente podem ser refeitos por apenas alguns centavos, o vídeo com IA nos permitiu testar uma boa tomada, que antes era muito cara, a um custo menor.

Há mais de cinquenta anos, Marlon Brando colocou dois chumaços de algodão na boca e conquistou o papel de Corleone em poucos segundos de audição.

Hoje, as modelos de vídeo também estão competindo por seu próximo papel. As audições terminaram, mas as filmagens de verdade estão apenas começando.