Um programador que virou diretor de curtas-metragens de IA levou três meses para ganhar a medalha de ouro em um festival internacional de cinema |

Como pode um trabalho de IA produzido por profissionais que não são do cinema e da televisão se destacar depois de competir com curtas-metragens comuns?

Em fevereiro de 2023, Jim, um programador da indústria de jogos, tornou-se um artista de IA.

Em dezembro de 2024, o curta-metragem de animação de IA de Jim, "Ghost Diet", ganhou o Prêmio Ouro de Melhor Curta-Metragem de Animação no Independent Shorts Awards.

Este é um festival internacional de curtas-metragens influente na indústria cinematográfica independente. Não foi projetado especificamente para trabalhos de IA, por isso é de grande importância para Jim "Estou satisfeito que os jurados possam ignorar o rótulo de IA. a própria história."

Jim foi o responsável pela maior parte da criação de “Ghost Diet”. O filme tem 10 minutos de duração e um total de 242 tomadas. Foram necessários quase três meses e pelo menos 200 horas de trabalho. um dia.

Após 90 dias de criação, Jim parecia estar lutando contra a inteligência e a coragem da IA, aproximando-se dos limites da IA ​​e contornando suas limitações. Quando os internautas lamentaram depois de assistir "Ghost Diet" que "a IA já começou a trabalhar na animação", Jim respondeu: "A IA está sendo conduzida pelos criadores para fazer animação."

3 meses, 10 minutos

“Ghost Diet” é um filme policial noir, que foi um gênero importante em Hollywood no século passado. Ao mesmo tempo, sua história é localizada. O termo “Ghost Diet” vem da região sudoeste e se refere a lanches que ainda são. aberto nas ruas no início da manhã.

O protagonista Xu Xia é um jovem que come na rua tarde da noite. Para tratar seu pai, ele teve que fazer escolhas injustas, mas também manteve um resultado final intocável. Eventualmente, ele se envolve em violência e assassinato, preso pelas mãos do destino.

Em vez de “animação de IA”, pode ser mais apropriado descrever “Dieta Fantasma” como “animação produzida por ferramentas de IA”.

A IA é responsável pela geração das imagens, e o restante, incluindo roteiros, edição, dublagem, música, efeitos sonoros, etc., é feito manualmente. O texto da imagem também foi adicionado posteriormente.

Apenas em termos de gráficos, Jim é um “gênero puramente gerado por IA”. “Ghost Diet” não possui renderizações reais e depende principalmente de fotos e vídeos. por Keling, Pika, Jimeng, PixVerse e Runway.

A geração de IA é incerta, mas o uso da IA ​​para contar histórias coerentes deve ser estável. Desde o início do design de personagens, Jim tem pensado em como alcançar a consistência dos personagens.

Ao projetar personagens, Jim tem dois princípios. Primeiro, a imagem geral é concisa e a aparência pode ser descrita com algumas palavras-chave. A segunda é que possui elementos icônicos, mesmo que não seja totalmente consistente antes e depois, é altamente reconhecível e pode ser reconhecido pelo público à primeira vista.

Os mais representativos são Wang Ge e Li Jiajia. Wang Ge é careca, usa roupas esportivas e óculos escuros. Li Jiajia parece uma garota retrô dos anos 1990, usando vestido vermelho e cabelos ondulados.

O aparentemente gentil Sr. Zhu usa óculos, terno e sem barba. Ele não parece ter nenhuma característica diferente das pessoas comuns. Ele é o personagem que Jim mais repetiu.

Jim descobriu que a IA pode facilmente gerar personagens com temperamento de "dinheiro antigo". É difícil para a IA medir empreendedores individuais como o Sr. Zhu, que são ricos, mas não de elite, perigosos, mas não são gângsteres.

“Ação ao vivo, mas com filtro de animação”, é como Jim descreve seu estilo de animação. O público pode imaginar como seria se fosse interpretado por uma pessoa real.

Depois que cada personagem for determinado através do método de desenho de Vincent, a foto final da maquiagem do filme será criada. Jim então usou essas imagens como material para gerar mais imagens, preenchendo imagens e escrevendo palavras imediatas. Os ângulos e cenas eram diferentes, mas os personagens permaneceram os mesmos.

Com imagens suficientes, é hora de gerar um vídeo. Os vídeos de IA são iterados rapidamente e “Ghost Diet” usa a versão de agosto a setembro de 2024.

Para cenas tecnicamente difíceis, Jim tentava todas as ferramentas de vídeo disponíveis. Ao mesmo tempo, cada ferramenta também possui seus próprios pontos fortes. Jimeng, Keling e Pika são responsáveis ​​pelas três principais taxas de utilização.

Naquela época, Ji Meng era bom em lidar com algumas cenas de ação, Pika era bom em cenas e animações simples de fala, e Ke Ling tinha uma forte habilidade abrangente.

No entanto, muitas das cenas da “Dieta Fantasma” ainda são difíceis de conseguir, mesmo com as ferramentas atuais. Apresentando resultados relativamente naturais, é indissociável dos métodos tradicionais.

Por exemplo, para sincronização labial, quando o personagem não está completamente frontal, nem é um close-up que seja fácil de reconhecer pela IA, e os movimentos, expressões e câmera estão todos em movimento, o professor de dublagem precisa dublar com base na sincronização labial do vídeo. Na opinião de Jim, novos recursos não significam facilidade de uso. O método antigo “pode ser um pouco desajeitado, mas é confiável”.

nicho, diversificado

A história de “Ghost Diet” se passa em um condado do sudoeste, e todos os personagens falam o dialeto de Sichuan com sotaque local. Essa é a intenção egoísta de Jim. O estilo de pintura de “Ghost Diet” também é único. Os internautas que assistiram disseram que é como um certo episódio de “Love, Death and Robots”.

Em sua própria indústria de jogos, Jim viu muito conteúdo homogêneo e comprovado.

A criação baseada em IA pode ser personalizada. Obras de alta qualidade ainda exigem que as grandes empresas invistam muitos recursos, mas Jim vê mais possibilidades na produção de “uma obra básica”.

Desde que jogou Midjourney, Jim deixou claro que não deseja criar um estilo "pan-popular". Ele é um usuário frequente do Midjourney e conhece o estilo que a IA pode gerar facilmente. Ao mesmo tempo, estes são também os seus campos minados.

Seu estilo favorito é que é difícil dizer qual gênero é à primeira vista, tem um toque retrô, mas não é uma animação completamente antiquada. Em suma, é “familiar e novo”.

Para o estilo de pintura de "Ghost Diet", Jim se baseou no diretor de animação Masaaki Yuasa e no artista de mangá Yoshiharu Takushie.

Ele primeiro usou a função Describe do Midjourney para entender as palavras-chave de seu estilo e, em seguida, continuou a escrever palavras imediatas e a iterar repetidamente, tentando gerar imagens que atendessem aos requisitos.

A visão de mundo da “Dieta Fantasma” deriva principalmente das regiões e elementos com os quais Jim está familiarizado.

Em 2019, Jim assistiu "The Party at Southern Station", dirigido por Diao Yinan e estrelado por Hu Ge, e ficou profundamente chocado: "Tem um cenário muito realista, mas a estética e o núcleo são muito noir." Ele percebeu que os filmes do gênero tradicional não foram finalizados e que ainda há uma nova vitalidade baseada em narrativas locais.

Em 2021, Jim começou a escrever um roteiro, e o roteiro tinha basicamente o protótipo de “Dieta Fantasma”, incluindo um pequeno condado, um jovem desesperado e um dilema de vida.

Em 2023, Jim começou a usar Midjourney para aprender arte conceitual de IA.

No entanto, antes de 2024, Jim nunca havia pensado em realmente fazer um filme de IA. Ele aprendeu sozinho fotografia, roteiros e linguagem de lentes, mas parou por aí. O vídeo usa lentes para contar histórias, mas ele ainda não conseguiu criar suas próprias tomadas.

No início de 2024, Jim usou um lote dos primeiros vídeos de IA, como Pika. De repente, ele descobriu que poderia finalmente conduzir a imagem para completar a ação, ajustar e modificar a imagem e conectar as imagens para completar um curta-metragem. . O desejo de criar tornou-se mais forte do que nunca.

O material está lá, e depois vem a edição, os efeitos sonoros, a dublagem e a trilha sonora. Jim está se aprofundando cada vez mais no processo tradicional de produção de um filme. Ele tentou e aprendeu ao mesmo tempo, e gradualmente carregou algumas obras estilizadas com características pessoais marcantes na Estação B.

O outro curta-metragem de IA de Jim, "Hard Pop Gunner", refere-se ao estilo dos quadrinhos americanos antiquados e à forma dos filmes mudos. Mais tarde, ganhou a Competição Criativa no concurso de solicitação de imagens de IA lançado pela 1905 Movie Network, Bilibili e outros. Prêmio de Excelência Tao.

A IA ainda não pode subverter o status quo de muitos setores, repleto de ativos, mas para pequenas equipes e criadores individuais, o custo de criação tornou-se aceitável e conteúdos diversos têm a oportunidade de serem vistos pelo público.

Jim disse que definiu o cenário de Sichuan e Chongqing para a "Dieta Fantasma" um tanto "deliberadamente". Ele provou que ao criar algum conteúdo de nicho, você não precisa mais se preocupar muito com a tradicional voz de “muito arriscado”.

Restrito, também pode ser único

A “Dieta Fantasma” de 10 minutos pode não ser considerada um vídeo longo sobre Bilibili. Mas no círculo da IA, 10 minutos é um período de tempo raro, sem mencionar que “Dieta Fantasma” conta uma história completa.

Para completar esses 10 minutos, Jim quase levou a si mesmo e à IA ao limite.

A cena de ação no restaurante hot pot em “Ghost Diet” custou a Jim muita reflexão. Cada cena foi projetada, mas o efeito final foi inferior a 40%.

Jim admitiu que as cenas de luta da IA ​​​​não eram realmente boas. Não havia sensação de acertar e não seguia a lógica da física. Não apenas cenas de luta, mas também cenas com movimentos um pouco maiores, como beliscar o pescoço, atirar martelos e bater pedras, são difíceis de conseguir com IA.

De acordo com a experiência de Jim, se você tiver que projetar uma cena de ação para IA, não use armas brancas, mas pelo menos a IA pode atirar. Ele também usou essa técnica. os filmes antigos de Hong Kong por me salvar."

Se os atores reais não forem bons em atuação, eles também poderão usar substitutos, mas expressões vívidas são a habilidade básica de um ator. No entanto, este também é um ponto fraco da IA, seja usando muita força ou não mostrando expressão.

Em outubro de 2024, a Runway lançou a função Act-One, que leva os personagens de IA a fazerem as mesmas expressões com base em vídeos de performance em pessoas reais. Jim acha que isso é um sinal de que, se mais e mais produtos lançarem funções semelhantes, isso significa que a IA terá um gargalo no desempenho.

Os personagens de “Ghost Diet” geralmente aparecem em close-ups e meias-cenas, escondendo outra fraqueza da IA: fotos com vários assuntos. Quando Jim estava projetando as tomadas, ele tentou evitar tomadas com várias pessoas porque ainda não havia encontrado uma boa solução.

Mesmo se você gerar apenas imagens no Midjourney, se mais de 2 caracteres forem gerados, provavelmente haverá problemas com os rostos. Se você colocar isso em um vídeo de IA para interação, a cena se tornará ainda mais caótica.

As imagens geradas pela IA são muito restritivas, por isso, na fase posterior, Jim utilizará close-ups, tomadas simbólicas, edição rápida e outras técnicas para compensar as deficiências visuais. As imagens recorrentes de animais em "Dieta Fantasma" são um exemplo. .

Metáforas e técnicas simbólicas também são comumente usadas em alguns filmes noir americanos antiquados. Nas décadas de 1940 e 1950, a tecnologia era insuficiente e regulamentações como o Código Hays restringiam a expressão de imagens violentas. 2024.

Os ecos depois de décadas fizeram Jim achar isso muito interessante: “Pode ser um método um pouco desatualizado, mas funciona muito bem quando colocado em filmes de IA”.

Mas o público é honesto e fará comentários como “PPT suave interligado” e “animação dinâmica aprimorada”. Jim aceitou, e é por isso que escolheu fazer animações de IA.

Comparada com o estilo live-action com pele lisa e movimentos estranhos, a animação pelo menos “não vai fazer o público pensar, uau, essa sua coisa é muito falsa”. Os movimentos dos personagens são um pouco monótonos e rígidos, sendo mais aceitáveis ​​em animações que não são baseadas na realidade.

Não busque cegamente a duração, mas garanta primeiro a qualidade. Até certo ponto, isso ocorre porque o alvo de Jim são os filmes comuns. Ele se inscreveu no Independent Shorts Awards, uma competição sem IA, para fazer os jurados ignorarem o rótulo de IA e se concentrarem na história em si.

Jim espera que, ao assistir seus trabalhos, o público perceba a existência da IA, mas não da IA, e não demonstre tolerância no sistema de avaliação dos filmes de IA “A comunidade da IA ​​​​é muito amigável. ouvir algumas palavras duras." É necessário."

Continue criando e vença a ansiedade

Sempre está escrito nas notícias da IA ​​​​que “o céu muda da noite para o dia”. Demorou 3 meses para criar um curta-metragem, o que já é muito tempo.

A IA está melhorando a cada dia. Em 2023, Jim ainda consegue acompanhar as informações diárias da IA, mas a partir do início de 2024, não será mais possível compreender os pontos críticos. Ele também pode estar ansioso, mas não cegamente ansioso como muitas pessoas.

Embora a tecnologia seja poderosa, ainda há muito trabalho que precisa ser feito pelos próprios humanos. O que é difícil e interessante na criação é que alguns problemas devem ser resolvidos pelo próprio criador.

Em "A Festa na Estação Sul", houve uma cena de tiroteio que impressionou Jim profundamente: todos dançavam na praça, os policiais à paisana usavam sapatos luminosos, os criminosos atiravam e os policiais os perseguiam enquanto caminhavam sobre luzes luminosas. sangue, e então eles também estavam atirando.

O contraste entre nervosismo e brincadeira emocionou Jim. Sem essa cena, quando todo mundo pensa em quadrilha, sua primeira reação seria “cafona”.

Ele acredita que, em muitos casos, elementos familiares ao público não estão desatualizados, mas carecem de exploração aprofundada pelos criadores.

Pelo contrário, as coisas que foram cuidadosamente expressas pelas ferramentas antigas não podem ser eliminadas pelas novas tecnologias.

Os vídeos de IA foram atualizados em muitas versões, mas Jim não pretende refazer curtas-metragens de IA anteriores.

O design e os compromissos de todo o curta-metragem foram baseados nas limitações da IA ​​da época e eram independentes. Olhando para trás depois de alguns anos, ainda há aspectos interessantes, que é o valor da obra.

A IA pode ajudar Jim a realizar mais experimentos semelhantes e repensar algumas coisas interessantes. Ele não gosta de deixar a IA lhe dizer a resposta diretamente. Ele gosta de resolver problemas sozinho e usar a IA como uma ferramenta semelhante a uma calculadora.

Em vez de usar IA para gerar comerciais e MVs, Jim ainda quer usar IA para contar histórias. Para ele, “a ênfase narrativa é a intenção original da criação de filmes”.

Há alguns anos, quando Jim aprendeu sozinho a escrever roteiros, além de ler livros, ele também insistiu em praticar, escrever os roteiros e escrevê-los completamente. muito."

Ao mesmo tempo, ele assiste muitos filmes, assiste constantemente a novos filmes, separando cenas interessantes e também assistindo explicações e desenhos de outras pessoas. Ele disse que “não tem uma base sólida”, mas tem uma base relativamente. alta sensibilidade a imagens. Ele é bom em conectar objetos semelhantes e sabe como usar a linguagem das lentes para transmitir emoções e sentimentos com precisão.

Agora, Jim está fazendo uma pausa, planejando compartilhar algumas criações de IA, preparando o próximo projeto de IA e atualizando as aulas para acompanhar o status mais recente de cada ferramenta de vídeo de IA. Para ele, por mais ferramentas de IA que existam, os recursos que todos podem investir são iguais e não podem ser omitidos. Quantidade não tem sentido, o mais importante é encontrar o caminho que mais lhe convém.

Na área de comentários da estação B de Jim, um internauta descreveu sua experiência visual desta forma: “Uma ferramenta sem alma, uma criação comovente. Ele respondeu: “Esta frase é muito pesada”.

A melhor forma de combater a ansiedade é criando. No futuro, Jim não quer assumir o que mais a IA pode fazer e quem ela substituirá. Ele prefere acreditar que o constante nascimento de novos trabalhos em suas próprias mãos é uma forte barreira para uma pessoa.

# Bem-vindo a seguir a conta pública oficial do WeChat de Aifaner: Aifaner (WeChat ID: ifanr). Mais conteúdo interessante será fornecido a você o mais rápido possível.

Ai Faner | Link original · Ver comentários · Sina Weibo |