O artefato de vídeo de IA que é tão popular em Xiaohongshu, essa nova atividade me impede de parar.
A consistência multiassunto dos vídeos de IA sempre foi um problema. Não é difícil permitir que a IA gere modelos e roupas do nada, mas se o Partido A exigir que Musk endosse e use um casaco de pelúcia, a IA pode não ser capaz de fazê-lo.
O modelo 2.0 recentemente atualizado do Pika propõe uma solução muito interessante – carregamos várias imagens e o Pika se referirá com precisão aos elementos das imagens para gerar vídeos.
Colete fotos de personagens, produtos e cenas, e um vídeo publicitário bem básico será produzido, e esses materiais terão a mesma aparência no vídeo e nas fotos.
Isso significa que o problema de consistência dos vídeos de IA foi resolvido e que os amigos da indústria publicitária ficarão ansiosos novamente? Na verdade, não é. Após testes reais, Pika é muito jogável, mas em termos de praticidade, não é prático o suficiente.
Musk e Altman assistem a filmes e comem batatas fritas com pinturas famosas. Nunca foi tão fácil estar no mesmo quadro.
A função do Pika de enviar várias imagens de referência é chamada de "Ingredientes da Cena".
É muito simples de usar: 1. Clique em “+” para fazer upload de fotos, até 6 fotos; 2. Na caixa de texto, escreva uma palavra simples de prompt;
A seguir, vamos entrar na operação real – deixar Musk e Ultraman, que estão em apuros, transformarem sua hostilidade em amizade e assistirem a um filme juntos.
▲ Palavras imediatas: Duas pessoas estão sentadas em um auditório escuro. Eles seguravam um balde de pipoca nas mãos, colocavam um punhado na boca e mastigavam, concentrando-se na cena à sua frente. Suas expressões de olhos arregalados transmitem grande expectativa ou fascínio, como se estivessem completamente imersos no drama ou cena que se desenrola. O entorno sugere uma grande multidão, mas o foco permanece nas reações
Basta fazer upload de fotos de vocês dois e o público poderá escrever palavras imediatas.
Para Musk, a IA é estável. Mas Ultraman parece um filho bobo de um senhorio, sem falar que ele está horrível, e seus olhos são tão grandes que estão prestes a cair.
O interessante do Pika é que os materiais podem ser “reaproveitados”.
Portanto, podemos deixar Musk e Altman ficarem viciados em modelos. Basta fazer upload de uma foto de roupa e, em seguida, usar palavras imediatas para pedir que usem o mesmo casaco verde e façam um sucesso de bilheteria da moda.
▲ Palavra de alerta: Dois homens ficaram juntos e tiraram uma selfie no magnífico cenário de inverno. Ambos usavam o mesmo longo casaco verde. Fotos de corpo inteiro, mostrando-os da cabeça aos pés. Eles posam como modelos profissionais com sorrisos confiantes no rosto. A iluminação cinematográfica acentua seus rostos e a textura luxuosa de seus casacos. Estilo de fotografia de moda sofisticado, qualidade de câmera profissional, estética de revista de moda
As fotos dos dois estavam todas prontas. O casaco verde e o fundo gelado e nevado foram gerados separadamente usando IA. O “AIGC” nas roupas foi uma questão adicional para testar o Pika.
Como resultado, a consistência da cena e do casaco foi bem mantida, as palavras “AIGC” eram vagamente identificáveis e os movimentos dos dois modelos também seguiram as palavras indicadas.
Mas a grande questão é: quem são esses dois? Não se pode dizer que os rostos no vídeo e nas fotos são exatamente iguais, pode-se dizer que não têm nenhuma relação.
Se você não acredita no mal, continue deixando Pika brincar de se vestir.
Desta vez, convidamos Zuckerberg a usar ferramentas de imagem de IA para gerar roupas como de costume, com as palavras “Eu era humano” escritas nelas, ecoando o clássico meme do robô.
Em seguida, encontre uma foto de Zuckerberg e uma foto de um ukulele e deixe Zuckerberg tocar música.
▲ Palavra de alerta: Um homem vestindo uma camiseta preta está em uma sala quente, tocando ukulele. A câmera parte de um plano médio-longo, mostrando todo o seu corpo, vai ampliando gradativamente e finalmente foca na escrita da camiseta.
Pika segue as instruções e move a câmera muito bem, e as roupas ficam bem, mas sua mão direita, principalmente o polegar, ainda não está perfeita.
Comparado com Google Veo, OpenAI Sora, etc., os recursos do modelo Pika não são excelentes. Depois que um problema é resolvido, mais bugs são descobertos.
Tentei o realismo e depois o estilo de pintura bidimensional. Para colocar Sakata Gintoki e Uzumaki Naruto no mesmo quadro, selecionei especialmente duas fotos com céu azul e nuvens brancas ao fundo.
▲Dicas: Cena estilo anime, a câmera foca nos rostos de dois jovens, com o céu azul e nuvens brancas ao fundo. Eles fizeram contato visual enquanto conversavam, mantendo o estilo original da arte do anime
O fundo combina com muita naturalidade, as duas expressões frontais são bem tocadas e o vento soprando nos cabelos e nas roupas é perfeito. No entanto, virar-se era muito assustador. Gintoki tem olhos mortos, ele realmente não revira os olhos.
Paredes dimensionais foram quebradas e, claro, pinturas famosas podem interagir entre gerações – a Mona Lisa e a menina com brinco de pérola comendo batatas fritas em um restaurante McDonald's.
▲ Aviso: Mona Lisa e a garota com brinco de pérola estão jantando em um restaurante McDonald's. Sentaram-se frente a frente, com fichas na mesa. Enquanto conversam e saboreiam batatas fritas, a câmera os captura de lado, com os dois personagens olhando ocasionalmente para a câmera, criando uma atmosfera casual e amigável.
O efeito é difícil de descrever. Quando vi a Mona Lisa, perguntei-me se Leonardo da Vinci queria levantar a tábua do caixão. Os dois foram colocados no vídeo como adesivos e suas cabeças se moviam de maneira muito estranha.
Às vezes, voltando à simplicidade e seguindo o caminho natural, os resultados superam as expectativas.
▲ Palavra de alerta: Close-up, bolhas aparecem na superfície do lago e então a xícara de café emerge da água
Faça upload de uma foto do Starbucks ou dos nenúfares de Monet e você poderá ganhar uma xícara de café com "hibisco brotando de água limpa".
Modelo doméstico PK, o limite para controlar o vídeo AI é menor
Até certo ponto, o Pika melhora a controlabilidade dos vídeos. Não posso dizer o suficiente, pois do ponto de vista prático, Pika mantém melhor consistência nas cenas, figurinos e itens, e o rosto do personagem é fácil de desabar, não importa a dimensão.
Ao mesmo tempo, Pika também precisa melhorar as capacidades básicas do modelo. Ainda surgirão problemas no movimento de objetos, como comer e tocar piano. Esses problemas podem ser aliviados comprando cartas?
Três palavras: não posso pagar.
Atualmente, o Pika 2.0 está disponível apenas para usuários Pro e Fancy. Se você assinar mensalmente, custará pelo menos US$ 35 por mês e não há limite de teste gratuito.
Além disso, os usuários Pro têm apenas 2.000 pontos por mês, mas para usar a função Scene Ingredients um vídeo custará 100 pontos.
▲ interface de vídeo
Na verdade, o modelo doméstico de vídeo AI Vidu implementou a função de "referência multi-imagem" antes do Pika. O que é ainda mais interessante para os usuários é que ele oferece pontos para teste gratuito.
Também executei alguns casos de Pika no Vidu. A Mona Lisa e a Menina com Brinco de Pérola estão comendo batatas fritas. Acabaram de ser desenterradas, mas a Mona Lisa está mais restaurada que a Pika.
Musk e Ultraman assistiram a um filme juntos. O rosto de Musk parecia 70% a 80% semelhante, mas o rosto de Ultraman ainda era desastroso.
Sakata Gintoki e Uzumaki Naruto estão no mesmo quadro. Vidu pode realmente gerar uma face lateral com base na face frontal, mas o estilo de pintura é diferente da imagem original.
Além disso, em termos de funcionalidade, o Vidu é um pouco inferior ao Pika – você só pode fazer upload de até três fotos. Então, quando pedi ao Vidu para fazer um ensaio de moda para Musk e Ultraman, não carreguei o fundo, apenas as fotos dos dois e seus casacos verdes.
Os dois se sentem muito estranhos. Pode-se perceber que a estabilidade dos rostos humanos ainda é um problema.
Comparado com o Pika, a eficácia do Vidu é uma questão de opinião. Pika usa a versão Pro e Vidu usa a versão gratuita, o que objetivamente levará a diferenças entre os dois.
Mas as ideias de Pika e Vidu são semelhantes – gerar objetos relativamente estáveis com apenas alguns materiais de imagem e uma simples palavra de alerta.
Na geração de vídeo de IA, para manter a consistência do assunto, a solução LoRA que é relativamente confiável no momento é usar uma certa quantidade de material específico do assunto para ajustar o modelo. Com uma quantidade adequada de materiais e treinamento, o modelo pode gradualmente dominar a aparência e as características desse personagem.
Mas para que os vídeos de IA sejam utilizados por mais pessoas e tenham um valor comercial mais amplo, o limite deve ser reduzido. Pelo menos, de Vidu e Pika, vemos possibilidades.
Conte com vídeos curtos de IA para sair do círculo e você nunca mais retornará ao caminho de uma vida saudável.
Poucos dias após o lançamento do modelo 2.0 do Pika, os internautas estrangeiros enlouqueceram.
Ao tirar suas próprias fotos e gerar repetidamente vídeos de diferentes cenas, você pode perceber o “universo instantâneo”.
▲ Foto de: X@EladRichardson
Através do ajuste com um clique por meio de IA, os modelos e as roupas fluem suavemente e a cena não precisa ser alterada, o que economiza dinheiro na filmagem real.
▲ Foto de: X@martgent
Enquanto brincava, Pika me deu a sensação de jogar “QQ Show” e The Sims Decidimos como vestir os personagens do vídeo.
Seria fácil para Musk “realizar seu sonho”. Primeiro, ele usou outras ferramentas de IA para gerar uma camiseta “Occupy Mars” e um chapéu vermelho com “MAGA” escrito nela.
Em seguida, carregue essas fotos, cenas de Marte, fotos de Musk, seu robô humanóide Optimus Prime e o protótipo Doge de seu pacote de emoticons de celebridades da Internet favorito, tudo para Pika.
▲ Palavra de alerta: Um homem está parado na superfície de Marte, vestindo uma camiseta preta e um chapéu vermelho. Um cachorro está sentado à sua esquerda e um robô está à sua direita. A câmera começa com um plano amplo, capturando corpos completos de homens, cães e robôs. À medida que a câmera aumentava o zoom continuamente, o homem acenou alegremente em direção à câmera, sua expressão cheia de alegria e espírito aventureiro.
Finalmente, um menino ensolarado e alegre apareceu. Ele segurava uma mão amarela na mão esquerda e um céu azul na mão direita. Ele era honesto e honesto, mas simplesmente não se parecia com Musk.
Não parece ser a mesma coisa. Contanto que você tenha a mente aberta, existem inúmeras maneiras de jogar.
A perseguição de estrelas pode ser indolor com base em fotos nossas e de pessoas famosas. Carregue chapéus, roupas e instrumentos musicais para se vestir da cabeça aos pés. Colete as cenas, produtos e modelos e você terá um filme publicitário de efeitos especiais de 5 meses…
Fotos + imagens AI + Pika 2.0 + palavras de alerta podem gerar muitas imagens interessantes. Ao mesmo tempo, este método de geração também evita algumas deficiências do modelo de vídeo, como a escrita, que pode ser resolvida pelo modelo de imagem.
Não comparado com as capacidades robustas do modelo do Google, nem comparado com rivais como a Runway, que perseguem os sonhos de Hollywood, Pika tem sua própria maneira de ultrapassar nas curvas.
Na verdade, Pika sempre foi bom em edição e criatividade. A série anterior de funções de efeitos especiais de IA Pikaffect explodiu na Internet, varrendo as telas de Xiaohongshu e TikTok, levando os usuários de Pika a ultrapassar 11 milhões.
▲ Pitada de IA. Foto de: Pika.
▲AI corta o bolo Foto de: Pika.
Pika atinge um grupo de usuários que tem uma alta demanda por vídeos curtos ao vivo. Mesmo que esses vídeos sejam modelados e fugazes, desde que sejam interessantes, as pessoas irão migrar para eles.
Quem disse que o vencedor leva tudo? O mercado de IA é vasto e simular o mundo físico é certamente um sonho grandioso. Primeiro, completar o pequeno objetivo de tornar interessantes os vídeos curtos de IA pode não ser um caminho bem-sucedido.
# Bem-vindo a seguir a conta pública oficial do WeChat do aifaner: aifaner (WeChat ID: ifanr). Mais conteúdo interessante será fornecido a você o mais rápido possível.
