Grande atualização para o gigante do vídeo AI! Você não precisa trabalhar muito para escrever as palavras corretas. Nunca houve tal maneira de criar vídeos.
Em que direção os vídeos de IA podem ser rolados? A resposta da Luma AI é um pouco diferente. O oponente ainda está praticando um movimento após o outro, mas é como Feng Qingyang ensinando Dugu Nine Swords. Ele presta atenção à flexibilidade e pode fazer o que quiser, como nuvens e água correntes.
Luma AI pode não ser tão conhecido quanto Keling e Runway, mas também está no primeiro escalão em termos de força. Seu modelo de vídeo é chamado Dream Machine. Foi lançado em junho deste ano. , que é o maior impulso desde o lançamento do produto.
Inclui duas atualizações. Uma é o lançamento de seu próprio modelo de imagem Luma Photon, que combina texto, imagens e vídeos em um só lugar; a outra é a criação de um novo fluxo de trabalho para geração de vídeos de IA; como conversar com o ChatGPT sem ter que pensar cuidadosamente nas palavras solicitadas.
A Dream Machine foi pioneira em uma maneira muito nova de gerar vídeos.
guiar o caminho 
https://dream-machine.lumalabs.ai/
Durante o bate-papo, o vídeo foi gerado.
Ao abrirmos o Dream Machine, a primeira coisa que vemos é o “Quadro”, que pode ser entendido como uma tela criativa infinita. Aqui, utilizamos linguagem natural para gerar imagens ou vídeos livremente.
Quando comecei um quadro, minha sugestão foi muito simples: "Crie um personagem cômico japonês de suspense."
A IA expandiu minhas palavras de alerta e gerou 4 imagens de uma vez, mas não funcionou, a hora estava errada.
Não importa, basta inserir outra frase na caixa de diálogo, “Coloque-o em um fundo moderno”.
AI disse que entendeu e gerou mais 4 fotos. A do canto superior direito, andando sozinha em um beco escuro, está perto da sensação que eu quero, mas ainda não é o suficiente, quero que ele levante a cabeça e revele a sua. características faciais.
Não é difícil, apenas continue ajustando, esqueça as palavras complicadas e jogue direto com a IA.
O do canto inferior direito é bom, embora a imagem seja um pouco infantil. A seguir, quero que a IA gere um vídeo do protagonista caminhando dia e noite no mesmo beco.
A função do Dream Machine de gerar o primeiro e o último quadro do vídeo está preparada para essa necessidade – selecionamos a primeira e a última imagem e deixamos a IA completar o processo intermediário.
Então, só precisamos deixar a IA gerar algumas cenas diurnas com base nas imagens que nos satisfazem, e o método de comunicação ainda é o mesmo, simples e rudimentar. As duas fotos finalmente selecionadas possuem detalhes ligeiramente diferentes, mas estão no mesmo quadro.
Está tudo pronto, só esperando gerar o vídeo, e a transição da IA é bastante natural.
Neste ponto, você deve entender a diferença entre Dream Machine e outras ferramentas de vídeo.
Outras ferramentas de vídeo geralmente fornecem uma caixa de texto para preencher uma palavra de prompt e permitem definir parâmetros como movimento e duração da câmera. Defina uma vez, gere uma vez.
Mas a interface do Dream Machine se parece muito com a interação com um chatbot. Na parte inferior há uma caixa de entrada, onde podem ser executadas fotos de Vincent, fotos de Tush, vídeos de Tush e vídeos de Vincent.
Os criadores profissionais podem continuar a escrever palavras de alerta tradicionais, mas também temos o direito de "falar palavras humanas". A pressão é dada à IA para que a Dream Machine possa entender o contexto e nos ajudar a melhorar as palavras de alerta. ideia aproximada, conversando com ela enquanto faz alterações e otimiza.
E como o Dream Machine tem a forma de uma tela infinita, podemos gerá-lo repetidamente em uma sessão, e os materiais serão retidos e não cobrirão uns aos outros.
Nosso pensamento não se limitará a uma palavra ou a um vídeo, mas fluirá como água. Mais ideias poderão ser geradas nesse processo.
Imagens mais controláveis, vídeos mais controláveis
O novo fluxo de trabalho do Dream Machine é como o tronco de uma grande árvore, e alguns de seus recursos práticos e divertidos são como galhos que se complementam e prosperam.
O que desempenha um papel fundamental é o Luma Photon, o mais recente modelo de imagem lançado pela Dream Machine.
Como gerar imagens mais alinhadas com a nossa estética? Dream Machine suporta referência de estilo e funcionalidade de referência de personagem.
Vamos falar primeiro sobre referência de estilo. Podemos importar nossas próprias imagens e a IA integrará o estilo na criação. O responsável deu um exemplo: gerar uma versão pássaro de “Moça com Brinco de Pérola” ao estilo de Mondrian.
Siga esta ideia e crie uma detetive baseada na imagem de um detetive e no estilo de "Noite Estrelada" de Van Gogh.
Quando a segunda dimensão encontra o pós-impressionismo, a reação química é maravilhosa.
A função de referência de personagem pode atingir a consistência do personagem através de uma imagem, para que o personagem possa aparecer em mais fotos e vídeos.
Musk é uma biblioteca de materiais ambulantes. Este exemplo é muito simples. Decidi deixar Zhen Huan se teletransportar para o mundo de Harry Potter para ver se ela ainda poderia ter 2,8 metros de aura depois que a cena mudasse.
O resultado é um pouco difícil de comentar. Percebe-se que é o rosto de Zhen Huan, mas a aparência da imperatriz segue os costumes locais, e seus traços faciais, principalmente os olhos, tornaram-se mais europeus e americanos.
Na verdade, sem procurar referências adicionais de imagens, o Dream Machine também pode evitar que fotos e vídeos sejam perdidos para todos. Neste momento, você precisa usar a função "brainstorming". você gera.
Assim como a cena em que Zhen Huan entra em Hogwarts, podemos recriá-la no estilo Studio Ghibli.
Além disso, algumas palavras-chave nas palavras do prompt são enquadradas e podem ser substituídas por opções suspensas. A Dream Machine as chama de “pílulas conceituais”. Não precisamos escrever as palavras do prompt à mão e podemos alterar o estilo artístico. ou elementos de imagem com um clique.
São necessários apenas alguns cliques para substituir “Ghibli” por “Shinkai Makoto” e “Unicórnio” por “Dragão”.
O modelo Luma Photon é construído com base na arquitetura universal Transformer da Luma. Ao desenvolver seu próprio modelo de imagem, o Luma AI pode reduzir sua dependência de modelos de imagem externos, como Midjourney, ao mesmo tempo que resolve o problema de instabilidade nos vídeos de Vincent.
Claro, o vídeo é a especialidade, e o Dream Machine também é indispensável para funções controláveis, como o movimento da câmera.
Será que Zhen Huan na Cidade Proibida e Zhen Huan em Hogwarts conseguirão uma transição suave? Usando a lente zoom, a imagem é dinâmica e os personagens não ficam seriamente deformados. Pode receber 80 pontos.
Pensamento visual, narrativa
Coincidentemente, a Runway também anunciou oficialmente seu modelo de geração de imagem Frame há dois dias, na mesma noite da atualização do Luma. Olhando a demonstração, dá para perceber que ela dá muita atenção à estética, e atualmente está abrindo gradativamente as qualificações para Gen-. 3 Alfa.
▲ Estrutura da pista
A qualidade da geração da imagem, a altura estética e a consistência e controlabilidade do estilo visual são cada vez mais valorizadas pelos modelos visuais.
Isso é bom para os criadores. Quando usamos IA para design gráfico e configuração de personagens, estamos na verdade gerando um mundo único e contando uma história única.
Cristóbal Valenzuela, CEO da Runway, acredita que a Runway não é uma empresa de IA, mas sim uma empresa de mídia e entretenimento, e que a era das empresas de IA acabou.
Ele não está a denegrir a IA. Pelo contrário, acredita que a IA é uma espécie de infraestrutura. A verdadeira revolução não reside na tecnologia em si, mas no que ela consegue: novas formas de expressão, novas formas de contar histórias e conexões que ela consegue. conectar a experiência humana. Isto coincide com a direção evolutiva de Luma.
Após esta atualização, o CEO e cofundador da Luma AI, Amit Jain, deu à Dream Machine uma definição interessante – um parceiro de pensamento visual.
O conceito é um pouco abstrato, mas o que ele realmente quer dizer é tornar as criações visuais, como fotos e vídeos, tão simples e intuitivas quanto um bate-papo.
A maneira como interagimos afeta a maneira como pensamos. O fluxo de trabalho estilo tela pode visualizar ideias, registrar todos os processos e resultados criativos e apresentar ideias completas para geração de vídeos.
A tela infinita geralmente é mais comum em modelos de imagem, como Recraft e Ideogram's Canvas. A tela da Dream Machine é mais regular, com materiais e variações geradas pelas mesmas palavras-promessa dispostas horizontalmente e diferentes dispostas verticalmente.
O processo de conversar, gerar e otimizar fará com que as pessoas sintam como se um pequeno mundo independente tivesse nascido na tela.
Primeiro, deixe a Dream Machine usar um estilo CG de filme hiper-realista para criar o protagonista de um jogo com um cenário de terreno baldio industrial.
Em seguida, use uma cena surround para animar o protagonista e criar uma sensação de espaço no ambiente.
Então, podemos conversar com a IA e deixar a IA continuar a gerar várias cenas internas e externas no mundo devastado, e deixar a IA sugerir como podemos torná-lo mais apocalíptico.
De certa forma, esta tela é o cenário para as nossas histórias pessoais.
Claro, Luma AI também tem muitos bugs, incluindo, mas não se limitando a, usar uma imagem para obter consistência de personagem não é o ideal, e imagens e vídeos ainda precisam ser desenhados repetidamente para gerar imagens precisas; Inglês, mas não sei falar chinês…
Mas o significado é bem transmitido – fale menos sobre parâmetros, use a interação como ponto de partida e construa uma ferramenta de criação de IA.
Um modelo de vídeo melhor não só tem velocidade de geração mais rápida, movimento de câmera mais controlável e estética mais exclusiva, mas também deve fornecer uma maneira melhor de contar histórias, permitindo que textos, imagens e vídeos sejam usados como ferramentas de expressão de ideias.
Máquina dos sonhos, máquina dos sonhos.
Basta criar, como disse Luma AI: "Não há necessidade de escrever palavras complicadas, basta perguntar. As perguntas que a IA nos deixa no futuro não são mais sobre tecnologia, mas sobre o que a usamos para construir."
# Bem-vindo a seguir a conta pública oficial do WeChat de Aifaner: Aifaner (WeChat ID: ifanr). Mais conteúdo interessante será fornecido a você o mais rápido possível.
