Prepare-se: GIFs gerados por IA podem estar chegando em breve

Com chatbots egeradores de texto para imagem tomando a Internet como uma tempestade, a próxima fronteira da IA ​​pode ser geradores de texto para vídeo.

A Nvidia publicou recentemente um trabalho de pesquisa chamado “Síntese de vídeo de alta resolução com modelos de difusão latente” em seus experimentos em seu Toronto AI Lab que detalha como ele usa a difusão estável para criar uma ferramenta que pode gerar resultados de arte em movimento a partir de prompts de texto.

A empresa de tecnologia apresentou demonstrações dos Modelos de Difusão Latente (LDMs), que usam texto para gerar videoclipes sem grandes quantidades de processamento de computador, observou o TechRadar .

A ferramenta é capaz de gerar imagens em movimento no estilo GIF que são vídeos de aproximadamente 4,7 segundos com uma resolução de 1.280 x 2.048. Ele também é capaz de criar vídeos mais longos com uma resolução menor de 512 x 1024, de acordo com o trabalho de pesquisa.

Tendo visto uma demonstração da tecnologia, TechRadar disse que a ferramenta provavelmente é ideal como um gerador de texto para GIF neste momento. A publicação observou que poderia lidar facilmente com prompts simples, como um stormtrooper aspirando na praia ou ursinho de pelúcia tocando guitarra elétrica, alta definição, 4K . Mesmo assim, o resultado ainda produziu artefatos aleatórios e manchas nos GIFs, como são comuns em outras ferramentas de IA usadas regularmente, como Midjourney .

A publicação acredita que vídeos mais longos ainda precisam de um pouco mais de desenvolvimento antes de chegarem ao horário nobre, mas acredita que a Nvidia trabalhará rapidamente para preparar a tecnologia. Eles podem funcionar bem para bibliotecas de estoque e propósitos semelhantes.

Existem outras empresas experimentando geradores de texto para vídeo AI. O Google demonstrou seu gerador Phenaki, que permite prompts mais longos que produzem clipes de 20 segundos. Outra startup chamada Runway anunciou seu modelo de vídeo de segunda geração no mês passado, que também é baseado em Stable Diffusion. Sua demonstração do prompt , o sol do final da tarde espiando pela janela de um loft na cidade de Nova York, mostra como você pode adicionar leves efeitos de movimento a imagens estáticas.

Os usuários também se beneficiam da adição de IA em outros programas, como Adobe Firefly e Adobe Premiere Rush, de acordo com o TechRadar.

Algumas outras empresas, como a Narakeet e a Lume5 , se comercializam como tendo geradores de texto para vídeo. No entanto, muitas dessas ferramentas funcionam mais como apresentações em PowerPoint, reunindo texto, áudio, imagens e talvez alguns clipes de vídeo já produzidos com prompts, em vez de gerar um trabalho único.