Esqueça a conversão de texto em imagem; esta IA faz vídeos de seus prompts

Você provavelmente já ouviu falar sobre os resultados surpreendentes obtidos pela IA de conversão de texto em imagem, como Dall-E , Stable Diffusion e Midjourney . Como você deve ter esperado, a revolução está avançando, com o próximo alvo sendo as ferramentas de IA de texto para vídeo.

O Google e o Meta testaram seus recursos de conversão de texto em vídeo em relatórios de pesquisa de seus laboratórios de IA, mas essa tecnologia avançada não está disponível ao público. Se você estava esperando ansiosamente pela chance de tentar criar vídeos inteiros com um simples prompt de IA, agora é sua chance, graças ao QuickVid .

Antes que suas expectativas aumentem demais, é importante perceber que isso não é equivalente a gerar milhares de fotos de Stable Diffusion e montá-las para criar um vídeo ou obter acesso aos sistemas de IA mais avançados do mundo para geração de vídeo real. Esta é uma entrada muito precoce na corrida por uma solução de texto para vídeo.

A primeira etapa do processo para a IA é gerar um script com base no seu prompt. Testei o sistema criando um YouTube Short com estas palavras: “Um vídeo de um drone DJI sobrevoando um astronauta em Marte, terminando com uma foto de reação do astronauta surpreso.”

A IA escreveu uma narrativa completa de 79 palavras a partir do meu prompt e, em seguida, sintetizou o discurso com a escolha de uma voz masculina ou feminina. O TechCrunch apontou que o vídeo de fundo escolhido para o vídeo gerado foi retirado de uma biblioteca de estoque e aparentemente havia muitas imagens de “astronautas em Marte”.

Como um toque final questionável, o QuickVid sobrepõe o script como títulos e adiciona imagens em miniatura geradas pela API Dall-E. O curta resultante do YouTube visto acima é … interessante. Talvez, lidaria melhor com vídeos mais terrestres.

Em entrevista ao TechCrunch, o desenvolvedor do QuickVid disse que as melhorias estão chegando, com mais opções de personalização chegando em janeiro. Eventualmente, o QuickVid também incluirá legendas e avatares de suporte.

No próximo ano, muitas outras soluções de texto para vídeo chegarão, juntamente com outras maravilhas visuais, como óculos AR e headsets VR mais avançados. Deve ser emocionante.