O novo modelo de IA da Meta pode transformar texto em imagens 3D em menos de um minuto

gurinho
uma série de imagens geradas em 3D feitas por Meta 3D Gen
meta

A última incursão da Meta na geração de imagens de IA é rápida. A empresa apresentou seu novo modelo “3D Gen” na terça-feira , um “pipeline rápido e de última geração” para transformar texto de entrada em imagens 3D de alta fidelidade que podem produzi-los em menos de um minuto.

Além do mais, o sistema é supostamente capaz de aplicar novas texturas e skins a imagens geradas e produzidas por artistas usando prompts de texto.

De acordo com um estudo recente da equipe de pesquisa Meta Gen AI, o 3D Gen não só oferecerá texturas de alta resolução e mapas de materiais, mas também suportará renderização baseada em física (PBR) e recursos de retexturização generativa.

A equipe estima um tempo médio de inferência de apenas 30 segundos na criação do modelo 3D inicial usando o modelo 3D AssetGen da Meta. Os usuários podem então voltar e refinar a textura do modelo existente ou substituí-la por algo novo, ambos por meio de prompts de texto, usando o Meta 3D TextureGen, um processo que a empresa calcula não deve levar mais do que 20 segundos adicionais de tempo de inferência.

“Ao combinar seus pontos fortes”, escreveu a equipe em seu resumo de estudo, “3DGen representa objetos 3D simultaneamente de três maneiras: no espaço de visualização, no espaço volumétrico e no espaço UV (ou de textura).” A equipe Meta definiu seu modelo 3D Gen em relação a uma série de linhas de base do setor e comparou vários fatores, incluindo fidelidade de prompt de texto, qualidade visual, detalhes de textura e artefatos. Ao combinar as funções de ambos os modelos, as imagens geradas pelo processo integrado de dois estágios foram selecionadas pelos anotadores em vez de suas contrapartes de estágio único em 68% das vezes.

É verdade que o sistema discutido neste artigo ainda está em desenvolvimento e ainda não está pronto para uso público, mas os avanços técnicos que este estudo ilustra podem ser transformadores em diversas disciplinas criativas, desde efeitos de jogos e filmes até aplicações de RV.

Oferecer aos usuários a capacidade não apenas de criar, mas também de editar conteúdo gerado em 3D, de forma rápida e intuitiva, poderia reduzir drasticamente a barreira de entrada para tais atividades. Não é difícil imaginar o efeito que isso poderia ter no desenvolvimento de jogos, por exemplo.