Meta lança modelo Vincent 3D “Blockbuster”, gerando materiais 3D em um segundo
A Meta Company lançou oficialmente um artigo de pesquisa, apresentando um sistema de modelo Vincent 3D chamado Meta 3D Gen, que pode gerar ativos 3D de alta qualidade a partir de texto em menos de um minuto.
Destaques técnicos:
- Geração de alta velocidade: o 3DGen pode gerar ativos 3D preliminares em apenas 30 segundos, e o estágio subsequente de refinamento de textura leva apenas 20 segundos, melhorando significativamente a eficiência da geração de ativos 3D.
▲ Modelos 3D gerados por diferentes palavras de alerta
- Suporte para renderização baseada em física (PBR): 3DGen oferece suporte a PBR, que é fundamental para reproduzir os efeitos de iluminação de ativos 3D em aplicativos do mundo real.
- Alta fidelidade: Avaliados por artistas 3D profissionais, os modelos 3D gerados pelo 3DGen superam os métodos comerciais e não comerciais existentes em termos de fidelidade e qualidade visual sob solicitações de texto complexas.
▲ Comparação de detalhes do conteúdo gerado por esta tecnologia e outras tecnologias
Gere modelos 3D realistas em apenas duas etapas
O artigo apresenta que o Meta 3D AssetGen adota um design de dois estágios para gerar modelos 3D em comparação com os métodos tradicionais de geração de objetos 3D:
em particular:
O primeiro estágio: estágio de texto para imagem (parte azul na imagem abaixo): gerar malha e textura 3D com base em prompts de texto, prever uma imagem de 6 canais que representa 4 visualizações do objeto com cores de sombra e albedo.
A segunda etapa: a imagem para a fase 3D consiste em duas etapas.
Primeiro, o reconstrutor 3D (chamado MetaILRM) produz um campo SDF tridimensional, que é convertido em uma malha com um material PBR texturizado (a parte laranja na figura abaixo).
Esses materiais são então aprimorados com um refinador de textura para restaurar detalhes que podem ter sido perdidos na visualização de entrada (verde na imagem abaixo), melhorando assim a qualidade visual e os detalhes do modelo.
Vários índices para quantificar materiais e luz
Em termos de implementação técnica, Meta 3D AssetGen utiliza fórmulas VolSDF com diferentes hiperparâmetros para renderizar valores SDF e obter a opacidade dos pontos 3D.
Durante o treinamento, o modelo é otimizado minimizando as perdas de renderização multivisualização, mas como a renderização fisicamente precisa é muito cara, contornamos a complexa equação de renderização usando diretamente os campos PBR originais para supervisionar as contrapartes previstas.
▲ Alpacas com diferentes materiais e estilos gerados pela nova tecnologia da Meta
Este tipo de PBR refere-se a "Renderização com base física", que é uma renderização com base física.
Simula o comportamento físico da luz na superfície de um objeto, levando em consideração o impacto da iluminação, das propriedades do material e dos fatores ambientais na aparência do objeto. Pode calcular a reflexão, dispersão e dispersão da luz com base em diferentes características de. a superfície do objeto, como rugosidade, toque metálico, etc. Para obter efeitos de renderização mais realistas e precisos.
No Meta 3D AssetGen, materiais PBR são usados para aprimorar o realismo dos modelos 3D. Especificamente, o material PBR inclui as seguintes propriedades principais:
- Albedo: refere-se à cor e brilho da superfície de um objeto, que determina a aparência do objeto sob diferentes condições de iluminação.
- Metalidade: Indica o grau de metal na superfície de um objeto. Objetos com alto toque metálico terão um brilho metálico mais óbvio.
- Rugosidade (Rugosidade): descreve a suavidade da superfície de um objeto e afeta a faixa de dispersão da luz na superfície. Quanto maior a rugosidade, mais ampla será a dispersão da luz e mais suave será o destaque.
▲ Modelo gerado usando a palavra "Um gato feito de MATERIAL"
Na verdade, os materiais PBR integram e representam um grande avanço no conteúdo 3D gerado por IA. Considera-se que é possível colmatar o problema de longa data entre o conteúdo gerado por IA e os fluxos de trabalho 3D profissionais, integrando perfeitamente os materiais criados por IA nos fluxos de trabalho existentes. É possível acelerar a criação de ambientes virtuais e gêmeos digitais em todos os setores.
▲ Renderize as texturas de aparência de ovos de dragão e ursos por meio de instruções de texto
Os pesquisadores também introduziram uma tecnologia Meta 3D TextureGen que consiste em uma rede contínua, que combina modelos de geração de texto com condições semânticas 3D no espaço 2D para fundi-los em um mapa de textura UV completo e de alta resolução em um curto espaço de tempo. para geometrias complexas.
▲ Comparação de tecnologias de geração de textura 3D: o novo método do Meta na extrema esquerda mostra cores mais vivas e detalhes mais complexos
Na parte experimental, os pesquisadores usaram um conjunto de dados de 140 mil malhas de diversas categorias semânticas criadas por artistas 3D para treinamento. Uma extensa pesquisa de usuários também foi realizada comparando o Meta 3D AssetGen com outros métodos de texto para 3D habilitados para PBR na indústria, mostrando que o Meta 3D AssetGen oferece vantagens significativas em termos de qualidade visual e controle de material:
A AssetGen alcança uma melhoria de 17% na distância do chanfro, uma melhoria de 40% no LPIPS e é altamente fácil de usar em comparação com os melhores concorrentes do setor em velocidades comparáveis, incluindo aqueles com suporte PBR De 72%.
Chris McKay, fundador e editor-chefe da Maginative, comentou:
As aplicações potenciais desta tecnologia são vastas. Os desenvolvedores de jogos podem usar o 3D Gen para criar protótipos rapidamente de ambientes e personagens, acelerando significativamente o processo de desenvolvimento. As empresas de visualização arquitetônica podem gerar modelos 3D detalhados de edifícios e interiores a partir de descrições de texto, agilizando o processo de projeto. No domínio da realidade virtual e aumentada, o 3D Gen permite a criação rápida de ambientes e objetos imersivos, acelerando potencialmente o desenvolvimento de aplicações do Metaverso.
Obviamente, a nova tecnologia da Meta oferece a possibilidade de apresentação realista de modelos 3D sob diferentes ambientes de iluminação. Ela tem grande potencial nas áreas de gráficos 3D, animação, jogos e AR/VR, e terá grande impacto em jogos, cinema e televisão e. até mesmo o desenvolvimento de produtos ajuda.
Este pode ser o primeiro passo para outro nível de modelagem mundial.
# Bem-vindo a seguir a conta pública oficial do WeChat de Aifaner: Aifaner (WeChat ID: ifanr). Mais conteúdo interessante será fornecido a você o mais rápido possível.
