A partir de hoje, a “ferramenta de criação de mundos” com IA de Li Feifei está disponível para todos, permitindo que você crie um mundo 3D com apenas uma frase Testes práticos incluídos.

Mármore, finalmente chegou.

Isso mesmo, é o modelo de geração de mundo 3D que viralizou na comunidade de IA há dois meses. A World Labs, sob a direção de Fei-Fei Li, acaba de anunciar oficialmente que está aberto a todos os usuários e também lançou uma série de novos recursos de uma só vez.

• Geração multimodal: Suporta vários métodos de entrada, como texto, imagem única, múltiplas imagens/vídeos e layouts 3D.
• Edição nativa de IA: Permite a substituição parcial e ajustes estruturais no mundo 3D gerado.
• Expansão e Combinação de Mundos: Preenche automaticamente as áreas das bordas e une várias cenas.
• Chisel: Crie uma estrutura com blocos e deixe a IA preencher automaticamente os detalhes de estilo.
• Exportação em todos os formatos: Suporta múltiplos formatos, incluindo nuvens de pontos gaussianas, malhas triangulares e vídeos, que podem ser importados diretamente para motores de jogos.

A barreira de entrada agora é bastante baixa. Basta inserir um texto descritivo ou fazer o upload de uma foto, e a IA pode gerar um mundo 3D completo. Com esse tipo de funcionalidade poderosa, os modeladores 3D tradicionais talvez precisem repensar suas trajetórias de carreira…

Aqui está um link para você experimentar: https://marble.worldlabs.ai/

Li Feifei revela seu golpe final: gerar um mundo 3D completo com uma única frase.

Vamos começar com um estudo de caso para ver o desempenho do Marble na geração de texto.

Como mostra a imagem, é apresentada uma cena completa de cozinha em 3D, com móveis de madeira, utensílios de cobre e detalhes de luz e sombra.

Eis aqui algo ainda mais difícil de entender. Veja esta descrição abstrata:

Mesmo diante desse estilo eclético que transcende o tempo e o espaço, a IA ainda consegue compreendê-lo com precisão.

Eu também fiz alguns testes por conta própria. Depois de tentar gerar uma cena de floresta, descobri que, embora a textura do musgo fosse um pouco repetitiva, a textura do tronco da árvore era nítida e detalhada, e a névoa que aparecia e desaparecia na floresta criava a atmosfera adequada.

Além de texto simples, o Marble também suporta uma gama mais ampla de métodos de criação:

• Geração de imagem única: Insira uma imagem e a IA criará automaticamente uma visão panorâmica de 360 ​​graus.
• Geração de múltiplas imagens/vídeos: Tire várias fotos de diferentes ângulos e a IA as unirá automaticamente para criar um espaço 3D completo.
• Geração de layout 3D: A estrutura é construída usando geometria básica, e a IA é responsável por preencher todos os detalhes.

Também testei a função de geração de imagem única. Depois de enviar uma foto de um cômodo comum, obtive o produto final em cerca de 6 minutos. Ao analisar mais detalhadamente, constatei que, assim como na versão de pré-visualização, o problema de distorção nas bordas ainda era bastante sério. Espero que possa ser otimizado no futuro. No entanto, para um produto em fase inicial, seu nível de acabamento atual já é bastante impressionante.

Em termos de flexibilidade, esse conceito de design de entrada multimodal supera em muito a maioria das ferramentas similares disponíveis no mercado.

A geração é apenas o primeiro passo; as capacidades de edição subsequentes são ainda mais notáveis.

O Marble também é o primeiro modelo do setor a integrar ferramentas de edição de IA nativamente, permitindo modificações profundas no mundo gerado. Por exemplo, em uma substituição parcial, quer remover a lixeira? Uma única frase resolve o problema; a IA cuidará automaticamente das alterações de cena e iluminação.

Se você deseja alterar drasticamente a estrutura, como transformar a parede do fundo do restaurante em um palco ou substituir as mesas por banquetas baixas de frente para o palco, isso também pode ser facilmente realizado. Em outras palavras, esse tipo de edição não é um simples processamento de imagem, mas um ajuste inteligente baseado em uma compreensão real da estrutura espacial 3D.

Além disso, o recurso "Expansão de Mundo" é igualmente poderoso. As bordas da cena gerada estão um pouco desfocadas? Clique no botão "Expandir" e a IA gerará automaticamente mais conteúdo para preencher essa área. Quer ainda mais espaço? Use o "Modo Combinado" para unir vários mundos.

A demonstração oficial mostrou uma composição ferroviária completa montada. O uso dessa cadeia de ferramentas reduziu significativamente o tempo entre a concepção criativa e a entrega do produto final.

Se as funções de geração e edição eram de certa forma esperadas, então o Chisel é uma ferramenta que se revela revolucionária.

Em termos simples, Chisel separou completamente "estrutura" e "estilo":

• Passo 1: Construa uma estrutura espacial usando formas geométricas básicas, como cubos e planos (como brincar com Lego).
• Passo 2: Escreva um texto descrevendo o estilo visual (por exemplo, "Museu de Arte Moderna" ou "Quarto em estilo escandinavo").
• Etapa 3: A IA preenche automaticamente a estrutura, transformando-a em um mundo 3D completo.

Ainda mais impressionante é a capacidade de gerar cenas completamente diferentes usando a mesma estrutura, mas com diferentes instruções de texto. Por exemplo, mantendo a mesma estrutura, mas alterando a instrução para "Museu de Arte Moderna", o resultado será uma parede branca minimalista combinada com pinturas abstratas.

Alternativamente, a estrutura permanece a mesma, mas o estímulo é alterado para "Quarto nórdico", apresentando móveis de madeira aconchegantes e uma vista da geleira pela janela.

Essa abordagem é um tanto semelhante à lógica de definir estrutura com HTML e estilo com CSS no desenvolvimento front-end, mas é excepcionalmente eficiente quando aplicada à modelagem 3D. Como Justin Johnson, cofundador da World Labs, disse em uma demonstração durante uma entrevista: "Posso selecionar diretamente o bloco 3D que representa o sofá e arrastá-lo para outro local."

No Marble, operações que exigem ajustes demorados em softwares de modelagem tradicionais são simplesmente uma questão de arrastar e soltar blocos…

Neste momento, os modeladores devem estar se sentindo muito confusos.

Então, como você utiliza o mundo 3D criado? O Marble oferece três opções de exportação:

• Gaussian Splats: A representação de maior fidelidade, adequada para renderização em tempo real e que pode ser executada diretamente no navegador.
• Malhas triangulares: divididas em malhas de colisão de baixa precisão e malhas de renderização de alta precisão, que podem ser importadas diretamente para engines de jogos como Unity e Unreal Engine.
• Formato de vídeo: Suporta controle de lente em nível de pixel e também pode ser "aprimorado" com IA, adicionando automaticamente efeitos dinâmicos como fumaça, chamas e fluxo de água.

A maioria dos vídeos no comunicado de imprensa oficial foi gerada diretamente usando a renderização Marble. Ao conectar toda essa cadeia de ferramentas, o processo desde a concepção até o recurso utilizável é bastante simplificado.

Os desenvolvedores de jogos podem usar o Marble para gerar ambientes de fundo, exportá-los para o motor gráfico e, em seguida, adicionar lógica interativa; equipes de cinema e televisão podem usá-lo para criar rapidamente prévias de cenas e planejar tomadas; criadores de conteúdo de realidade virtual podem até mesmo inserir diretamente o mundo gerado no Vision Pro ou no Quest 3 para a experiência.

Puxa vida, depois de todo esse tempo, voltamos ao ponto de partida e retornamos ao metaverso.

Em termos de estratégia de preços, a Marble adotou um modelo de assinatura com diferentes níveis:

• Versão gratuita: 7000 pontos por mês, gera até 4 mundos, suporta entrada de texto/imagem/panorâmica. Ideal para quem está começando, mas os recursos avançados estão bloqueados.
• Edição Standard (US$ 20/mês): 20.000 créditos por mês, 12 mundos, desbloqueia a entrada de múltiplas imagens/vídeos, o modo Chisel e a funcionalidade básica de exportação.
• Versão Pro (US$ 35/mês, US$ 1 no primeiro mês): 40.000 créditos, 25 mundos, suporte para expansão de cenas, aprimoramento de vídeo, exportação de malha em alta resolução e inclui uma licença comercial.
• Edição Premium (US$ 95/mês): 120.000 créditos, 75 mundos, todas as funcionalidades desbloqueadas.

É óbvio que a versão gratuita tem uma barreira de entrada baixa, atraindo um grande número de usuários para experimentá-la. No entanto, se você quiser usá-la em um ambiente de produção, basicamente terá que optar pela versão profissional. A oferta por tempo limitado de US$ 1 no primeiro mês também é muito tentadora, claramente criada para que você experimente o produto em primeira mão.

A liberação de Marble provocou reações altamente polarizadas.

Garry Tan, CEO da Y Combinator, declarou no Twitter: "Feifei Li é uma figura lendária, e este lançamento é significativo." Alguns desenvolvedores independentes de jogos e criadores de conteúdo em realidade virtual também expressaram suas opiniões nas redes sociais, acreditando que Marble reduziu significativamente as barreiras de entrada para a criação de conteúdo 3D.

No entanto, também houve muitas dúvidas.

Uma pesquisa recente realizada na Game Developers Conference (GDC) revelou que um terço dos entrevistados acredita que a IA generativa tem um impacto negativo na indústria de jogos, um aumento de 12% em relação ao ano anterior. As preocupações incluíam: violação de propriedade intelectual, consumo excessivo de energia, queda na qualidade do conteúdo gerado por IA e demissões no setor.

A Wired já havia relatado que empresas de jogos, incluindo a Activision Blizzard, estão usando IA para reduzir custos e lidar com a rotatividade de funcionários.

Em resposta a essas perguntas, Justin Johnson afirmou: "O Marble não pretende substituir completamente o processo de desenvolvimento de jogos, mas sim fornecer recursos que você pode usar diretamente." No entanto, se a situação real será como ele afirma depende de como o mercado o utilizará.

Estrela Polar de Li Feifei: Inteligência Espacial

Apenas alguns dias antes do lançamento de Marble, Fei-Fei Li publicou um longo artigo delineando sua visão: Inteligência Espacial.

Os principais pontos de vista podem ser resumidos da seguinte forma:

Embora os grandes modelos de linguagem possuam fortes capacidades linguísticas, eles quase nada sabem sobre o mundo físico. Não conseguem estimar distâncias ou direções com precisão, não conseguem "rotacionar" objetos mentalmente e não conseguem prever leis físicas básicas.

Em contraste, o cerne da inteligência humana não é a linguagem, mas a capacidade de compreender e manipular o espaço tridimensional. Desde dirigir um carro até pegar uma chave, desde projetar edifícios até descobrir a estrutura de dupla hélice do DNA — tudo depende da inteligência espacial.

De acordo com o plano de Li Feifei, a aplicação da inteligência espacial será dividida em três etapas:

• Recentes (criatividade): Jogos, filmes, design arquitetônico (projeto em que Marble está trabalhando atualmente).
• Avaliação intermediária (Robótica): Treinamento de robôs em ambientes simulados para ensiná-los a agir no mundo real.
• A longo prazo (avanços científicos): desenvolvimento de medicamentos, ciência dos materiais, diagnósticos médicos, educação imersiva.

Em sua postagem no blog, Fei-Fei Li afirmou claramente: "Sem inteligência espacial, nosso sonho de máquinas verdadeiramente inteligentes não pode ser realizado."

A visão é grandiosa, mas a realidade é mais complexa.

A World Labs não é a única empresa a competir no cenário mundial de modelagem.

Atualmente, existem vários outros concorrentes no mercado: a Decart lançou uma versão demo gratuita, com foco na geração em tempo real; a Odyssey também oferece um período de teste gratuito, mas suas funções são relativamente básicas; o Google Genie ainda está em fase de pesquisa e pré-visualização e ainda não foi comercializado.

Em comparação, a principal vantagem do Marble é bastante óbvia. Ele gera um mundo 3D completo e persistente, em vez de um modelo que se gera conforme você explora, o que pode reduzir significativamente problemas de deformação e inconsistência.

Mais importante ainda, o Marble foi o primeiro a alcançar a comercialização, e seu modelo de versão gratuita com assinatura paga já começou a gerar receita. Em termos de abrangência de suas ferramentas, o Marble também é o mais completo, com todo o processo, da geração à edição e exportação, sendo integrado, eliminando a necessidade de alternar entre várias plataformas.

Da ImageNet à inteligência espacial, a carreira acadêmica de Fei-Fei Li tem se concentrado no mesmo objetivo: permitir que as máquinas compreendam o mundo visual. A ImageNet ensinou à IA "o que é isto". O projeto Marble visa ensinar à IA "onde isto está, como se move e como interagir com isto".

O primeiro impulsionou a revolução do aprendizado profundo. Será que o segundo desencadeará a próxima mudança de paradigma? É cedo demais para dizer. Mas, pelo menos por enquanto, essa direção parece empolgante e desafiadora.

A OpenAI continua sua incursão em LLM, Fei-Fei Li aposta na inteligência espacial… O resultado dessa aposta arriscada em rotas tecnológicas poderá ser revelado nos próximos anos.

#Siga a conta oficial do iFanr no WeChat: iFanr (ID do WeChat: ifanr), onde você encontrará conteúdo ainda mais interessante o mais breve possível.

ifanr | Link original · Ver comentários · Sina Weibo