A nova ferramenta Shap-E da OpenAI é Dall-E para objetos 3D

O mais recente empreendimento da OpenAI, Shap-E, é um modelo que permite gerar objetos 3D a partir de texto, não muito diferente de como Dall-E pode criar imagens 2D.

De acordo com a OpenAI, o Shap-E é “um modelo generativo condicional para ativos 3D. Ao contrário do trabalho recente em modelos generativos 3D que produzem uma única representação de saída, Shap-E gera diretamente os parâmetros de funções implícitas que podem ser renderizadas como malhas texturizadas e campos de radiância neural”.

A postagem da empresa no GitHub explica como o Shap-E é treinado em uma combinação de mapeamento de ativos 3D e um modelo de difusão condicional.

No entanto, este programa gratuito é um pouco mais difícil de instalar e configurar do que o sempre popular ChatGPT da empresa, como foi explorado pela Tom's Hardware .

Você pode baixar o modelo Shap-E no GitHub gratuitamente e acessá-lo no Microsoft Paint 3D. Ele também funciona quando convertido em um arquivo STL, o que permite que as renderizações que você cria ganhem vida por meio de impressoras 3D.

Embora esse conhecimento básico do modelo Shap-E possa parecer bastante simples, pode ser necessário algum conhecimento técnico para instalar e executar o modelo.

O editor-chefe da publicação, Avram Piltch, testou o Shap-E, que ele afirma ter levado oito horas para entender. Ele acrescentou que o OpenAI oferece poucas instruções além de explicar que você deve usar um comando pip do Python para instalação.

Uma vez instalado, Piltch diz que foi capaz de testar prompts com arquivos GIF animados em cores e arquivos PLY monocromáticos, com os GIFs animados sendo favoráveis, observou ele.

Alguns prompts incluíam um tubarão, uma trepadeira do Minecraft e “um avião que parece uma banana”, todos com níveis variados de qualidade, dependendo do tipo de arquivo. Piltch também usou a função do modelo, que permite aos usuários carregar uma imagem 2D para conversão em um objeto 3D.

O editor observou que aqueles que tentam instalar o Shap-E e renderizar objetos 3D devem ter em mente que o modelo requer muitos recursos do sistema de um PC.

Em particular, o Shap-E é compatível apenas com GPUs Nvidia e requer CPUs de alto desempenho para renderizar em questão de minutos, em vez de horas.