Ao pressionar o botão de copiar no mundo real, Hesai criou uma "câmera espacial com IA"
Ao se preparar para reformar uma casa antiga, muitas pessoas sempre querem ver como ela ficaria com uma disposição diferente. Mudar o sofá de parede, girar a mesa de jantar ou mover a escrivaninha para perto da janela tornaria o ambiente mais aconchegante?
Mas mover esses móveis não é apenas trabalhoso, e depois de todo esse esforço, você pode descobrir que o local original era, na verdade, mais adequado.
É conveniente que a IA crie uma renderização primeiro, mas as proporções espaciais e os tamanhos dos móveis na renderização podem não corresponder à sua casa.
Nesse ponto, algumas pessoas podem pensar: "Se pudéssemos digitalizar nossa casa já mobiliada em um computador, mover o sofá e ajustar a mesa de jantar no mundo virtual, ver o efeito de diferentes ângulos e só fazer as alterações nós mesmos se estivermos satisfeitos, isso nos pouparia muito trabalho."
É isso que Hesai quer fazer: criar uma cópia editável do mundo real.
Em 14 de outubro, a empresa, conhecida por seu LiDAR automotivo, lançou o Kosmo 3D World Data Engine, que inclui a câmera espacial portátil com IA Kosmo One para aquisição de dados e a plataforma em nuvem Kosmo World para reconstrução, edição e gerenciamento de ativos 3D.
O objetivo do cofundador e CTO da Hesai, Xiang Shaoqing, é:
"Tornar a modelagem espacial tão simples quanto tirar uma foto."
A Hesai também começará a expandir seu alcance, passando de uma fornecedora líder profundamente enraizada na indústria automotiva para o campo da inteligência incorporada.
Crie um clone editável do seu quarto.
Em resumo, o Kosmo One é um DJI Pocket que se parece com uma versão maior do modelo original, equipado com um sensor LiDAR.
O sistema integra LiDAR e câmera: o LiDAR mede a forma, a distância e a posição dos objetos, enquanto o sistema de imagem CMOS registra cor, textura, luz e sombra. As duas informações são então alinhadas para reconstruir o espaço real.
Hesai elevou a precisão geométrica do LiDAR ao nível milimétrico, permitindo identificar claramente malhas com espaçamento de aproximadamente 5 mm em uma raquete de tênis. Essa capacidade de reproduzir estruturas tão finas está diretamente relacionada à precisão dos detalhes da réplica espacial 3D.
O componente de imagem utiliza um sensor CMOS de uma polegada, que suporta captura de até 8K, e a resolução máxima do arquivo final exportado é de 6K.
No entanto, o objetivo deste sensor CMOS é diferente do de uma câmera convencional. Xiang Shaoqing deu o exemplo de um piso. O mesmo piso, quando fotografado de diferentes alturas e posições, pode apresentar cores diferentes após ser processado pelo balanço de branco, exposição e outros ajustes da câmera.
O "tom" e a "estilização" de que a indústria de vídeo tanto fala são coisas que Kosmo tenta ao máximo evitar.
Para a Kosmo, a chave é preservar as cores e a iluminação originais da cena e reduzir as diferenças de processamento entre diferentes câmeras e em diferentes momentos de aquisição, para que múltiplas perspectivas possam ser combinadas para formar uma cena 3D coerente.
Por isso, a Kosmo otimizou especificamente seu sistema de processamento de imagens ISP para reconstrução 3D, visando garantir a consistência da imagem entre diferentes câmeras e ao longo do tempo.
Durante a aquisição de dados, o lidar, o sistema de imagem e a IMU de alta precisão são sincronizados em nível de microssegundos, permitindo que a imagem corresponda à posição e orientação atuais do dispositivo, fornecendo uma referência espacial precisa para a reconstrução do ambiente.
Segundo dados divulgados pela Hesai, em um ambiente interno típico, o Kosmo One consegue escanear uma área de aproximadamente 100 metros quadrados em cerca de 15 minutos. Além disso, o Kosmo One oferece escaneamento instantâneo, orientação inteligente e retomada do escaneamento com um único clique; mesmo que o escaneamento seja pausado no meio, ele pode ser retomado de um local diferente.
Após a conclusão da coleta de dados, foi a vez da Kosmo World subir ao palco.
A Kosmo World é responsável principalmente por duas coisas:
- Transformar os dados coletados em um espaço inteligente que a IA possa entender, com o qual possa interagir e que possa ser usado para treinamento.
- Utilizando segmentação semântica por IA, os objetos em uma cena são identificados e extraídos como objetos 3D editáveis independentemente.
Graças à sua alta precisão, o Kosmo é capaz de realizar muitas tarefas que são difíceis para a IA geral atual.
Hesai realizou uma comparação no local usando o GPT-6 Astra. Primeiro, tiraram 20 fotos da mesma sala de diferentes ângulos e, em seguida, usaram o modelo para reconstruir o ambiente.
Na cena gerada pelo GPT-6 Astra, surgiram problemas relacionados à posição e forma incorretas do sofá, bem como discrepâncias nos materiais e na iluminação. Sem dados de alta precisão, o GPT-6 Astra tem dificuldades para recriar completamente a cena real.
Mesmo quando os dados 3DGS coletados pelo Kosmo são transferidos para o GPT-6 Astra, as relações posicionais dos objetos melhoram, mas detalhes como o formato da cadeira e o material das flores ainda permanecem imprecisos.
Xiang Shaoqing comparou o modelo de propósito geral em constante evolução a um "cérebro", enquanto o Kosmo One é responsável por fornecer "olhos" mais precisos. À medida que o modelo se torna cada vez mais inteligente, ele também requer informações espaciais reais e confiáveis como entrada.
O Kosmo combina a aquisição de dados de alta precisão com a reconstrução por IA, permitindo que os "olhos" e o "cérebro" trabalhem melhor em conjunto. Os avanços em modelos gerais também podem continuar a aprimorar as capacidades de reconstrução e geração do Kosmo World.
Além disso, no Kosmo World, a IA continuará processando objetos na cena.
Durante a demonstração na conferência de imprensa, o sistema conseguiu identificar o sofá com base em comandos de voz, segmentá-lo e extraí-lo da cena completa. Após o sofá ser movido, o tapete, anteriormente oculto, foi revelado, e a IA preencheu a textura com base nas informações do ambiente para construir um cenário completo.
De "Gimbal portátil" a "Laser portátil"
Se as câmeras gimbal portáteis mudaram a forma como muitas pessoas documentam suas vidas, então a Kosmo, com seus dados espaciais adicionais, também pode mudar a forma como muitas pessoas trabalham.
No mínimo, mudou a forma como a Pixar trabalha.
O RenderMan, um renderizador de nível industrial da Pixar, é a ferramenta de renderização por trás de uma série de grandes sucessos mundiais, como Toy Story, The Mandalorian e Jurassic Park.
Dylan Sisson, diretor criativo da RenderMan, digitalizou as icônicas luminárias e as esculturas de bolas coloridas da praça do campus da Pixar e as inseriu no Kosmo.
A digitalização preserva a aparência da cena, e a posição, o tamanho e a transparência dos dados podem então ser ajustados no software para determinar ainda mais o estilo da imagem.
Isso significa que as cenas capturadas podem ser usadas repetidamente em diferentes etapas de produção, permitindo que os profissionais façam iterações rápidas dentro das cenas virtuais criadas pela Kosmo e experimentem diferentes formas de expressão.
O espaço escaneado também pode servir como campo de treinamento para robôs. Os desenvolvedores podem alterar a posição dos objetos e o ângulo de visão em um ambiente de simulação para treinar e testar o robô repetidamente.
Segundo Hesai, o robô inteligente embarcado Sharpa utilizou o Kosmo para recriar uma loja da DQ, construir um ambiente de treinamento e concluir a implantação combinando hardware e modelos do robô, alcançando uma taxa de sucesso de 99%.
O futuro das câmeras espaciais depende em grande parte da possibilidade de integrar os dados coletados em modelos 3D diretamente utilizáveis e de integrar esses modelos em diferentes softwares e reutilizá-los repetidamente em diferentes cenários.
Li Yifan, CEO da Hesai, acredita que o mercado de inteligência espacial, incluindo câmeras espaciais, deverá superar o mercado de LiDAR a longo prazo.
As câmeras espaciais farão parte do nosso dia a dia.
Desde "vídeos espaciais" em iPhone até as capacidades de modelagem do GPT-6 Astra e câmeras espaciais, não é difícil perceber que o mundo virtual está se tornando cada vez mais "tridimensional".
Na conferência de imprensa, Li Yifan expressou a sua esperança de que a Hesai pudesse desempenhar o papel de infraestrutura, complementando os robôs com capacidades de percepção, dados espaciais e movimento, para que mais empresas pudessem construir os seus próprios robôs com base nesses fundamentos.
Na verdade, a indústria de veículos inteligentes, na qual Hesai atua originalmente, e a inteligência incorporada são duas faces da mesma moeda. Um carro que consegue entender o ambiente ao seu redor, decidir sobre ações de direção e aplicá-las à realidade por meio da direção e da frenagem já possui as características da inteligência incorporada.
Ao fornecer LiDAR para automóveis, a Hesai já está envolvida no aspecto de percepção do veículo.
Além disso, a Hesai também fornece módulos de energia que permitem a movimentação de robôs. De acordo com dados divulgados pela Hesai, até o final do segundo trimestre de 2026, mais de 10.000 desses módulos já haviam sido entregues, e a linha de produtos está se expandindo, abrangendo desde módulos para mãos com destreza manual até módulos para articulações de corpo inteiro.
Desde radares e câmeras até juntas robóticas, a Hesai está utilizando a experiência acumulada por sua empresa de LiDAR para solucionar desafios de engenharia em seus produtos.
No entanto, por enquanto, o Kosmo atende principalmente usuários profissionais com tarefas específicas. Para se tornar um dispositivo de uso cotidiano que pessoas comuns possam utilizar à vontade, ele precisa de hardware mais portátil e uma experiência mais conveniente, desde a aquisição e o processamento de dados até a aplicação.
A má notícia é que Hesai ainda não anunciou o preço de venda do Kosmo e, a curto prazo, você pode não conseguir usá-lo para escanear e remodelar seu quarto.
A boa notícia é que o Kosmo continuará a evoluir e os dispositivos de aquisição espacial terão a oportunidade de entrar no cotidiano de mais formas do que apenas dispositivos portáteis, graças à colaboração entre a Hesai e seus parceiros.
Ao final da coletiva de imprensa, Hesai também deixou um "Só mais uma coisa":
A empresa anunciou uma colaboração com uma das principais empresas nacionais de drones. O breve vídeo exibido no evento mostrou a perspectiva de escaneamento subindo ao ar, ampliando o alcance da coleta de dados para edifícios externos e espaços maiores.
A inteligência espacial realmente chegou a um ponto em que precisa decolar.
