Assista ao Meta demonstrar rastreamento VR de corpo inteiro com apenas um headset Quest

O Meta Reality Labs está dando grandes passos na renderização de avatares com os mais recentes avanços combinando aprendizado de máquina (ML) com dados de sensores dos fones de ouvido Quest VR para mostrar seu corpo inteiro, incluindo braços, pernas, tronco e cabeça. O resultado é uma representação muito realista e precisa das poses e movimentos de uma pessoa usando um fone de ouvido Quest 2.

Isso é bastante surpreendente, pois apenas as posições e orientações do headset Quest VR e seus dois controladores foram usados ​​para estimar o movimento e a posição das pernas. Não há faixas de rastreamento colocadas nas pernas e nenhuma câmera externa usada para este sistema notável. O cientista de meta-pesquisa Alexander Winkler compartilhou vários vídeos no Twitter junto com links para o artigo científico sobre arXiv e um vídeo do YouTube com mais detalhes.

Em um sentido científico, isso é conhecido como rastreamento de movimento de sensores esparsos e o ML é particularmente hábil em extrair informações significativas de muito pouco, se houver dependências suficientes entre o que é conhecido e o desconhecido. Como balançamos os braços para nos equilibrar ao caminhar e correr, o movimento dos braços é um bom indicador do que as pernas costumam fazer. Combinado com a inclinação e direção da cabeça, o sistema ML pode prever a maioria dos movimentos humanos com muita precisão.

Abordagens mais tradicionais para rastrear membros dependem de hardware extra, como marcadores refletivos colocados em suas pernas e tronco que são identificados por câmeras externas ou bandas com sinalizadores sem fio usados ​​em vários locais em suas pernas para transmitir dados de posição e movimento.

Embora esses métodos funcionem, eles geralmente são vendidos como itens acessórios que custam mais e não são bem suportados na maioria dos aplicativos e jogos. Se o Meta conseguir resultados tão bons com um headset Quest 2, os desenvolvedores estarão mais propensos a construir rastreamento corporal em seus jogos e aplicativos.

Apesar desses avanços significativos, o Meta Reality Labs admite que mais trabalho precisa ser feito. Se você se mover rápido o suficiente, o modelo de ML não identificará corretamente sua pose. Posturas inusitadas são difíceis para o computador estimar e se o ambiente virtual tiver obstáculos que não existem na realidade, o movimento não corresponderá. O efeito geral parece ser muito bom, no entanto, e seria uma boa atualização poder ver um corpo inteiro em vez de torsos flutuantes ao conversar com amigos em VR.

Espero que essa tecnologia esteja pronta para lançamento em breve. Com o anúncio do headset Quest Pro da Meta esperado em apenas algumas semanas, o momento para avatares de corpo inteiro parece perfeito. O Meta Quest Pro pode rastrear o movimento dos olhos e as expressões faciais, proporcionando uma sensação de presença aprimorada para seus amigos, familiares e colegas de trabalho, podendo ser bastante aprimorada em um futuro próximo.