Esmague a parede dimensional! A tecnologia de chamadas holográficas 3D do Google entrou em fase de teste e as videochamadas serão subvertidas
Se o seu parceiro de relacionamento à distância fizer aniversário, como você o comemorará?
Enviar uma mensagem do WeChat? Palavras simples parecem um pouco frias.
Fazer uma ligação? A emoção real parece não ser liberada completamente o suficiente.
Fazer uma chamada de vídeo? Há sempre uma sensação de invisibilidade.
Neste momento, sempre pensamos: seria melhor se pudéssemos aparecer um ao lado do outro pela primeira vez.
No entanto, a porta arbitrária de Doraemon ainda é muito avançada para a tecnologia humana no século 21, mas não desanime, pelo menos agora podemos enviar um eu virtual um para o outro.
O que? Você acha que eu vou falar sobre o metaverso misterioso de novo?
Não estou falando de um avatar de desenho animado sem pernas, mas de um "você" holográfico que se parece quase exatamente com você.
Conversa com "pessoas reais"
Na conferência Google I/O em maio do ano passado, o CEO do Google, Sundar Pichai, lançou o Project Starline, um projeto que pode realizar chamadas de vídeo holográficas 3D sem depender de fones de ouvido.
O Projeto Starline é um dos projetos experimentais altamente confidenciais do Google. De acordo com os pesquisadores do Google, a equipe do projeto começou a fazer pesquisas técnicas relacionadas há 6 anos e não será divulgada ao público até 2021, e está em silêncio desde então. quase o ano inteiro.
Justamente quando as pessoas pensavam que este era outro projeto do Google "desenhando uma torta", o Project Starline recentemente convidou a mídia e parceiros, incluindo The Verge, para o laboratório para experimentá-lo por si mesmos.
O editor do Verge, Jay Peters, lamentou após a experiência que esta é a interação de realidade virtual mais realista que ele já experimentou, "parece que a ficção científica brilha na realidade".
Os meios de comunicação humana estão em constante atualização com o desenvolvimento da tecnologia da informação. De telegramas antigos a chamadas telefônicas e videochamadas, as dimensões da transmissão humana de informações foram continuamente aprimoradas, e a pontualidade e o conteúdo da transmissão de informações também foram continuamente aprimorados.
Se essas duas dimensões forem usadas como eixos coordenados de desenvolvimento, não é difícil imaginar que o próximo estágio da tecnologia de comunicação abrangerá conteúdos mais ricos, como som, imagem e localização espacial, e poderá transmiti-los instantaneamente com quase nenhum atraso.
Em muitos filmes de ficção científica, os criadores de ficção científica acreditam que as videochamadas estereoscópicas holográficas são a próxima geração de métodos de comunicação que atendem a essa definição.
Ou seja, depois que os humanos trouxeram com sucesso rostos familiares para o seu lado, o próximo passo é trazer "pessoalmente" para a cena.
Como resultado, surgiu o projeto Project Starline.
Andrew Nartker, diretor de gerenciamento de produtos da Starline, mencionou em uma entrevista à mídia que seus avanços na tecnologia de comunicação permitiram que os usuários se tornassem mais íntimos e conectados com pessoas de todo o mundo.
A julgar pela aparência da instalação do Project Starline, ela não parece estar relacionada a palavras high-tech como "3D" e "imagem holográfica" – você deve saber que em filmes de ficção científica, os protagonistas são realizados através de um metal futurista Base circular Comparado com a chamada de projeção estéreo holográfica, o Projeto Starline é mais como uma cômoda delicada.
Quando a tela grande do Project Starline foi ligada, a sensação de tecnologia tardia se desdobrou lentamente.
Jay Peters disse que o Projeto Starline é como uma janela mágica que conecta as duas salas. O pesquisador do Google sentado à sua frente parece quase da mesma altura e aparência da pessoa real. Quando ele entregou uma maçã, ele pode até sentir a distância espacial que se aproxima do mundo real através das sombras na imagem.
É como uma interação cara a cara na mesma mesa, tão realista que você quase esquece que as duas salas de teste estão realmente distantes.
A razão pela qual "realismo" é usado para descrever este encontro único (você nunca ouvirá alguém dizer que a pessoa na videochamada parece tão realista) é porque a tela exibida no terminal de tela não é uma simples tela de vídeo. "humano virtual" que é re-renderizado com base em informações como imagens e profundidades, que é a chave para criar uma presença surreal.
Segredos 3D
Por que a virtualização de pessoas reais é mais real? Para entender esse problema, comece com o funcionamento do Project Starline.
Sentado em frente a esta requintada " penteadeira ", a coisa mais atraente é esta tela grande de 65 polegadas. Esta não é uma TV doméstica comum, mas uma tela de campo de luz 3D de 8K/60Hz. Os pesquisadores do Google chamam de monocular. a densidade de pixels observável é o dobro de dispositivos VR, como o Oculus Quest, permitindo uma exibição estereoscópica mais fina.
Para fazer com que essa exibição de campo de luz exiba um efeito estereoscópico, é necessário coletar as informações de profundidade do objeto. Os pesquisadores colocaram várias câmeras binoculares estéreo e câmeras infravermelhas na parte superior e inferior da tela, para que a distância espacial dos personagens possa ser restaurada combinando informações de profundidade de vários ângulos.
Várias câmeras de rastreamento monocromáticas também são instaladas em ambos os lados e na parte superior da tela para posicionamento 3D em tempo real das características faciais do personagem, para que o modelo do personagem possa ser restaurado com precisão quando o personagem estiver em movimento.
▲ Fotos reais
▲ Efeito de renderização
Quando a posição coletada e as informações da imagem são transmitidas para a extremidade receptora, o sistema renderiza três fluxos de profundidade de acordo com as posições dos olhos esquerdo e direito do público e os mistura com o fluxo de textura para renderizar um "humano virtual" realista.
Neste momento, quando a posição do olho do espectador muda, a posição da imagem seguirá o movimento do globo ocular para fazer uma ligeira deflexão posicional, que é a realidade espacial que as imagens 2D tradicionais não podem fornecer.
Além de quebrar a "parede dimensional" visualmente, o Projeto Starline também fez um grande esforço na audição.
Na extremidade de entrada, o microfone pode formar um feixe dinâmico direcional com os dados de rastreamento de rosto para obter redução de ruído e anti-interferência. Na saída, o sistema de rastreamento localiza os ouvidos do público, simulando a orientação espacial da conversa, fazendo parecer que a boca está falando na tela.
Imagine só, quando você deseja realizar uma importante videoconferência com colegas e parceiros, os participantes não precisam mais se concentrar na tela pequena e seus olhos não precisam mais ficar desfocados da câmera, mas podem fazer contato visual natural com você. , e até mesmo usar alguma linguagem corporal para auxiliar na expressão, tal experiência de participação será um salto qualitativo.
No entanto, nesta fase, o Projeto Starline ainda está longe de ser aplicado na prática.
A editora da Wired, Lauren Goode, disse depois de experimentar o Projeto Starline que, embora os efeitos visuais do vídeo holográfico sejam ótimos na maioria das vezes, quando o personagem se move muito, a imagem estereoscópica original muda brevemente de volta para o plano, o que não é muito experiente. .
Os pesquisadores do Google também mencionaram que, ao lidar com formas complexas (como cabelos macios, óculos ópticos) ou objetos em movimento, geralmente aparecem falsos "artefatos", e sua equipe está trabalhando atualmente para melhorar a precisão do processamento de imagens.
Além dos entraves técnicos, o custo de implantação de um conjunto completo do Projeto Starline também é bastante alto, dispendiosos displays de campo de luz e várias câmeras ópticas estão destinados a ser apenas produtos de laboratório no momento, sendo quase impossível entrar no mercado consumidor. possível.
Andrew Nartkerct disse francamente em entrevista ao The Verge que o Project Starline é uma nova tecnologia empolgante e uma exploração inovadora no campo da interação espacial, mas ainda não é um "produto" no momento.
O mar é um confidente, e o fim do mundo é como um vizinho
Então, o que exatamente o Project Starline está tentando resolver? A resposta dada pela equipe do projeto também é muito simples: fazer você sentir que está com uma pessoa real.
No ano passado, o software de conferência remota representado pelo Zoom foi amplamente utilizado em empresas e escolas. As pessoas estão separadas por vários motivos e precisam trabalhar juntas por meio desses softwares de vídeo e até organizar uma reunião rara. A conexão com as pessoas também foi diluído como resultado.
Em um relatório sobre o impacto da videoconferência na produtividade, a Microsoft mencionou que as pessoas são mais propensas a se distrair durante a videoconferência do que na comunicação do mundo real, o que é uma resposta natural para pessoas que enfrentam videoconferência de alto estresse.
O Project Starline, que proporciona uma experiência de diálogo da vida real, parece eliminar essa sensação de pressão que dificulta a comunicação.
Embora o Projeto Starline esteja cheio de todos os tipos de equipamentos de câmera, quando funciona, essas tecnologias frias serão deixadas para trás pelos participantes, porque neste momento, a pessoa que está sentada à sua frente é uma pessoa quase real. pessoa".
Os pesquisadores do Google realizaram um experimento comparativo e descobriram que, em comparação com a comunicação por vídeo tradicional, os participantes que se comunicaram usando o Project Starline tiveram mais contato visual e linguagem corporal e conseguiram lembrar 28% mais conteúdo após a comunicação. Este pode ser o encanto da comunicação natural.
Atualmente, o Project Starline é apenas um experimento em pequena escala para funcionários do Google. O Google disse que, a partir deste ano, abrirá gradualmente o teste para parceiros como Salesforce, WeWork e T-Mobile para promover as pessoas a construir conexões mais profundas.
O Project Starline ganhará popularidade no futuro como uma cabine telefônica para a era 3D?
Para um projeto tão tecnologicamente avançado, é difícil dar uma conclusão sobre esse assunto no momento. O Projeto Starline pode ter sucesso em se tornar um produto real, mas também será arrastado por custos excessivos e levará a natimortos, e pode até se tornar o Google Parte do futuro AR, tecnologia VR.
Mas não importa o que aconteça, esse tipo de tecnologia futura que responde às necessidades reais das pessoas merece mais atenção do círculo tecnológico.
Afinal, em um momento em que as pessoas estão acostumadas à separação, não há nada mais precioso do que se ver pessoalmente.
#Bem-vindo a prestar atenção à conta oficial do WeChat de Aifaner: Aifaner (WeChat: ifanr), mais conteúdo interessante será trazido para você o mais rápido possível.
