Os óculos AR mais poderosos estão aqui! Projeto ultrassecreto de dez anos da Meta, seu próximo celular pode ser óculos

Como serão os óculos no futuro? Não sei quantas pessoas imaginaram isso.

Tem quase o mesmo tamanho de agora. Ele se transforma em um HUD em movimento durante a navegação, a imagem dinâmica da outra parte fica suspensa no ar. As lentes podem exibir todo o conteúdo que você precisa… De qualquer forma, é semelhante. aos usados ​​por Vegeta e Homem de Ferro.

Esta manhã, a Meta lançou o Orion, os primeiros óculos inteligentes AR, aproximando-nos um pouco mais deste produto ideal. Embora os óculos AR tenham sido lançados um após o outro nos últimos anos, os pontos em comum também são óbvios: ou têm uma única função e são apenas um projetor móvel, ou são volumosos e caros, completamente inadequados para o mercado de massa.

Em comparação com os produtos anteriores, a aparência menos volumosa do Meta Orion e as funções AR integradas deram mais uma vez a todos esperança para a implementação de óculos AR.

Além disso, o Meta Connect 2024 é um nó importante para o décimo aniversário da conferência. Zuckerberg também trouxe outros novos gadgets:

• Os óculos inteligentes Meta Orion fazem uma estreia impressionante, liderando o setor em experiência de AR;
• Os óculos MR montados na cabeça Meta Quest 3S são lançados. A "Youth Edition" do Quest 3 não é nova, mas é mais barata;
• A Meta AI continua a ser atualizada para ajudar o hardware do head-mounted display a ter uma melhor experiência do usuário;
• Os novos recursos de IA do Meta Ray-Ban: tradução em tempo real, sugestões de roupas personalizadas e também pode ajudá-lo a lembrar de vagas de estacionamento
• É revelado o primeiro grande modelo de código aberto da Meta, Llama 3.2, com recursos multimodais.

O hardware AI + é um tópico inevitável para todos os produtos eletrônicos de consumo este ano. Então, como a Meta combina seus próprios modelos grandes com novo hardware? Como são os tão esperados óculos inteligentes Meta Orion? Vamos dar uma olhada.

Os primeiros óculos AR da Meta fazem uma estreia impressionante, um produto de amanhã que levará dez anos para estar “all in”

Na opinião de Zuckerberg, os óculos deveriam ser o melhor dispositivo “futurista”.

Antes disso, os óculos co-branded Ray-Ban Meta, que haviam entrado no mercado de massa e alcançado bons resultados, verificaram com sucesso a aceitação dos óculos inteligentes pelo mercado.

Mas só se pode dizer que este produto completou metade do objetivo do Meta: Ray-Ban Meta fornece principalmente áudio, fotografia e algumas funções de IA. Simplificando, ainda é um dispositivo tradicional usado nos olhos.

O produto completo que Zuckerberg chama de "impecável" é o primeiro óculos inteligente AR da Meta, Orion. Após dez anos de desenvolvimento secreto e bilhões de dólares investidos, ele foi finalmente retirado da caixa de confidencialidade hoje.

A primeira impressão destes óculos é naturalmente que o design da aparência é muito próximo dos óculos de sol comuns, o que imediatamente coloca uma grande lacuna entre eles e os produtos concorrentes "grandes e ásperos" existentes no mercado.

Porque os óculos também devem ter uma boa aparência.

Claro, isso também ocorre porque a Meta não optou por integrar todos os componentes em um único formato de óculos. O Meta Orion consiste em três partes: o corpo dos óculos, uma pulseira de rastreamento manual e um “módulo de computação” do tamanho de um controle remoto.

Esta solução “split”, aliada ao material de magnésio mais leve utilizado no corpo, permite que o corpo dos óculos Orion atinja um peso surpreendente de 98 gramas. Para efeito de comparação, os novos óculos AR da Snap, lançados na semana passada, pesam 226 gramas.

O que é ainda mais impressionante é que o Orion, que tem um corpo fino e leve, pode atingir uma duração de bateria de cerca de 2 horas, enquanto os óculos mais grossos e pesados ​​podem durar apenas 45 minutos.

Em termos de capacidade de projeção AR, que é o núcleo dos óculos, a Orion alcançou “muito à frente” em muitos aspectos.

A lente da Orion não é uma tela de vidro, mas uma lente de carboneto de silício. O projetor em miniatura na moldura emite luz em um guia de ondas, e o guia de ondas é projetado na lente, exibindo assim conteúdo virtual AR (Zhao) com diferentes profundidades e tamanhos. chama isso de "panorama").

De acordo com testes do The Verge, o Meta Orion tem um campo de visão de até 70 graus, que podem ser os óculos AR com o maior campo de visão do setor.

De acordo com os vídeos de demonstração existentes, os usuários podem usar óculos para abrir várias janelas do aplicativo Meta Horizon para multitarefa ou usar o Meta AI para identificar e rotular coisas no mundo real.

Mesmo que a perspectiva do usuário se afaste dessas janelas, essas projeções virtuais sempre “existirão”, aguardando o retorno do olhar do usuário.

Quanto à qualidade e clareza da imagem projetada, não é um problema para a leitura de imagens e texto, mas por enquanto você não vai querer usar esses óculos para assistir filmes.

As boas habilidades sociais de Meta também colidiram com os óculos AR para criar novos truques. Os amigos na chamada aparecerão na sua frente como uma imagem de projeção holográfica, mas ainda é relativamente difícil no momento.

O Orion também possui uma câmera voltada para dentro que escaneia o rosto do usuário para gerar um modelo em tempo real para videochamadas com o usuário do telefone.

Em termos de interação, o Meta Orion suporta rastreamento ocular, controle de gestos e operação de voz de IA. Usar a pulseira correspondente pode realizar operações de gestos mais sofisticadas.

Esta pulseira pode reconhecer alguns gestos: apertar o dedo indicador com o polegar para selecionar o conteúdo; , em geral muito natural.

Vale ressaltar que a pulseira também fornece feedback tátil para informar se o gesto foi reconhecido com sucesso, resolvendo um problema na interação atual de RM.

O princípio desta pulseira é ler sinais nervosos relacionados a gestos por meio da eletromiografia. The Verge chegou a comentar que é “um pouco como ler mentes”.

Com esta pulseira, os usuários podem usar o olhar como um ponteiro na interface do Orion e beliscar como um clique. A experiência geral é muito natural, se você quiser usar óculos AR em público, não precisará mais fazer isso de maneira estranha. dar ordens ao ar” ou “apontar o dedo”, a interação também pode ser completada com as mãos nos bolsos.

A Meta AI, que já começou a brilhar nos óculos Ray-Ban, também foi combinada com a AR para criar uma nova jogabilidade e agora pode interagir ainda mais com o mundo real.

Na experiência real, The Verge usou o Orion para identificar e rotular rapidamente os ingredientes na mesa e pediu à Meta AI para gerar uma receita de milkshake baseada nesses ingredientes.

Embora Zuckerberg tenha dito que o Meta Orion é um produto para consumidores, o atual dispositivo Orion ainda é um protótipo e está disponível apenas para alguns desenvolvedores e experimentadores, incluindo o velho amigo Jensen Huang.

Zuckerberg anunciou o preço do Quest 3S dez segundos após seu lançamento. Isso é raro entre os lançamentos de produtos eletrônicos, mas ainda assim é ótimo ir direto ao ponto e focar apenas nos pontos principais.

Em geral, Meta Quest 3S é na verdade a "Edição Juvenil" do Quest 3, com preço inicial de US$ 299,99 (aproximadamente RMB 2.108) para 128 GB e US$ 399,99 (aproximadamente RMB 2.810) para 256 GB.

A julgar pela configuração, o Quest 3S está equipado com processador Snapdragon XR2 Gen 2, que é o mesmo modelo do Quest 3, e também suporta rastreamento manual.

Depois de assistir à coletiva de imprensa, sinto que em vez de chamá-la de Quest 3S, seria mais apropriado chamá-la de versão melhorada da Quest 2. Foi relatado anteriormente que, como uma opção mais “econômica”, o Quest 3S ainda usa as mesmas lentes do Quest 2, e o corpo geral será mais espesso do que o Quest 3.

Embora o Quest 3S não seja tão bom quanto o Quest 3 em termos de configuração de hardware, ele é basicamente igual ao seu irmão mais velho em termos de experiência no ecossistema de software. O Quest 3S também pode obter entretenimento rico e funções de escritório no HorizonOS.

Após o lançamento do Quest 3 no ano passado, as críticas foram mistas. O mais criticado é o alto atraso e a distorção severa após habilitar a perspectiva de vídeo, após um ano de otimização e melhoria, a experiência atual melhorou. , especialmente nos três aspectos da funcionalidade VR, rastreamento manual e adaptação de software.

Os usuários agora podem transformar diretamente páginas da web 2D em escritórios imersivos em ambos os produtos, assim como o Vision Pro, e colocar a interface aberta no dispositivo em qualquer lugar do espaço.

Além disso, o modo teatro no Quest 3S pode expandir uma interface separada para um cinema de tela gigante, e o alcance da tela pode ser expandido para cobrir todo o espaço. A visualização imersiva de filmes não é novidade em head-mounted displays. A quantidade de fontes e plataformas de filmes às quais ela pode ser adaptada é o cerne da experiência de cada produto.

O Quest 3S oferece suporte a todas as principais plataformas de mídia europeias e americanas. Netflix, YouTube e Amazon Prime podem ser usados ​​para assistir filmes no modo cinema.

Filmes e jogos são itens essenciais de entretenimento para fones de ouvido VR. As funções adicionais nesta base muitas vezes podem refletir o desempenho do próprio produto. Esta conferência também anunciou uma nova função do Quest 3S – Hyperscale.

Os usuários podem usar seus telefones celulares para escanear os detalhes do contorno da sala e a disposição dos móveis e, em seguida, reconstruir uma cena de restauração quase 1:1 no Quest 3S.

A julgar pela demonstração na conferência de imprensa, a restauração da cena é realmente boa e não há muitas arestas e distorções. No futuro, haverá outra plataforma para visualização imersiva de casas online ou para visitar museus ou locais históricos sem sair. lar. . Mas, fora isso, quais são os aspectos práticos da restauração de cenas? Como implementar a tecnologia com base nas diferentes condições de cada região é um problema difícil que Meta e Quest precisarão responder no futuro.

O nome completo de Meta é metaverso, que significa metaverso. A mudança do nome do Facebook para Meta mostrou a determinação de Zuckerberg em explorar novas tecnologias, e Meta se tornou o primeiro gigante da tecnologia a entrar no metaverso. Portanto, o “Metaverso” tornou-se uma parte obrigatória de cada lançamento de novo produto Meta, embora eles tenham atingido muitas barreiras neste campo.

Zuckerberg anunciou na conferência de imprensa que o Meta Quest 3S lançou recursos aprimorados para interação social imersiva. Os usuários do Quest agora podem criar avatares no dispositivo, jogar uns com os outros, formar equipes ou assistir a um concerto online.

Com o lançamento do Quest 3S, o Quest 2/Pro também anunciou a descontinuação completa da produção. Além disso, o preço do Quest 3 também foi reduzido de US$ 649 para US$ 499. O novo produto será enviado após 15 de outubro.

Lançamento do Llama 3.2, recursos multimodais permitem que os óculos tenham olhos

Comparado com o Meta Quest 3S, que quase não tem alterações e até tem especificações reduzidas, os novos recursos do Meta AI são mais inovadores.

Zuckerberg anunciou na conferência de imprensa que o Meta AI lançou oficialmente a função de voz. Os usuários podem fazer perguntas ao Meta AI ou conversar de outras formas através do Messenger, Facebook, WhatsApp e Instagram, e receber respostas de voz simuladas.

Além disso, o timbre da voz da IA ​​​​pode ser selecionado de forma independente e você pode usar vozes da IA, incluindo celebridades como Judi Dench, John Cena, Awkwafina e Kristen Bell.

Zuckerberg também demonstrou a função de voz no local. De modo geral, a velocidade de resposta do diálogo é bastante rápida e o conteúdo das respostas é relativamente preciso. O tom de voz parece um passo mais próximo das perguntas e respostas de uma pessoa real. pode ser interrompido a qualquer momento. Insira novo tópico ou pergunta.

Embora tenha havido alguns erros no processo, isso é normal para uma tecnologia que está sendo explorada e desenvolvida. O próprio Zuckerberg não se esquivou muitas vezes, como ele mesmo disse: Isso é o que acontece frequentemente nas demonstrações.

Além disso, por meio da função AI Studio, os usuários também podem criar personagens de IA correspondentes de forma independente, de acordo com suas próprias necessidades, hobbies, etc. Isso pode nos ajudar a gerar emoticons, fornecer sugestões de viagens e, claro, também pode conduzir conversas diárias.

No entanto, a julgar pelo efeito, a próxima função de tradução da IA ​​é mais prática. Atualmente, os terminais equipados com Meta AI podem suportar tradução de voz em tempo real. Os dois palestrantes da conferência de imprensa completaram uma conversa instantânea em vários idiomas (inglês-espanhol) usando Meta Ray-Ban.

Meta Ray-Ban pode coletar a voz da outra parte através do microfone e traduzi-la rapidamente para o idioma nativo do proprietário. Embora a velocidade de resposta da tradução em cada idioma não seja lenta, as frases são um pouco mais longas e o tempo de espera ainda é um pouco estranho. , e o Meta AI às vezes captura a conversa.

O efeito de tradução de fala de outro vídeo online será ainda melhor Em comparação com a tradução em tempo real acima, gostaria de chamá-la de “função de tradução avançada”. Meta AI pode traduzir a voz de um vídeo online para a voz de outro idioma, o que é ainda mais poderoso é que ele pode restaurar perfeitamente o tom, o timbre e até mesmo o sotaque do locutor do vídeo original ao falar inglês em diferentes países.

Uma série de funções atualizadas do Meta AI na conferência de imprensa têm, na verdade, um núcleo motriz comum: Llama 3.2.

Em julho deste ano, a Meta acaba de anunciar o modelo Llama 3.1. Simplificando, o supergrande Llama 3.1 405B é o modelo mais poderoso da Meta até o momento e também o modelo grande de código aberto mais poderoso do mundo. modelo grande mais poderoso do mundo.

Eu não esperava que o Llama 3.2 estivesse aqui em apenas dois meses.

Llama 3.2 é o primeiro modelo de IA de código aberto do Meta, incluindo dois modelos visuais (11B e 90B) e dois modelos leves de texto simples (1B e 3B), o que significa que possui recursos multimodais e Ou seja, pode processar texto e imagens ao mesmo tempo, e o modelo de texto simples leve pode compreender diretamente o conteúdo de entrada do usuário localmente.

Contando com os novos recursos do Llama 3.2, muitos dispositivos equipados com modelos grandes também possuem uma gama mais ampla de cenários práticos. Além da função de tradução de IA mencionada acima, o Meta Ray-Ban com recursos visuais agora pode ajudar as pessoas com mais profundidade em seu trabalho e em sua vida diária.

Você pode pedir diretamente ao Meta Ray-Ban para fazer algumas bebidas deliciosas usando abacate. Você nem precisa mencionar o abacate na frase, apenas use pronomes como “este” porque ele pode ser visto.

Não sei quantas pessoas esqueceram onde estacionaram o carro no shopping. Se você também é um visitante frequente que esquece o número da vaga, o Meta Ray-Ban agora pode ajudá-lo a anotar o número da vaga para que você possa. pode recuperar as informações correspondentes a qualquer momento se você as esquecer.

Disque o número no pôster e escaneie o código QR no folheto para ajudá-lo a combinar suas roupas diárias… Resumindo, através da câmera dos óculos e do modelo visual recém-atualizado e outros recursos de IA, Meta Ray-Ban pode quase apareça em todos os cantos da sua vida.

É justamente pela existência desta câmera que o casamento entre Be My Eyes e Meta se tornou possível. Be My Eyes é uma plataforma de bem-estar público que conecta pessoas cegas ou com baixa visão a voluntários e empresas com visão reduzida por meio de vídeo em tempo real e inteligência artificial. Por meio de videochamadas on-line em tempo real, voluntários/organizações podem ajudar pessoas com deficiência intelectual. dificuldade imediata.

O desenvolvimento da tecnologia não só agrega valor à vida da grande maioria das pessoas, mas também compensa em grande medida a parte que falta em grupos especiais, tornando assim a vida de todos mais conveniente.

O alvorecer da próxima geração de dispositivos de computação está aqui

Embora esperássemos há muito tempo os óculos Meta Orion, quando Zuckerberg lançou o telefone real, ele ainda nos deu uma "sensação incrível" há muito perdida em novos produtos de tecnologia.

Essa sensação de espanto não ocorre apenas porque o projeto futuro delineado pela Meta é bastante atraente, mas também porque o efeito real deste produto está muito próximo da visão do The Verge depois de experimentá-lo:

Não é uma miragem, nem é um produto real. Está em algum lugar no meio.

Esta é também a diferença entre Orion e muitas das ideias fantásticas que Meta tem explorado: não é um conceito difícil de sair do laboratório, mas sim um produto de amanhã que Meta escolheu para "all in", uma combinação perfeita de IA e MR.

É o melhor dispositivo de IA: pode ver o que o usuário vê, ouvir o que o usuário ouve e pode combinar os cenários da vida real do usuário, para poder dar respostas mais eficazes.

É também a melhor forma de interagir e conectar-se: não há necessidade de ficar limitado a uma tela pequena ou a um fone de ouvido pesado. Os mundos virtual e real estão intimamente integrados entre si e podem ser interagidos a qualquer hora e em qualquer lugar.

Já é consenso da indústria que os dispositivos de computação, como os telemóveis, atingiram o fim do seu ciclo de vida e a próxima geração de dispositivos de computação está a ser explorada pela Apple, pela Meta e até pela OpenAI.

Embora ainda seja um protótipo, a resposta dada pela Meta, Orion, atualmente parece ser boa. Quanto a se ele se tornará o próximo terminal inteligente convencional depois dos telefones celulares, ainda há muitas incógnitas, mas Zuckerberg está cheio de confiança nisso. .

Óculos e hologramas se tornarão um produto onipresente. Se conseguirmos que todas as pessoas no mundo que já possuem óculos atualizem para óculos com IA e MR, então este será um dos produtos de maior sucesso na história do mundo, e acho que irá ainda mais longe.

*Su Weihong também contribuiu para este artigo

# Bem-vindo a seguir a conta pública oficial do WeChat de Aifaner: Aifaner (WeChat ID: ifanr). Mais conteúdo interessante será fornecido a você o mais rápido possível.

Ai Faner | Link original · Ver comentários · Sina Weibo |