O recurso iOS 18 da Apple pode mudar a maneira como você usa o iPad

Não há dúvida de que o novo iPad Pro ainda é o melhor tablet para ler, jogar, assistir vídeos e desenhar. Mas com a adição do chip M4, Magic Keyboard e Apple Pencil Pro, o iPad está mais próximo de um laptop do que nunca.

Então, o iPad se tornará gradualmente um MacBook com funcionalidade de toque no futuro?

A resposta provavelmente é não.

No mais recente iOS 18, a Apple usa esta “função de acessibilidade” para prever um novo futuro para a interação do iPad.

Rastreamento ocular: do Vision Pro ao iPad

Recentemente, a Apple anunciou o novo recurso de “rastreamento ocular” adicionado ao sistema operacional iPadOS 18. Esse recurso aparentemente imperceptível é colocado no topo da página de introdução.

Falando em rastreamento ocular, muitas pessoas podem pensar primeiro no Vision Pro lançado anteriormente pela Apple. Uma das características mais proeminentes deste dispositivo é que ele usa rastreamento ocular para substituir a alça tradicional.

Os usuários podem controlar aplicativos, navegar em menus e até mesmo jogar movendo os olhos sem depender de toque ou dispositivos externos, o que melhora muito a conveniência de uso e demonstra o charme desse método interativo.

Isso se deve principalmente ao design de diversas câmeras infravermelhas e chips duplos M2 e R1 distribuídos no Vision Pro, que permitem usar a tecnologia de processamento de imagem para extrair recursos relacionados aos movimentos oculares e obter rastreamento dos movimentos oculares por meio da construção de modelos.

Uma mudança importante no formato do novo iPad Pro lançado há pouco tempo é mover a câmera do lado estreito para o lado longo.

O projetor matricial, o elemento sensor de holofote, a câmera frontal e a câmera infravermelha no módulo da câmera estão emparelhados com o novo chip M4, que agora parece estar abrindo caminho para planos subsequentes.

A descrição da atualização também mostra que o recurso de rastreamento ocular da Apple é totalmente implementado por aprendizado de máquina no dispositivo, o que significa que não requer nenhum hardware adicional e pode ser usado imediatamente em todos os dispositivos que executam o iPadOS 18, confirmando isso.

Atualmente, os métodos de rastreamento ocular reconhecidos pela indústria incluem rastreamento ocular baseado na aparência e rastreamento ocular baseado em mapeamento bidimensional.

O primeiro usa principalmente imagens faciais ou oculares como entrada para extração de recursos e, em seguida, associa esses recursos à direção do olhar por meio de aprendizado de máquina. Este método é simples e requer apenas uma câmera, mas requer muitos dados de treinamento para construir um modelo preciso para interpretar corretamente a direção do seu olhar.

Outro método de rastreamento ocular baseado no mapeamento binário determina principalmente o movimento ocular analisando as mudanças de posição relativa do globo ocular e o reflexo da córnea.

Como a posição do ponto de reflexão da córnea não muda quando o globo ocular se move, ele pode ser usado como ponto de referência para o movimento da pupila, e a direção de realização é calculada com base nas mudanças nas posições relativas dos dois.

Durante a calibração, você precisa observar pontos específicos na tela, e o sistema registrará esses pontos e os dados do seu olho para construir um modelo de mapeamento. Então, quando você procurar em outro lugar, o sistema poderá usar esse modelo para saber exatamente para onde você está olhando.

Na verdade, parece agora que o princípio do rastreamento ocular não é muito complicado e as condições de hardware existentes são suficientes para atender às necessidades. Mas, na verdade, a Apple passou por um longo processo para alcançar essa função.

A etapa final em muitos anos de planejamento

Já há muitos anos, a Apple começou a implantar talentos e tecnologias relacionadas à rede na área de rastreamento ocular.

Em 2013, a Apple adquiriu a PrimeSense de Israel, que fornecia suporte para a tecnologia de controle de movimento da Microsoft para o Kinect do Xbox.

Esta empresa lançou uma câmera 3D muito pequena chamada Capri que pode ser incorporada em celulares, tablets e outros dispositivos. Aqui está o que o PimeSense mostrou no Google I/O 2013:

Também foi lançado o que era conhecido como “o menor chip de detecção 3D do mundo” na época. Devido ao seu bom desempenho e tamanho compacto, ele pode ser implantado em diversos dispositivos eletrônicos, como telefones celulares e TVs.

Em 2017, a Apple adquiriu a SensoMotoric Instruments, uma empresa veterana de tecnologia de rastreamento ocular da Alemanha. Já foi o maior fabricante mundial de equipamentos de rastreamento ocular.

Contando com a série de hardware e software de rastreamento ocular trazidos por "Money Capacity", a Apple usou funções de rastreamento ocular em seu Face ID pela primeira vez no mesmo ano para melhorar a segurança do desbloqueio.

Nos anos seguintes, os pedidos de patente da Apple relacionados ao rastreamento ocular continuaram a vazar, e a Apple também continuou a explorar. Isso não apenas contribuiu para o método de interação baseado em rastreamento ocular do Vision Pro, mas também gerou inúmeras pesquisas sobre rastreamento ocular em outros. Dispositivos Apple possíveis.

O futuro do rastreamento ocular

Comparado aos métodos tradicionais de interação (mouse, teclado, toque, etc.), o rastreamento ocular tem várias vantagens:

• Natural e intuitivo: o rastreamento ocular utiliza o movimento natural do olho humano para interação e não requer equipamento operacional adicional. Os usuários só precisam olhar para o alvo para concluir a operação correspondente, o que reduz o custo de aprendizado e torna a interação mais intuitiva.
• Melhorar a eficiência: os músculos oculares são um dos músculos de reação mais rápida do corpo humano. Por meio do rastreamento ocular, os usuários podem selecionar e controlar os elementos da interface com mais rapidez, reduzir os movimentos das mãos e melhorar a velocidade e a eficiência da operação.
• Combinado com outros métodos de entrada: O rastreamento ocular pode ser combinado com outros métodos de entrada, como controle de voz e operações de gestos, para fornecer métodos de interação mais ricos e flexíveis.
• Multitarefa: Os usuários só podem usar o controle de rastreamento ocular sem movimentos desnecessários ao realizar outras tarefas (como dirigir ou caminhar) ou realizar múltiplas tarefas ao mesmo tempo, melhorando a eficiência operacional.
• Análise e personalização de dados: o rastreamento ocular pode fornecer dados valiosos sobre a atenção e os interesses do usuário. Esses dados podem ser usados ​​para otimizar o design da interface, a entrega de publicidade e a personalização da experiência do usuário, tornando o sistema mais inteligente e fácil de usar.
• Realidade Aumentada (AR): Em um ambiente AR, o rastreamento ocular pode fornecer uma experiência interativa mais imersiva e natural. Os usuários podem selecionar e operar objetos virtuais olhando para eles, melhorando a experiência do usuário.

É justamente por essas vantagens que tem demonstrado grande potencial em diversos cenários específicos.

Por exemplo, em muitos jogos, além de trazer operações mais convenientes, o rastreamento ocular também trará uma melhor sensação de imersão aos jogadores, permitindo que os jogadores controlem e interajam com os personagens do jogo simplesmente por meio da implementação.

Além disso, após implementar a função de rastreamento ocular, os desenvolvedores também podem ajustar muitos parâmetros, como iluminação da cena e mudanças de perspectiva com base nos dados do movimento ocular, para se adaptar aos hábitos visuais pessoais do usuário e tornar a tela do jogo mais realista.

A interação social no jogo também pode utilizar personagens virtuais para realizar diversos estados de ação que mudam em tempo real com o rosto do jogador, como direção, piscar, apertar os olhos, etc., enriquecendo a expressão emocional do personagem e melhorando a imersão do jogo de todos aspectos.

Além dos jogos, talvez valha mais a pena esperar pelas mudanças que essa tecnologia trará para a vida cotidiana.

Após o lançamento do Vision Pro, um cenário de aplicação importante é o cenário educacional, médico e outros. Não há dúvida de que isso também se aplica ao iPad que implementa rastreamento ocular.

Em áreas de treinamento vocacional, como treinamento em simulação de pilotos e simulação cirúrgica, os movimentos oculares dos alunos são rastreados para avaliar a velocidade e a precisão da tomada de decisões.

O rastreamento ocular pode fornecer aos professores feedback em tempo real sobre o foco e a compreensão dos alunos durante a aprendizagem, ajudando a designar estratégias de ensino personalizadas e a melhorar o conteúdo do curso.

Existem também alguns cenários que são muito adequados para interação de rastreamento ocular, como o ambiente doméstico. Através do rastreamento ocular, o iPad pode se tornar um console central doméstico inteligente para controlar a casa ou fornecer uma melhor experiência interativa quando há outras coisas à mão ou quando as mãos estão sujas.

Embora o potencial de aplicação do rastreamento ocular seja enorme, algumas pessoas na indústria questionaram a segurança desta tecnologia.

Os dados mostram que os dados oculares de uma pessoa implicarão uma variedade de informações, como idade, sexo, raça, estado emocional, traços de personalidade do usuário, etc.

John Villasenor, fundador e codiretor docente do Instituto de Tecnologia, Direito e Política da UCLA, disse:

Quando a tecnologia de rastreamento ocular amadurecer, ela coletará ainda mais informações: o que lemos online e até mesmo como lemos. Por exemplo, vimos um anúncio em uma página da web, pensamos nele por um tempo, mas no final não clicamos nele? Como nossos olhos se movem quando lemos a página inteira? Quais palavras, frases ou temas preferimos ou evitamos? No futuro, os anúncios exibidos diante de nós não dependerão apenas do que compramos, mas também do estado de movimento dos nossos olhos?

Obviamente, se pudermos entender a duração do olhar do usuário e a preferência de foco, combinada com dados de múltiplas dimensões, como tamanho da pupila e sacadas, será sem dúvida mais preciso “adivinhar o que você gosta” com mais precisão, e a dificuldade de privacidade a proteção também será atualizada imediatamente.

Nesse sentido, a resposta da Apple é colocar toda a captura e interpretação no dispositivo, sem a necessidade de outro hardware externo, como óculos projetados especificamente para capturar dados de movimento ocular, e a Apple não consegue ver nada capturado pelo conteúdo da câmera.

No entanto, no contexto actual, em que os utilizadores prestam cada vez mais atenção à privacidade e à segurança, e em que ocorrem sempre fugas de informação de tempos a tempos, poderá ainda ser difícil resolver as preocupações dos utilizadores, podendo também tornar-se num factor importante que torna é difícil implementar funções de rastreamento ocular.

Além disso, há um problema maior de como garantir que o rastreamento ocular funcione de forma estável e precisa em diferentes ambientes e possa ser adaptado a pessoas que usam óculos ou têm características oculares especiais, etc.

E como os olhos das pessoas muitas vezes se movem muito rápido, os movimentos costumam ser irregulares ou saltados, o que também é um problema importante que o rastreamento ocular deve resolver.

Em resposta a este problema, a Apple pode usar IA para resolvê-lo.

Sterling Crispin, um ex-funcionário da Apple responsável pelo desenvolvimento do Vision Pro, disse certa vez no Twitter que a Apple usa muita neurociência para desenvolver alguns de seus principais recursos, como o uso de IA para prever o comportamento operacional do usuário:

O modelo de IA tenta prever se você está curioso, distraído, assustado, focado, relembrando experiências passadas ou outros estados cognitivos. Isso pode ser inferido através de medições de rastreamento ocular.

Ele também disse que isso se devia principalmente a:

Seus alunos reagem antes de você clicar, em parte porque você antecipa que algo acontecerá depois de clicar. Portanto, o biofeedback com o cérebro do usuário pode ser criado detectando o comportamento ocular do usuário e tentando redesenhar a interface do usuário para criar mais dessa resposta esperada da pupila.

Ele também disse com entusiasmo que esse tipo de feedback de rastreamento ocular que incorpora algoritmos de IA e feedback em tempo real está tornando-o uma "interface cérebro-computador aproximada", o que é muito legal.

Expandindo a funcionalidade do iPad e remodelando seu status

É claro que a descrição do rastreamento ocular como uma “interface cérebro-computador” pode ser um pouco exagerada, mas o que não pode ser escondido é o seu potencial para expandir os métodos de interação.

O iPad tinha grandes esperanças quando nasceu, mas ainda é considerado por muitas pessoas como um “iQiyi pós-compra”. A razão fundamental está na falta de interação.

Nesse sentido, a Apple realmente fez muitos esforços, como a adição do Apple Pencil e do Magic Keyboard, que até certo ponto podem ser vistos como tentativas da Apple de enriquecer os métodos de interação do tablet.

No entanto, esses esforços não parecem ter mudado fundamentalmente a situação embaraçosa do iPad. Afinal, se você quiser usar um teclado, por que não escolher apenas um MacBook? Embora o Apple Pencil tenha explorado o potencial da forma iPad no campo profissional, ele é limitado pelo estreito campo profissional e não pode ser a chave para salvar o iPad.

Além disso, encontrar novas interações a partir de “funções de acessibilidade” sempre foi uma forma importante para a Apple explorar o potencial do produto e fornecer novos avanços.

Por exemplo, a função de clique duplo do Apple Watch Series 9 pode detectar os movimentos dos dedos e controlar o relógio sem tocá-lo. Foi bem recebida por muitos usuários após seu lançamento, mas também ficou escondida no canto “auxiliar”. toque" por um longo tempo.

As interações que são muito semelhantes ao rastreamento ocular estão, na verdade, ocultas na lista de "Funções de acessibilidade" da Apple. Por exemplo, nas "Funções de acessibilidade" de muitos computadores Mac, o "Ponteiro de controle de cabeça" apareceu e os usuários podem usar a cabeça para mover para. controlar o movimento do ponteiro.

Com a atualização do iOS 18, também é muito provável que o rastreamento ocular se mova do canto do “Assistive Touch” para o centro do palco e, depois de um tempo, se tornará um recurso importante que você usa todos os dias. Era interativa do iPad.

Talvez não apenas o controle dos dedos seja o futuro do iPad.

# Bem-vindo a seguir a conta pública oficial do WeChat do aifaner: aifaner (WeChat ID: ifanr). Mais conteúdo interessante será fornecido a você o mais rápido possível.

Ai Faner | Link original · Ver comentários · Sina Weibo |