Gestos aéreos do Apple Watch lançados! Aqui está a história por trás disso Exclusivo
A Apple lançou oficialmente o watchOS 10.1 ontem à noite, trazendo Double Tap para os dois novos Apple Watches – você pode controlar a tela do ar com um toque da ponta dos dedos: cortar músicas, atender chamadas e responder a mensagens do WeChat. Há duas semanas, fiz uma ligação telefônica para o exterior com o gerente de produto do Apple Watch e contei sobre a história por trás desse gesto poderoso.
Hard Philosophy é a coluna de Ai Faner sobre design de hardware. Esperamos remover a cobertura externa da tecnologia e dos parâmetros e explorar as origens do design e das humanidades.
“Toquem um no outro duas vezes com dois dedos”, a nova função do novo Apple Watch deste ano não é uma inspiração repentina do gerente de produto, mas vem daquilo com que todo usuário pode se identificar – “aqueles momentos em que você só pode clicar no botão do relógio com o nariz."
Em uma entrevista exclusiva ao iFan'er, o engenheiro de software watchOS David Clark afirmou sem rodeios que sempre há algumas interações insatisfatórias com o Apple Watch:
O telefonema ocorre enquanto você está passeando com o cachorro. Você está correndo para sua próxima reunião, com o Mac na mão, quando de repente recebe uma mensagem de um colega. O cronômetro do relógio dispara enquanto você assa, mas sua outra mão está coberta de ovo e você não quer tocá-la.
Eric Charles, gerente de produto do Apple Watch, disse que esses momentos de hesitação na verdade custam aos usuários mais tempo para pensar em como operar. A equipe queria fornecer uma maneira confiável e intuitiva de garantir que tudo funcionasse perfeitamente, sem a necessidade de operações adicionais quando necessário.
Preste atenção na interação gestual do Apple Watch, pois todos estão enfrentando “deficiências situacionais”
O protótipo de “Dois dedos batendo um no outro” remonta a 2015, menos de um ano após o lançamento do Apple Watch.
Em um documento de patente intitulado “Entrada de movimento e gestos de um dispositivo vestível”, a Apple tenta explorar a possibilidade de usar a detecção de tendões e movimentos do esqueleto como comandos de entrada.
Seis anos depois, essas explorações interativas assumiram a liderança ao dar origem ao toque assistido (AssistiveTouch) no watchOS 8. Os usuários podem controlar o relógio no ar por meio de quatro gestos: beliscar, beliscar duas vezes, fechar o punho e fechar o punho duas vezes.
Como parte dos recursos de acessibilidade, os problemas que o controle por gestos precisava resolver na época eram:
Como um usuário deve controlar o Apple Watch se tiver apenas uma mão?
Um dos princípios de design da Apple é considerar a perspectiva de todos. Eles acreditam que as pessoas com deficiência não devem ser tratadas de forma diferente com base no seu tamanho e que as pessoas com deficiência devem ter direitos iguais no uso de produtos.
Mas no documento oficial de design de interação, a definição de “deficiência” da Apple é incomum :
Todos podem experimentar uma deficiência. Além das deficiências que a maioria das pessoas experimenta à medida que envelhecem, há também deficiências temporárias – como perda auditiva de curta duração devido a infecção – e deficiências situacionais – como a incapacidade de ouvir num trem barulhento. todos em momentos diferentes.
O telefone pode ser controlado com uma mão, mas o Apple Watch foi projetado para ficar fixo no pulso do usuário desde o início: quando você toca na tela, as duas mãos ficam realmente ocupadas.
De certa forma, cada usuário do Apple Watch tem apenas uma mão e todos apresentam “deficiências situacionais”.
Para resolver este problema, existem apenas duas opções: controle por voz e gestos. O controle por gestos baseado em movimentos físicos é obviamente mais natural, não depende dos botões e controles da interface e é especialmente adequado para dispositivos com telas estreitas como o Apple Watch.
Na verdade, o Apple Watch de primeira geração suportava “levante o pulso para acordar”, o que estabeleceu o paradigma básico da interação por gestos.
A Apple estudou uma variedade de movimentos das mãos, incluindo algumas operações gestuais complexas.
“Tocar um no outro duas vezes com dois dedos” finalmente se destacou entre várias soluções de gestos porque atendeu a dois critérios:
- Simples e intuitivo
- propósito claro
O primeiro não requer limite de aprendizagem e o propósito exige claramente que a ação represente a intenção do usuário e não seja o resultado de um toque acidental.
Pelo mesmo motivo, “Tocar um no outro duas vezes com dois dedos” só pode ser ativado quando a tela está ligada. Eric explica que se o usuário não conseguir ver a tela, talvez não saiba qual foi a resposta.
Um pequeno bug no sensor de frequência cardíaca deu origem inesperadamente ao "bater um no outro com dois dedos"
“Tocar um no outro duas vezes com dois dedos” parece simples, basta juntar dois dedos, mas o princípio de funcionamento por trás disso é bastante complicado.
“Tocar um no outro com dois dedos” é baseado em um algoritmo construído por aprendizado de máquina, e seus dados vêm de três sensores: acelerômetro, giroscópio e sensor óptico de frequência cardíaca. O sensor detectará as características de pequenos movimentos e alterações no fluxo sanguíneo quando a mão e o dedo são tocados duas vezes, obtendo assim com precisão a verdadeira intenção de entrada do usuário.
O sensor óptico de frequência cardíaca é uma parte indispensável. Embora não seja projetado para controle por gestos, a equipe descobriu em anos de pesquisa que os movimentos diários do pulso do usuário alterarão o contato entre o pulso e o sensor de frequência cardíaca, mesmo o menor espaço. Tudo terá impacto nos dados obtidos pelo sensor de frequência cardíaca.
O arsénico dele, meu querido. Esta descoberta inesperada permitiu à equipe revelar a conexão entre as operações gestuais e os sensores de frequência cardíaca. Sem essas lacunas, o gesto de “tocar dois dedos duas vezes” pode não ser possível.
Como disse Davi:
O mesmo sensor, os mesmos dados, podemos atingir finalidades completamente diferentes.
Ao contrário do controle por gestos da função auxiliar, que roda na CPU, “Dois dedos para tocar duas vezes” chama o mecanismo de rede neural quad-core do chip S9, que melhora a precisão da detecção do algoritmo em 15%.
Isso pode explicar por que o antigo Apple Watch não suporta “toque duplo com dois dedos”, e os gestos de toque auxiliares também são muito menos confiáveis.
A equipe encontrou muitos desafios durante o processo de desenvolvimento. Por exemplo, como garantir que cada usuário tenha uma experiência consistente quando confrontado com diferenças sutis em tipos de corpo, comprimento de membros e até mesmo gestos? Como superar a interferência causada por sinais sem fio Bluetooth e LTE?
David mencionou que a equipe coletou uma grande quantidade de dados dentro da empresa para treinar o modelo de aprendizado de máquina. O modelo removerá ruídos desnecessários e garantirá a confiabilidade da detecção de gestos em vários cenários, especialmente em cenas não estacionárias. gestos.
O que você pode fazer com "Dois dedos tocando um no outro" depende da Ação Primária
Depois de resolver o problema do algoritmo, a Apple ainda precisa projetar um mecanismo no nível do software para determinar o que “dois dedos batendo um no outro” podem fazer.
Na minha experiência com o Apple Watch Series 9/Ultra, mencionei que o objeto de operação “tocar duas vezes com dois dedos” não tem uma direção pré-determinada. Ao contrário de beliscar para ampliar, que sempre resulta em um efeito de zoom. E clicar duas vezes com dois dedos trará resultados diferentes em aplicativos diferentes.
De acordo com a teoria do processamento de informações na interação humano-computador, durante o processo de interação com a interface, haverá processamento bidirecional contínuo de informações entre o usuário e a máquina. O feedback estabelecido ajudará a aumentar a satisfação da operação e diminuir o limite de uso e vice-versa. Afetar a eficiência e a experiência.
A solução da Apple é configurar ações primárias lógicas para diferentes aplicativos em diferentes cenários. Por exemplo, quando chega uma chamada, a ação mais lógica é atendê-la e clicar novamente é desligar. Para notificações do WeChat, a maneira mais lógica deve ser responder, portanto, tocar com dois dedos pode ativar diretamente a função de voz para texto e, em seguida, tocar novamente com dois dedos para concluir o envio.
Nosso princípio é que você não precisa pensar muito, apenas aja quando for preciso.
Após um mês de uso, descobri que, em comparação com os gestos dentro do aplicativo, o feedback instantâneo dos gestos para notificações é mais prático, especialmente em cenários de aplicativos de alta frequência, como chamadas telefônicas e WeChat. O primeiro é apenas a cereja do bolo, enquanto o segundo é uma ajuda oportuna.
Isso também deixa os desenvolvedores com maior espaço para imaginação. Quando perguntei aos desenvolvedores como usar o Double Tap para melhorar a experiência do software, David me disse a resposta que estava em minha mente: responder às notificações.
Os desenvolvedores podem aproveitar as APIs de notificação existentes para colocar as operações mais importantes no lugar certo. Desta forma, ao chegar uma notificação, o usuário pode clicar diretamente com dois dedos para finalizar a operação.
O problema resolvido por “tocar um no outro com dois dedos” é exatamente a intenção original do desenvolvimento do Apple Watch
A revista Wired documenta a história pouco conhecida do desenvolvimento do Apple Watch pela Apple. Depois de vacilar na definição do produto, a equipe finalmente percebeu a razão da existência do Apple Watch – os smartphones estão arruinando sua vida.
Kevin Lynch, líder técnico do software Apple Watch, disse que as pessoas carregam seus telefones e olham para a tela com frequência. As pessoas zombam daqueles que se sentam com seus telefones à mesa de jantar, apenas para enfiar a mão nos bolsos toda vez que o telefone toca ou vibra.
A equipe finalmente decidiu construir um dispositivo que você não usaria nem poderia usar por horas a fio, um dispositivo que filtrasse a maior parte das informações e fornecesse apenas as informações mais importantes.
Se criar produtos que viciem os usuários é a lógica básica das empresas comerciais, então o Apple Watch pode ser o primeiro dispositivo anti-atenção da Apple.
No site do desenvolvedor, a Apple enfatiza que o núcleo da experiência do Apple Watch está no Momento. Em entrevista anterior, Kevin Lynch chegou a definir um limite de tempo para esse Momento: reduzido dos últimos 10 segundos para 2 segundos.
O nascimento de “Dois dedos um para o outro” é um salto para o Apple Watch se livrar das interferências. Em muitos cenários, não preciso mais usar a outra mão para controlar o relógio, nem preciso pegar meu telefone o tempo todo para receber notificações intensivas de mensagens.
O Apple Watch pode não conseguir libertar completamente as nossas mãos, nem será a arma definitiva contra a sobrecarga de informações, mas oferece uma nova perspectiva de uma forma que faz a diferença: quando a torrente de informações chega com ansiedade, além de virar surdos, também sabemos conviver com as máquinas com tranquilidade.
# Bem-vindo a seguir a conta pública oficial do WeChat de aifaner: aifaner (WeChat ID: ifanr).Mais conteúdo interessante será fornecido a você o mais rápido possível.
