É suficiente olhar para o queixo? Aí vem o colar que reconhece as linguagens silenciosas
Imagine se você estivesse sentado em uma sala de conferências ou biblioteca onde pudesse ouvir agulhas e deixar escapar "Siri, olhe como está o tempo amanhã", o que pode não ser apropriado.
O que fazer quando uma pessoa não consegue falar ou precisa ficar quieta, mas precisa dar instruções a um dispositivo inteligente?
Para este fim, o professor assistente de ciência da informação da Universidade de Cornell, Cheng Zhang, e o estudante de doutorado Ruidong Zhang, projetaram um colar chamado "Speechin" .
▲ Foto de: Universidade de Cornell
Com base nos movimentos da mandíbula, ele captura "imagens de deformação do pescoço e da pele facial" para reconhecer a linguagem silenciosa e atualmente reconhecer frases simples em inglês e chinês.
▲ Animado de: YouTube@Cornell University
A câmera infravermelha da SpeeChin é montada em um "estojo de colar" impresso em 3D que fica pendurado em uma corrente de prata, com a câmera apontada para o queixo do usuário. Para melhorar a estabilidade, os desenvolvedores projetaram "asas" nas laterais e colocaram uma moeda na parte inferior.
Além destes, o SpeeChin também está equipado com um microprocessador, bateria e um módulo Bluetooth.
▲ Foto de: Universidade de Cornell
Usando algoritmos baseados em aprendizado de máquina, o dispositivo pode determinar quais comandos o usuário está pronunciando silenciosamente, com base nos movimentos da mandíbula do usuário, e retransmitir esses comandos para um smartphone emparelhado, assim como o Siri em outra forma de comunicação.
Para evitar problemas de privacidade, o SpeeChin só se agacha sob o queixo e não aponta diretamente para o rosto do usuário.
Em um teste inicial de 20 participantes (10 falando inglês, 10 mandarim), os pesquisadores mediram a posição inicial de suas mandíbulas e usaram imagens diferenciais para treinar o SpeeChin a reconhecer comandos simples.
Os 10 participantes falantes de inglês disseram silenciosamente 54 comandos, incluindo números, comandos interativos, comandos de assistente de voz, comandos de pontuação e comandos de navegação, assim como 44 comandos dos outros 10 participantes falantes de mandarim.
▲ Animado por: YouTube@Cornell University
Acontece que o SpeeChin reconhece comandos em inglês e mandarim com uma precisão média de 90,5% e 91,6%, respectivamente. Os pesquisadores dizem que o dispositivo tem o potencial de aprender os padrões de fala silenciosa de uma pessoa.
Os pesquisadores também pediram a seis participantes que dissessem silenciosamente 10 frases em mandarim e 10 em inglês enquanto caminhavam. O estudo teve uma baixa taxa de sucesso, principalmente porque as cabeças dos participantes se moviam de maneira imprevisível.
Por que o reconhecimento de fala silencioso na forma de colares? Um pesquisador afirmou o objetivo de seu estudo:
Pensamos em colares como uma forma a que as pessoas estão acostumadas, em vez de dispositivos over-ear, o que pode ser desconfortável; quanto à voz silenciosa, as pessoas podem pensar "Já tenho um dispositivo de reconhecimento de voz no meu telefone". Mas você precisa falar por algumas pessoas e situações em que não pode.
Vale ressaltar que SpeeChin é semelhante em aparência ao NeckFace . O NeckFace, um dispositivo lançado no ano passado por Cheng Zhang e sua equipe do SciFi Lab, rastreia continuamente as expressões faciais usando uma câmera infravermelha para capturar imagens da mandíbula e do rosto abaixo do pescoço e gerar reconstruções em 3D da expressão completa.
▲ Animado de: YouTube@CornellScifiLab
O NeckFace pode ser particularmente útil no espaço da saúde mental, pois rastreia o humor das pessoas ao longo do dia. Embora as pessoas nem sempre mostrem emoções em seus rostos, a quantidade de mudanças nas expressões faciais ao longo do tempo pode indicar mudanças de humor.
O NeckFace também pode ser usado em outros cenários, como reuniões virtuais quando as opções de câmera frontal não são uma opção, detecção de expressão facial em cenários de realidade virtual e muito mais.
Se o SpeeChin se desenvolver ainda mais, seus casos de uso também aumentarão, incluindo ambientes que devem ser silenciosos, ambientes ruidosos irreconhecíveis e pessoas que não possuem habilidades linguísticas.
#Bem-vindo a prestar atenção à conta oficial do WeChat de Aifaner: Aifaner (WeChat: ifanr), conteúdo mais interessante será trazido para você o mais rápido possível.
