Transformei meu rosto em um controle de jogo, e você também pode
No Google I/O, a IA foi um tema durante todo o evento, mas foi anunciada outra tecnologia assistiva revolucionária que permite que seu rosto controle um computador em vez de usar um mouse. O projeto GameFace do Google literalmente transforma seu rosto em um controle de jogo. Se mesmo o melhor mouse ou trackball estiver se mostrando difícil ou impossível, este aplicativo gratuito pode melhorar significativamente sua experiência de computação.
A postagem no blog do Google descreve como o Projeto GameFace foi inspirado pela situação do streamer de videogame Lance Carr , que tem distrofia muscular. Um incêndio levou à perda do caro mouse de rastreamento de cabeça de Carr, que permitia que ele continuasse jogando.
O Google trabalhou com Carr para desenvolver o Project GameFace, uma solução que usa uma webcam padrão e funciona em qualquer PC com Windows. Você pode baixar o aplicativo do projeto ou bifurcação do GitHub e personalizá-lo para suas necessidades específicas, caso conheça o Python.
Eu instalei e experimentei. Minha webcam embutida funcionou para controle de ponteiro, mas foi muito estourada por uma janela próxima para detectar bem minhas sobrancelhas e boca. Liguei um Insta360 Link, que inclui tecnologia de rastreamento facial para panorâmica e inclinação conforme me movo. As duas tecnologias se misturaram perfeitamente e tudo funcionou muito bem depois de alguns ajustes.
A velocidade do cursor era muito rápida, então saí da configuração padrão de 40 para 15 verticalmente e 20 horizontalmente. Com esses ajustes, eu poderia mover o ponteiro do mouse para qualquer ponto da tela simplesmente girando e inclinando a cabeça. Isso não é rastreamento ocular. Parece seguir meu nariz.
O aplicativo reconhece seis gestos faciais: boca aberta, boca para a esquerda e para a direita, levantar a sobrancelha esquerda e direita e abaixar a sobrancelha direita. Não está claro por que a sobrancelha inferior esquerda não é uma opção. Essas configurações de gesto, combinadas com o movimento da cabeça para controle direcional, tornam relativamente fácil vincular teclas e cliques do mouse, permitindo que você jogue ou controle um computador apenas com o rosto.
Há muito espaço para melhorias aqui. Idealmente, grupos de associações de gestos e velocidades do cursor devem ser salvos para cada aplicativo, para que você não precise encontrar uma única configuração que funcione para tudo. Também seria mais conveniente exigir um clique de confirmação, com uma contagem regressiva para reverter, após ajustar a velocidade do cursor. Levei alguns minutos para domar meu ponteiro selvagem do mouse quando liguei o rastreamento de rosto pela primeira vez.
No geral, o Project GameFace é uma adaptação maravilhosa que deve tornar a vida muito mais fácil para muitas pessoas que, de outra forma, teriam dificuldades para navegar em um computador ou jogar. Mais empresas de tecnologia deveriam aproveitar o controle por gestos habilitado por uma webcam .
