O sensor LiDAR do seu iPhone poderá em breve permitir que você veja o que está ao redor das esquinas.

Pesquisadores do MIT Media Lab descobriram um uso verdadeiramente impressionante para o sensor LiDAR presente no seu iPhone e iPad Pro . Ele consegue detectar e rastrear objetos que estão completamente fora do campo de visão da câmera. Sim, isso significa enxergar através de cantos.

Esse tipo de imagem, chamado de imagem sem linha de visão (NLOS, do inglês Non-Line-of-Sight), não é um conceito novo. Mas as demonstrações anteriores dependiam de lasers potentes e caros de laboratório, com pouca aplicação no mundo real.

O que torna esta pesquisa empolgante é que a equipe do MIT conseguiu realizá-la usando o mesmo sensor LiDAR de baixo consumo de energia já presente em nossos smartphones.

Como funciona?

A equipe está usando o sensor LiDAR para nos permitir enxergar além dos cantos, em objetos que não estão diretamente em nosso campo de visão. O segredo está no movimento. Conforme seu dispositivo se move, o sistema rastreia simultaneamente a forma do objeto, sua posição e a posição da câmera ao longo do tempo.

A equipe chama isso de modelo de amostragem de abertura, que essencialmente combina uma série de leituras ruidosas e imperfeitas em algo significativo. Os resultados não são fotos nítidas do que está escondido atrás da esquina. Em vez disso, você obtém inferências progressivamente mais ricas. O sistema pode dizer que algo está lá, como está se movendo e qual é, aproximadamente, sua forma. Pense nisso como ecolocalização, mas com luz.

O que ele pode fazer exatamente?

A equipe demonstrou quatro capacidades específicas: rastrear um único objeto, reconstruir sua forma, rastrear vários objetos simultaneamente e algo particularmente interessante para a robótica, que é a autolocalização da câmera usando pontos de referência ocultos.

Essa última é muito importante. Um robô ou sistema autônomo capaz de se orientar usando objetos que não consegue ver diretamente tem uma enorme vantagem no mundo real. Também pode ajudar a aprimorar a tecnologia de direção autônoma ou drones de entrega, por exemplo, para evitar acidentes.

Infelizmente, você não pode testar isso no seu smartphone agora, "pois isso exigiria que essas empresas liberassem seus dados brutos, o que elas geralmente não fazem", disse Siddharth Somasundaram, um dos pesquisadores deste projeto. Dito isso, os pesquisadores disponibilizaram seu código publicamente, e o hardware do sensor pode ser montado por menos de US$ 50.