Este sensor de câmera de smartphone pode tornar fotos borradas uma coisa do passado

A Prophesee, com sede em Paris, causou sensação no ano passado quando apresentou sua tecnologia interna de sensor Metavision baseada em eventos para câmeras de smartphones. A ideia central por trás da pilha era tornar as imagens borradas uma coisa do passado, demonstrando alguns resultados impressionantes durante a fase de desenvolvimento.

No MWC 2024 , conseguiu mais um grande avanço em parceria com a Qualcomm. A empresa, que está realizando um trabalho sério na área de sistemas de visão neuromórfica, anunciou que sua tecnologia de sensor Metavision atingiu agora o estágio de produção.

Prophesee disse à Digital Trends que desenvolveu um sensor em colaboração com a Sony que aproveita o ajuste de software personalizado e o poder de fogo fornecido pelo chipset Snapdragon 8 Gen 3 topo de linha da Qualcomm. Em um nível fundamental, o sensor Metavision preenche a lacuna de dados visuais em um ritmo de microssegundos em conjunto com um sensor de imagem, abrindo as portas para imagens sem desfoque em cenários totalmente escuros e extremamente claros.

“Os sensores Metavision patenteados e a IA da Prophesee imitam como o olho e o cérebro humanos funcionam”, diz a empresa. A abordagem baseada em eventos da tecnologia de sensor MetaVision implementa cancelamento de desfoque de movimento para garantir que os resultados finais não mostrem quaisquer sinais de imprecisão desencadeada por movimento.

Como Prophesee está tentando eliminar fotos borradas

A maioria das câmeras de smartphones, mesmo as principais de primeira linha, lutam com objetos em movimento rápido – não conseguindo manter um bloqueio de foco adequado. Como resultado, as imagens não apenas parecem fora do lugar, mas os artefatos de movimento as tornam quase inúteis.

O desfoque de movimento torna-se especialmente aparente em situações de iluminação desafiadoras ou à noite, quando soluções como a redução de ruído multiframe não atendem ao seu verdadeiro potencial. Prophesee afirma oferecer “níveis sem precedentes” de qualidade de imagem em “cenas de movimento rápido e com pouca luz”.

Ao contrário de um sensor típico de câmera de smartphone, no qual a quantidade de luz varia ao longo da janela de exposição, o sensor Metavision facilita um “tempo de exposição perpétuo” para capturar movimento continuamente. “É como se você tivesse uma câmera de 10 mil imagens por segundo no seu telefone”, afirma a empresa.

Além de oferecer um sensor personalizado desenvolvido em parceria com a Sony, a Prophesee também presta igual atenção à pilha de software e aos serviços de integração que os acompanham. “O software Metavision Deblur está agora chegando à fase de produção. Estamos integrando HW e SW em telefones celulares”, disse a empresa à Digital Trends.

A ideia é oferecer uma experiência perfeita aos players da indústria de smartphones para que eles implantem todo o kit de hardware e software Metavision em seus respectivos dispositivos com Snapdragon. Notavelmente, a linha de base foi definida no silício Snapdragon 8 Gen 3, aparentemente devido ao seu poder de fogo bruto, ISP avançado e recursos de IA de última geração.

Um futuro emocionante para câmeras de smartphones

A solução da Prophesee está totalmente funcional no sensor de câmera móvel Sony IMX636. Atualmente, a tecnologia só foi testada para a câmera principal do telefone. A empresa, no entanto, diz à Digital Trends que as futuras iterações do sensor Metavision estão de olho no suporte para vários sensores, incluindo sensores ultra-amplos e telefoto.

Em seu estado atual, o sensor baseado em eventos do Prophesee só pode fazer sua mágica para produzir imagens estáticas sem desfoque. Mas a empresa nos diz que o suporte para vídeos também está no roteiro futuro.

“É principalmente uma plataforma de detecção de vídeo – usada para capturar e processar movimento em uma variedade de casos de uso”, disse um porta-voz da Prophesee à Digital Trends. A empresa não especificou quando exatamente veremos um sensor Metavision em ação em um smartphone disponível comercialmente. Numa nota positiva, os telefones equipados com Qualcomm Snapdragon 8 Gen 3 já estão no mercado e, com o portfólio Metavision agora em fase de produção, não deverá demorar muito.

Pelo que o Prophesee mostrou nas demonstrações até agora, se o sensor Metavision cumprir essas promessas, poderá abrir um novo capítulo para a fotografia de smartphones, onde um usuário médio não será sobrecarregado com o ajuste da velocidade do obturador e outros parâmetros para ficar livre de desfoque. fotos. E esse é um futuro muito emocionante para se pensar.