Este pequeno sensor está prestes a mudar a câmera do seu telefone para sempre
“Acreditamos que existe uma oportunidade real de desenvolver e usar um gerador de imagens espectrais em um smartphone. Apesar de todo o progresso feito com diferentes câmeras e o poder de computação de um smartphone, ninguém pode realmente identificar a verdadeira cor de uma imagem.”
Foi assim que o CEO da Spectricity , Vincent Mouret, descreveu a missão da empresa para a Digital Trends em uma entrevista recente, bem como a razão pela qual está fazendo um sensor de imagem espectral miniaturizado pronto para uso em um smartphone. Mas o que exatamente é um sensor espectral e como ele funciona? Acontece que ele pode fazer muito mais do que apenas capturar cores bonitas.
Você já viu essa cor?
Antes de chegarmos a tudo isso, vamos falar sobre o que o sensor de imagem multiespectral S1 da Spectricity faz para as câmeras. A maioria das câmeras de telefone usa sensores RGB de três cores (vermelho, verde e azul), mas o sensor Spectricity S1 examina mais a luz visível e a faixa de infravermelho próximo para reproduzir cores mais naturais e consistentes, além de um equilíbrio de branco consideravelmente aprimorado.
“Uma câmera padrão integrada a um smartphone possui um sensor RGB que vê vermelho, verde e azul”, disse Mouret. “Adicionamos filtros para criar até 16 imagens diferentes com diferentes cores, diferentes comprimentos de onda de luz, luz proveniente de diferentes fontes e a luz refletida proveniente do objeto da cena. Você pode identificar muitas propriedades diferentes graças a essas imagens diferentes em comparação com um RGB padrão.”
O que isso significa é que, independentemente das condições de iluminação, as imagens tiradas por um telefone com o sensor S1 terão cores mais consistentes, como você pode ver na imagem de exemplo abaixo. Durante nossa conversa, vi uma demonstração ao vivo que replicava a reprodução e consistência de cores vistas no exemplo, mas vale lembrar que o sensor era operado por um PC e não por um smartphone.
“Você verá que as cores das câmeras Xiaomi, Samsung, Apple e Huawei são muito diferentes em diferentes condições de iluminação. Na mesma cena tirada com nosso gerador de imagens espectrais, há pequenas diferenças, mas pequenas. As cores das imagens são as cores vistas a olho nu. Você pode ver que todos os smartphones produzem cores muito diferentes.”
Essa precisão de cores também melhorará a capacidade das câmeras dos smartphones de reproduzir melhor diferentes tons de pele. Em outra imagem de exemplo, o sensor S1 apareceu para mostrar melhorias consideráveis aqui também.
“Você pode ver que os tons de pele são totalmente diferentes dependendo da condição de iluminação”, apontou Mouret. “A solução é usar um gerador de imagens espectrais para analisar as condições de iluminação, para realmente dar o tom certo. Este é o único caminho. Você pode colocar muita IA por trás disso, mas não é o suficiente. Você precisa ter algum hardware adicional.”
Infelizmente, Mouret não tinha um telefone Google Pixel em mãos para comparar o sensor S1 com a tecnologia computacional Real Tone do Google , que promete fazer algo semelhante, apenas usando aprimoramentos de software .
É um sensor ou uma câmera?
Os benefícios de um sensor de imagem espectral como o S1 parecem claros, e quem não deseja um equilíbrio de branco mais eficaz e cores naturais e consistentes em suas fotografias? Mas a maneira como Mouret descreveu a capacidade do S1 fez com que soasse mais como uma câmera do que como um sensor. Qual é? Ele realmente cabe dentro de um smartphone? Se sim, quais modificações serão necessárias?
O engenheiro de aplicação da Spectricity, Michael Jacobs, que executou a demonstração que assisti, explicou o que o S1 realmente é.
“É realmente um sensor complementar, muito semelhante a um sensor de profundidade ou um sensor 3D usado com uma câmera RGB”, confirmou.
No entanto, ele tira fotos tecnicamente , mas não aquelas que você gostaria de usar individualmente, como explicou Mouret:
“Nosso sensor de imagem tem resolução VGA, 800 x 600 pixels. Você precisa combinar essa imagem espectral menor com uma imagem RGB. O módulo em si é realmente muito pequeno. Foi concebido para ser integrado num smartphone. Portanto, são 5 mm por 5 mm por 6 mm”, Mouret me disse, antes de falar mais sobre como o sensor é construído. “Não é fácil, mas não é nada muito sofisticado, eu diria”, explicou ele, dizendo que o módulo é construído usando os mesmos métodos dos sensores CMOS comuns. “Em termos de custo total, o módulo completo terá o mesmo custo de uma câmera padrão de alto volume.”
No momento, o sensor se integrará a um processador de sinal de imagem (ISP) padrão usado por processadores de smartphones da Qualcomm e MediaTek, mas exigirá software adicional para operar.
O sensor de imagem multiespectral S1 não é um pônei de um truque e, na verdade, tem uma segunda função intrigante, pois pode reconhecer e analisar biomarcadores da pele. Isso significa que ele é capaz de dizer se está “vendo” uma pessoa real, o que pode ser usado para aplicações de segurança – por exemplo, ele sabe se alguém está usando uma máscara para ocultar sua identidade – cuidados com a pele e até mesmo em aplicações de saúde quando combinado com IA e outros softwares. Também pode ser usado para aprimorar as fotos no Modo Retrato.
Quando será usado em um telefone?
Os fabricantes vêm trabalhando para melhorar a reprodução de cores em telefones há algum tempo, desde o LG G5 em 2016, que usava um sensor de espectro de cores dedicado ao lado de seu sensor de foco automático a laser para melhorar o desempenho das cores. A Huawei adotou uma abordagem diferente e abandonou um sensor RGB no P30 Pro em favor de um sensor RYYB, em seu esforço para reproduzir melhor as cores e melhorar o desempenho com pouca luz. A Olympus e a Imec também experimentaram sensores RGB de infravermelho próximo para diferentes aplicações.
O sensor Spectricity S1 é o primeiro do mundo e vai em uma direção diferente desses exemplos. Com base na demonstração e nas imagens de exemplo, ele é uma promessa considerável – mas quando devemos esperar vê-lo em um telefone?
“No começo, ele será introduzido em telefones de última geração”, disse Mouret. “Será um volume pequeno em 2024, um volume maior em 2025 e, a partir de 2026, será mais difundido.”
Mouret também espera que os primeiros exemplos venham de fabricantes chineses de smartphones, e não de empresas como Samsung e Apple. No entanto, Mouret espera que isso mude no futuro e, no comunicado de imprensa da CES 2023 para o sensor S1, ele não conteve suas expectativas, dizendo:
“Esperamos que os primeiros modelos de smartphones com o S1 sejam lançados em 2024 e esperamos que todos os smartphones incluam nossa tecnologia nos próximos anos.”
Sim, todos os smartphones . É um grande objetivo, mas se o desempenho que vimos na demonstração for o que veremos eventualmente de uma câmera de telefone com o S1 ao lado, poucos fabricantes vão querer ficar para trás.
