A quarta lente do Huawei Mate 70 Pro, sua capacidade mais forte é não tirar fotos

Aifaner concentra-se nos “produtos de amanhã”. A coluna de filosofia difícil tenta despojar-se da tecnologia e dos parâmetros e explorar a origem da natureza humana no design de produtos.

A câmera principal, telefoto e ultra grande angular podem ser chamadas de "três reis" da fotografia móvel. Eles basicamente podem lidar com as cenas fotográficas diárias da maioria dos usuários. Alguns telefones de imagem principais também serão equipados com uma lente telefoto adicional. base. Atenda às necessidades criativas mais extremas.

Os recém-lançados Huawei Mate 70 Pro e Pro+ também possuem quatro câmeras, mas a extra é um pouco especial: a Huawei a chama de “Red Maple Primary Color Camera”, que na verdade é um multiespectrômetro em miniatura.

As imagens multiespectrais são usadas principalmente em cenários mais profissionais, como agricultura de solo e água, testes de alimentos, etc. As aplicações para smartphones não são apenas raras, mas lentes com parâmetros tão elevados como as da Huawei são quase inexistentes.

Mas num futuro não muito distante, módulos de sensores multiespectrais semelhantes chegarão a mais dispositivos inteligentes ao nosso redor.

Resolva o problema da “fraqueza da cor” ao tirar fotos

Embora os fabricantes de smartphones tenham aprimorado suas capacidades de imagem há muitos anos e os módulos de câmera dos telefones celulares estejam ficando maiores e mais convexos, ainda há um problema que precisa ser resolvido: a restauração da cor.

Atualmente, os sensores tradicionais de câmeras de telefones celulares geralmente capturam vermelho, verde e azul (RGB) para apresentar cores dentro de uma determinada faixa. Cada pixel possui apenas uma informação de cor: vermelho, verde ou azul. dos pixels circundantes, calcule a cor verdadeira de cada pixel e, finalmente, restaure a cena que vemos a olho nu, tanto quanto possível.

No entanto, as cores compostas por vermelho, verde e azul representam apenas 75% das cores visíveis ao olho humano, e a perda de cor no filme final é relativamente grande.

Além disso, por se basear em algoritmos para “calcular”, a precisão não pode ser totalmente garantida e em ambientes de cores e luzes mais complexos, a precisão do algoritmo será ainda mais reduzida, razão pela qual a pele das pessoas às vezes aparece amarelada e amarelada nas fotos; . vermelhidão.

Para resolver o problema da projeção de cores, os fabricantes tentam partir de duas direções: software e hardware.

O Google Pixel, que fez fortuna na fotografia computacional, lançou um algoritmo de cores chamado “Real Tone” para restaurar os verdadeiros tons de pele de diferentes raças durante o processamento de fotos em segundo plano.

Muitos fabricantes também estão tentando mudar o rumo, não buscando a restauração perfeita das cores, mas adotando ideias estilizadas para dar às fotos uma aparência visual melhor, em vez de 100% de restauração.

A Huawei foi equipada com um sensor de temperatura de cor de 5 canais desde seus telefones celulares P20 e gradualmente atualizou para um sensor de temperatura de cor multiespectral de 10 canais na série P50, que pode capturar bandas diferentes do RGB comum, incluindo algumas bandas diferentes de luz visível.

Depois, através do algoritmo do XD Fusion Pro, a luz visível e a luz não visível são fundidas para apresentar mais detalhes de cores.

O uso de sensores multiespectrais multicanais para tentar corrigir a "fraqueza de cor" das câmeras é, na verdade, uma solução convencional na indústria. Vivo e OPPO tentaram equipar seus carros-chefe com módulos de temperatura de cor multiespectrais semelhantes.

Simplificando, esse tipo de sensor pode capturar mais cores em bandas de comprimento de onda específicas, mas só pode fazer uma percepção e julgamento geral da luz ambiente geral. Ele não pode fornecer fonte de luz local e informações de cor e não possui recursos de imagem.

O módulo de câmera colorida primária de bordo vermelho de 1,5 megapixels é essencialmente composto por 150 instrumentos multiespectrais independentes, com maior sensibilidade à cor e capacidade de imagem, ou seja, pode adquirir simultaneamente imagens bidimensionais e informações cromatográficas, e registrar As capacidades também vão muito além do RGB três cores.

Em termos humanos, a câmera principal, telefoto e ultra grande angular do Huawei Mate 70 Pro normalmente podem tirar fotos de alta definição, enquanto a câmera colorida primária registra especificamente os detalhes de cores de cada área da foto e, em seguida, o processador fornece a foto as informações de cores corretas com base nessas informações precisas de cores.

Mas o limite superior desta câmera multiespectral com parâmetros elevados está muito além disso.

Os "olhos de fogo" dos telefones celulares

Diferentes materiais absorvem e refletem a luz de maneira diferente e apresentam espectros diferentes.

Simplificando, diferentes substâncias apresentarão “cores” diferentes, algumas são visíveis a olho nu e outras precisam ser capturadas por câmeras multiespectrais.

Através destes espectros, podemos inferir as propriedades e o estado atuais das substâncias. Portanto, os multiespectrômetros aparecem frequentemente em áreas profissionais como monitoramento ambiental, agricultura, silvicultura e pecuária, diagnóstico médico, análise química e investigação criminal.

Especialistas relevantes da indústria disseram à Aifaner que a contagem máxima de pixels do módulo espectral na indústria pode chegar a 2 milhões, enquanto a câmera multiespectral da série Huawei Mate 70 atingiu 1,5 milhão de pixels.

Tais qualidades podem não ser aplicáveis ​​às áreas profissionais acima mencionadas, mas se a Huawei estiver disposta a abrir interfaces de terceiros, poderá criar mais possibilidades para o Mate 70 lançado para os consumidores.

Por exemplo, podemos utilizar o multiespectrómetro dos nossos telemóveis para digitalizar os produtos agrícolas que compramos no mercado de vegetais. Os resíduos de pesticidas que não podem ser vistos diretamente a olho nu também serão detectados pela câmara multiespectral devido a diferentes características espectrais. Da mesma forma, também pode ser utilizado para detectar agentes fluorescentes em toalhas de papel.

Por exemplo, a condição da pele também pode ser fotografada através de um multiespectrômetro para detectar problemas como pele seca, luminosidade, opacidade, manchas, etc., com antecedência para o manejo da pele.

Como os espectros de infravermelho próximo e infravermelho médio apresentados pelo sangue podem teoricamente ser reconhecidos por um espectrômetro, é possível tirar uma "selfie" com a série Huawei Mate 70 para monitorar aproximadamente o açúcar no sangue do corpo, o oxigênio no sangue e outros indicadores.

Resumindo, esta câmera multiespectral é realmente como os “Fire Eyes” de Sun Wukong, que podem fazer os objetos “revelarem sua forma original” apenas por “verem”.

Para a IA, esta é definitivamente uma capacidade cobiçada.

A forma atual de interação entre os assistentes de IA e o mundo exterior é principalmente através do uso de câmeras para capturar imagens e depois analisá-las. No entanto, as informações em uma planta baixa são limitadas e é difícil para a IA realizar interpretações mais extensas.

E se a IA multimodal puder chamar câmeras multiespectrais, ela poderá enriquecer enormemente as informações externas que pode obter. Por exemplo, ao “olhar” para a geladeira, a IA pode analisar o frescor dos ingredientes com base em características espectrais e fornecer sugestões de receitas de jantar mais adequadas e detalhadas.

Saindo do celular e chegando ao espectro da câmera da casa inteligente, há também um amplo espaço para desenvolvimento. Imagine um forno que possa determinar de forma inteligente o estado dos ingredientes. Os usuários não precisam definir manualmente a temperatura e o tempo. Eles podem decidir o método de cozimento ideal.

Usar um celular para tirar fotos de cachorrinhos para identificação inteligente será criticado, mas se você puder tirar fotos de cachorrinhos para um teste rápido de doenças de pele, isso realmente mudará sua vida.

Mais dispositivos a caminho

Por que um multiespectrômetro tão útil não chegou aos nossos celulares até hoje?

O tamanho e o peso dos instrumentos multiespectrais tradicionais estão, na verdade, longe de poder ser comprimidos ao nível de um módulo de câmera de telefone móvel. O dispositivo central usado para espectrometria em um multiespectrômetro, a grade, é difícil de reduzir em tamanho e requer uma certa faixa de transmissão. Para expandir a faixa espectral, às vezes é necessário colocar múltiplas grades no instrumento.

A Qiushi Spectroscopia, uma empresa óptica nacional, está explorando o uso de algoritmos para substituir componentes espectroscópicos físicos, permitindo que o espectrômetro seja reduzido com sucesso.

Outro fator que dificulta a introdução de câmeras multiespectrais em smartphones é o poder de computação: quando o obturador do celular é pressionado, o processador precisa usar informações espectrais detalhadas para completar o processamento da foto. Se o desempenho não acompanhar, o tempo de produção de. o telefone celular será encurtado. É muito longo e afeta seriamente a experiência fotográfica.

Após avanços contínuos no desempenho dos processadores de telefones celulares que integram CPU, GPU e NPU (processador AI), esse problema foi resolvido.

Em 2022, a Huawei Hubble investiu na Qiushi Spectrum Company. Hoje, 2 anos depois, nasceu a série Huawei Mate 70, o primeiro smartphone equipado com um multiespectrômetro de 1,5 megapixels.

Mas desta vez a Huawei não liderará por muito tempo. Na verdade, no exterior já estão explorando caminhos semelhantes para introduzir chips multiespectrais em dispositivos móveis.

Uma empresa belga chamada Spectricity lançou o sensor multiespectral S1 especificamente para smartphones em 2023. O princípio e o efeito são semelhantes aos da câmera colorida primária de bordo vermelho e também pode melhorar a precisão das cores das câmeras de telefones celulares.

Este ano, a Spectricity anunciou uma parceria com a Qualcomm com o objetivo de desenvolver excelentes produtos de sensores de imagem espectral para a plataforma Qualcomm Snapdragon.

Atualmente, nenhum produto de telefonia móvel de consumo equipado com S1 foi lançado, mas a Spectricity disse que alcançou cooperação com vários fabricantes de telefones celulares, incluindo marcas da China, e produtos relacionados serão lançados em breve.

Talvez no próximo ano, esse sensor, que ainda é um pouco desconhecido do público, seja frequentemente apresentado em vários lançamentos de celulares emblemáticos e se torne outro novo ponto de venda.

Para os consumidores, esta câmera não significa apenas que podemos tirar fotos com cores mais precisas, mas também contém novas possibilidades para revolucionar a interação humano-computador.

Artigo de referência:
"Spectrum Camera, o" olho "mais brilhante da história do Huawei Mate"
"Imagem espectral, entrando em uma nova era de imagens de IA para celulares"

# Bem-vindo a seguir a conta pública oficial do WeChat de Aifaner: Aifaner (WeChat ID: ifanr). Mais conteúdo interessante será fornecido a você o mais rápido possível.

Ai Faner | Link original · Ver comentários · Sina Weibo |