O chip emergente auto-desenvolvido na tela dobrável Mi MIX é o futuro da fotografia móvel?

"Os chips do processador são o ponto alto da tecnologia na indústria de telefonia móvel e estão no topo da pirâmide. Se você quer se tornar uma grande empresa neste setor, deve ter autonomia nas tecnologias essenciais para que a empresa possa ir longe."

Este foi o discurso de Lei Jun na conferência de imprensa quando a Xiaomi anunciou sua entrada no campo de chips e lançou o primeiro chip produzido em massa "Surge S1".

No entanto, após o aumento S1, o chip S2 foi difícil de produzir, e o chip autodesenvolvido da Xiaomi tornou-se gradualmente discreto e desapareceu da vista do público. Foi só em agosto do ano passado que Lei Jun revelou que o chip emergente ainda estava sendo desenvolvido. Acredito que, neste momento, o Xiaomi MIX FOLD já concluiu a produção experimental e iniciou a produção em massa, assim como o chip integrado "Surge C1".

Comparado com o Surging S1 e o distocia S2, o Surging C1 é apenas um ISP. Suas funções são muito mais simples do que o SoC, e o design do chip não é tão complicado. É mais adequado para o "surgimento" de um novo começo.

Ao mesmo tempo, o Surging C1 autodesenvolvido é um ISP (processador de imagem) independente dentro do MIX FOLD e pode ser considerado o único produto equipado com um ISP independente na máquina carro-chefe atual.

No planejamento da linha de produtos, o MIX FOLD não é um produto voltado para as massas como a série Mi 11. Portanto, o chip C1 emergente, ou o ISP independente no telefone móvel, ainda não se mudou para as massas. – tentativa de escala.

Isso não exclui o surgimento de ISPs independentes na próxima geração (na segunda metade do ano?) Carros-chefe da Xiaomi, ou pode desencadear um "efeito borboleta", tornando-se um recurso padrão dos carros-chefe domésticos e se tornando uma tendência na imagem móvel. Isso é possível?

Qual é o papel do ISP na geração de imagens?

Em suma, o ISP é responsável pelo processamento das imagens coletadas pelo sensor.

Independentemente de smartphones, câmeras sem espelho e DSLRs, os ISPs desempenham quase as mesmas funções e os processos são semelhantes. Todos eles realizam operações de transformação Bayer, de mosaico, redução de ruído e nitidez nos "dados brutos" coletados pelo sensor de imagem . Mas do lado do smartphone, o ISP também incluirá o processo de “fotografia computacional”, com diferentes algoritmos e ajustes diferentes, e por fim produzirá fotos diferentes.

A configuração do SoC com ISP independente é, na verdade, semelhante a uma câmera sem espelho profissional. Tome como exemplo o processador de imagem BIONZ X da Sony (série α7 real). Ele contém chips SoC e ISP, mas não juntos. A vantagem é que a Sony pode aumentar o número de chips ISP de acordo com os requisitos de desempenho do CMOS (α7RIII BIONZ) .X está equipado com ISP duplo), a desvantagem é que o grau de integração não é alto.

Antes do MIX FOLD, os ISPs da maioria dos smartphones eram empacotados em SoCs e todos os anos eles eram atualizados com iterações de atualização de SoC.

Por exemplo, agora o chip principal da Qualcomm, Snapdragon 888, tem três chips ISP integrados, com uma capacidade de processamento de pixel de 2,7 bilhões de pixels por segundo, e pode capturar três fotos de 28 megapixels ou três vídeos 4K HDR ao mesmo tempo. Em comparação com a geração anterior do Snapdragon 865, há uma melhoria de 35%.

MediaTek no outro campo também melhorou muito o desempenho do ISP integrado no mais recente SoC Dimensity 1200. Dos 80 milhões de pixels da geração anterior Dimensity 1000, foi atualizado para o nível de suporte de 200 milhões de pixels em um vá, e também adicionou uma série de novas funções baseadas em algoritmos de IA.

O poder de processamento do ISP não deve apenas corresponder ao desempenho do sensor, mas também estar associado ao algoritmo de "fotografia computacional". Ele determinará diretamente a tendência de imagem de um smartphone, se a cor é rica ou não, quanto realça são retidos e a escolha das partes escuras. Quanto e quanta informação de gradiente é retida no algoritmo HDR, etc.

Pode-se ver a partir disso que quando os fabricantes de chips upstream estão projetando SoCs de próxima geração, a melhoria do desempenho do ISP será uma direção importante, que está intimamente relacionada à importância da imagem do telefone móvel.

Do ponto de vista da capacidade de controlar apenas sensores de alto pixel, o desempenho do ISP integrado do SoC mainstream atual ainda é rico e é suficiente para processar as fotos atuais de 100 milhões de pixels mais altas de uma só vez.

Além disso, o sensor de pixel ultra-alto de que estamos falando agora funciona nos modos "quatro em um" e "nove em um". Quando convertido, uma foto tem na verdade 20 milhões de pixels. Mesmo se você incluir um processo de cálculo diferente, o ISP do SoC ainda não arrastará para baixo a "fotografia computacional".

Por que ter um ISP independente?

Já que o ISP no SoC tem tecnologia madura, algoritmos maduros e excelente desempenho, por que ele está equipado com um chip ISP independente?

Para a Xiaomi, esse "pequeno chip" pode ser considerado um novo começo. Como não é suficiente lançar um SoC independente, é melhor deixar o fardo, começar pelo "pequeno", começar pelo ISP e lentamente acumular experiência e, a partir de discussões de longo prazo, é uma boa escolha. Corajosamente, diga que muitos "pequenos chips" como o ISP podem ser usados ​​na construção de carros subsequente, o que também é considerado um layout avançado.

Como mencionado acima, o ISP não é apenas para "fotografia computacional", mas a principal função é processar os dados brutos coletados pelo sensor, este processo de processamento não é diferente daquele de uma câmera tradicional. Na conferência de imprensa, para a função de ISP desenvolvido automaticamente C1, as vantagens que Xiaomi mencionou se concentraram principalmente no processamento 3A, ou seja, focagem (AF), algoritmo de balanço de branco (AWB) e estratégia de exposição (AE). O manuseio é melhor.

Na verdade, o processamento 3A é apenas a "ponta do iceberg" para os dados coletados pelo sensor. Estritamente falando, o ISP processará mais de uma dúzia de itens de dados brutos e o processamento 3A também pode ser dividido em "sentido amplo" e "sentido restrito".

Em um sentido restrito, é o que Xiaomi disse na conferência de imprensa. Em um sentido amplo, AF pode ser estendido para foco automático, controle de motor de foco automático e seleção de ponto de foco automático. AE envolve mais, ISO automático, Filtros ND automáticos, obturadores automáticos, etc., o AWB também envolverá várias mudanças de matiz.

Em geral, o efeito do processamento final da imagem é causado basicamente pelas diferentes estratégias e trade-offs de cada etapa do ISP.

Equipado com um ISP independente é basicamente para melhorar o efeito final da imagem Nos últimos anos, a Xiaomi tem continuado a exercer esforços nas imagens e tem acumulado na estratégia de processamento de imagens do ISP. Combinado com o ISP Surging C1 independente, ainda quero entender melhor o processo e a estratégia do ISP no processamento de dados brutos, e também pode ser considerado como pavimentando o caminho para os telefones celulares Xiaomi subsequentes continuarem a melhorar o poder da imagem.

Os ISPs independentes se tornarão uma tendência de "imagens em movimento" no futuro?

O Mi 11 Ultra usa uma sola que está perto de uma polegada. Se não houver um "avanço óptico" no acompanhamento, isso é quase um limite físico. E o número atual de pixels CMOS também está em estado de "corrida armamentista", em breve devemos ver os telefones inteligentes entrarem no limiar de 200 milhões de pixels.

O aprimoramento contínuo do poder da imagem já é uma tendência importante na indústria de smartphones e também trouxe a "homogeneização". Para criar experiências de imagem diferentes, muitos fabricantes investem recursos para desenvolver tecnologias diferentes e alguns até cooperam com fabricantes de imagens tradicionais para melhorar seu estilo de imagem.

Mas para imagens em movimento, enquanto a lei de ferro da ótica física ainda estiver lá, são os aspectos tradicionais da qualidade do sensor, da capacidade de processamento do ISP e da qualidade da lente que afetam a imagem final. Os outros são apenas a cereja do bolo.

Desde então, os fabricantes de telefones celulares irão personalizar o CMOS (sensor) para obter uma base de imagem melhor, para refinar o algoritmo para tornar a imagem final mais natural e trabalhar duro na colocação das lentes para se adaptar a mais cenas.

Quanto aos ISPs independentes, eles querem se tornar uma grande tendência semelhante à situação acima mencionada. Olhando para isso agora, é muito cedo. Para ser preciso, deve ser uma "direção geral" no futuro.

Por um lado, o ISP embutido no SoC atual não será um obstáculo, nem é a placa de madeira mais curta no cilindro da imagem em movimento. Por outro lado, com um ISP independente, há um limite não baixo. Atualmente, os fabricantes de chips upstream, como Qualcomm e MediaTek, ainda não lançaram ISPs independentes para smartphones. Se quiserem ser equipados com ISPs independentes, podem ter que confiar na autoprodução. Atualmente, não existem muitos fabricantes de telefones celulares podem produzir seus próprios chips.

Além disso, os atuais ISPs independentes ainda não mostraram suas devidas vantagens.Depois de experimentar as palavras originais do MIX FOLD Zhijian, as câmeras MIX FOLD não são diferentes. Em outras palavras, seja uma "lente líquida" ou um ISP independente, é mais como projetar produtos futuros, acumulando pequenos fluxos em um rio.

#Bem-vindo a seguir a conta oficial do WeChat da Aifaner: Aifaner (WeChat ID: ifanr), mais conteúdo interessante será fornecido a você o mais rápido possível.

Ai Faner | Link original · Ver comentários · Sina Weibo