Será que o chip emergente desenvolvido pela própria empresa na tela dobrável Mi MIX é o futuro da fotografia móvel?

"Os chips do processador são o ponto alto da tecnologia na indústria de telefonia móvel e estão no topo da pirâmide. Se você quer se tornar uma grande empresa neste setor, deve ter autonomia nas tecnologias essenciais para que a empresa possa ir longe."

Este foi o discurso de Lei Jun na conferência de imprensa quando a Xiaomi anunciou sua entrada no campo de chips e lançou o primeiro chip produzido em massa "Surge S1".

No entanto, após o aumento S1, o chip S2 foi difícil de produzir, e o chip autodesenvolvido da Xiaomi tornou-se gradualmente discreto e desapareceu da vista do público. Foi só em agosto do ano passado que Lei Jun revelou que o chip emergente ainda estava sendo desenvolvido. Acredito que, neste momento, o Xiaomi MIX FOLD já concluiu a produção experimental e iniciou a produção em massa, assim como o chip integrado "Surge C1".

Comparado com o Surging S1 e o distocia S2, o Surging C1 é apenas um ISP, e suas funções são muito mais simples do que SoC, e o design do chip não é tão complicado. É mais adequado para o "surgimento" de um novo começo.

Ao mesmo tempo, o Surging C1 autodesenvolvido é um ISP (processador de imagem) independente dentro do MIX FOLD e pode ser considerado o único produto equipado com um ISP independente na máquina carro-chefe atual.

No planejamento da linha de produtos, o MIX FOLD não é um produto voltado para as massas como a série Mi 11. Portanto, o chip C1 emergente, ou o ISP independente no telefone móvel, ainda não se mudou para as massas e ainda é um pequeno – tentativa de escala.

Isso não exclui o surgimento de ISPs independentes na próxima geração (na segunda metade do ano?) Carros-chefe da Xiaomi, ou pode desencadear um "efeito borboleta", tornando-se um recurso padrão dos carros-chefe domésticos e se tornando uma tendência na imagem móvel. Isso é possível?

Qual é o papel do ISP na geração de imagens?

Em suma, o ISP é responsável pelo processamento das imagens coletadas pelo sensor.

Independentemente de smartphones, câmeras sem espelho e DSLRs, os ISPs desempenham quase as mesmas funções e os processos são semelhantes. Todos eles realizam operações de transformação Bayer, de mosaico, redução de ruído e nitidez nos "dados brutos" coletados pelo sensor de imagem . Mas do lado do smartphone, o ISP também incluirá o processo de “fotografia computacional”, com diferentes algoritmos e ajustes diferentes, e por fim produzirá fotos diferentes.

A configuração do SoC com ISP independente é, na verdade, semelhante a uma câmera sem espelho profissional. Pegue o processador de imagem BIONZ X da Sony como exemplo (série α7 real). Ele contém chips SoC e ISP e não é empacotado juntos. A vantagem é que a Sony pode aumentar o número de chips ISP de acordo com os requisitos de desempenho do CMOS (α7RIII BIONZ) .X está equipado com ISP duplo), a desvantagem é que o grau de integração não é alto.

Antes do MIX FOLD, os ISPs da maioria dos smartphones eram empacotados em SoCs e todos os anos eles eram atualizados com iterações de atualização de SoC.

Por exemplo, agora o chip principal da Qualcomm, Snapdragon 888, tem três chips ISP integrados, com uma capacidade de processamento de pixel de 2,7 bilhões de pixels por segundo, e pode capturar três fotos de 28 megapixels ou três vídeos 4K HDR ao mesmo tempo. Em comparação com a geração anterior do Snapdragon 865, há uma melhoria de 35%.

MediaTek no outro campo também melhorou muito o desempenho do ISP integrado no mais recente SoC Dimensity 1200. Dos 80 milhões de pixels da geração anterior Dimensity 1000, foi atualizado para o nível de suporte de 200 milhões de pixels em um vá, e também adicionou uma série de novas funções baseadas em algoritmos de IA.

O poder de processamento do ISP não deve apenas corresponder ao desempenho do sensor, mas também estar associado ao algoritmo de "fotografia computacional". Ele determinará diretamente a tendência de imagem de um smartphone, se a cor é rica ou não, quanto realça são retidos e a escolha das partes escuras. Quanto e quanta informação de gradiente é retida no algoritmo HDR, etc.

Pode-se ver a partir disso que quando os fabricantes de chips upstream estão projetando SoCs de próxima geração, a melhoria do desempenho do ISP será uma direção importante, que está intimamente relacionada à importância da imagem do telefone móvel.

Do ponto de vista da capacidade de controlar apenas sensores de alto pixel, o desempenho do ISP integrado do SoC mainstream atual ainda é rico e é suficiente para processar as fotos atuais de 100 milhões de pixels mais altas de uma só vez.

Além disso, o sensor de pixel ultra-alto de que estamos falando agora funciona nos modos "quatro em um" e "nove em um". Quando convertida, uma foto tem na verdade 20 milhões de pixels. Mesmo se você incluir diferentes processos de cálculo, o ISP do SoC ainda não arrastará para baixo a "fotografia computacional".

Por que ter um ISP independente?

Já que o ISP no SoC tem tecnologia madura, algoritmos maduros e excelente desempenho, por que ele está equipado com um chip ISP independente?

Para a Xiaomi, esse "pequeno chip" pode ser considerado um novo começo. Como não basta lançar um SoC independente, é melhor deixar de lado o fardo, começar pelo "pequeno", começar pelo ISP e lentamente acumular experiência. É uma boa escolha. Corajosamente, diga que muitos "pequenos chips" como o ISP podem ser usados ​​na construção de carros subsequente, o que também é considerado um layout avançado.

Como mencionado acima, o ISP não é apenas para "fotografia computacional", mas a principal função é processar os dados brutos coletados pelo sensor, este processo de processamento não é diferente daquele de uma câmera tradicional. Na coletiva de imprensa, para a função do ISP auto-desenvolvido C1 emergente, as vantagens que Xiaomi mencionou se concentraram principalmente no processamento 3A, ou seja, nos três aspectos principais de foco (AF), algoritmo de balanço de branco (AWB) e exposição estratégia (AE) O manuseio é melhor.

Na verdade, o processamento 3A é apenas a "ponta do iceberg" para os dados coletados pelo sensor. Estritamente falando, o ISP processará mais de uma dúzia de itens de dados brutos e o processamento 3A também pode ser dividido em "sentido amplo" e "sentido restrito".

Em um sentido restrito, é o que Xiaomi disse na conferência de imprensa. Em um sentido amplo, AF pode ser estendido para foco automático, controle do motor de foco automático e seleção de ponto de foco automático. AE envolve mais, ISO automático, Filtros ND automáticos, obturadores automáticos, etc., o AWB também envolverá várias mudanças de matiz.

Em geral, o efeito final do processamento de imagem é causado basicamente pelas diferentes estratégias e compensações de cada etapa do ISP.

Equipado com um ISP independente é basicamente para melhorar o efeito final da imagem Nos últimos anos, a Xiaomi tem continuado a exercer esforços nas imagens e tem acumulado na estratégia de processamento de imagens do ISP. Combinado com o ISP Surging C1 independente, ainda quero entender melhor o processo e a estratégia do ISP no processamento de dados brutos, e também pode ser considerado como pavimentando o caminho para os telefones celulares Xiaomi subsequentes continuarem a melhorar o poder da imagem.

Os ISPs independentes se tornarão uma tendência de "imagens em movimento" no futuro?

O Mi 11 Ultra usa uma sola que está perto de uma polegada. Se não houver um "avanço óptico" no acompanhamento, isso é quase um limite físico. E o número atual de pixels CMOS também está no estado de "corrida armamentista", em breve devemos ver os telefones inteligentes entrarem no limiar de 200 milhões de pixels.

O aprimoramento contínuo do poder da imagem já é uma tendência importante na indústria de smartphones e também trouxe a "homogeneização". Para criar experiências de imagem diferentes, muitos fabricantes investem recursos para desenvolver tecnologias diferentes e alguns até cooperam com fabricantes de imagens tradicionais para melhorar seu estilo de imagem.

Mas para imagens em movimento, enquanto a lei de ferro da ótica física ainda estiver lá, são os aspectos tradicionais da qualidade do sensor, da capacidade de processamento do ISP e da qualidade da lente que afetam a imagem final. Os outros são apenas a cereja do bolo.

Desde então, os fabricantes de telefones celulares irão customizar o CMOS (sensor) para obter uma base de imagem melhor, para refinar o algoritmo para tornar a imagem final mais natural e trabalhar duro na colocação da lente para se adaptar a mais cenas.

Quanto aos ISPs independentes, eles querem se tornar uma grande tendência semelhante à situação acima mencionada. Olhando para isso agora, é muito cedo. Para ser preciso, deve ser uma "direção geral" no futuro.

Por um lado, o ISP embutido no SoC atual não será um obstáculo, nem é a placa de madeira mais curta no cilindro da imagem em movimento. Por outro lado, com um ISP independente, há um limite não baixo. Atualmente, os fabricantes de chips upstream, como Qualcomm e MediaTek, ainda não lançaram ISPs independentes para smartphones. Se quiserem ser equipados com ISPs independentes, podem ter que confiar na autoprodução. Atualmente, não há muitos fabricantes de telefones celulares que podem produzir seus próprios chips.

Além disso, os atuais ISPs independentes ainda não mostraram suas devidas vantagens.Depois de experimentar as palavras originais do MIX FOLD Zhijian, as câmeras MIX FOLD não são diferentes. Em outras palavras, seja uma "lente líquida" ou um ISP independente, é mais como projetar produtos futuros, acumulando pequenos fluxos em um rio.

#Bem-vindo a seguir a conta oficial do WeChat da Aifaner: Aifaner (WeChat ID: ifanr), mais conteúdo interessante será fornecido a você o mais rápido possível.

Ai Faner | Link original · Ver comentários · Sina Weibo