Carro-chefe da imagem 2023-2024, por que você o escolheu?
A plataforma móvel Snapdragon 8 de terceira geração foi lançada em outubro, o que provocou uma enorme reação em cadeia: os principais telefones Android foram lançados um após o outro no quarto trimestre deste ano, tanto em termos de preço quanto de força do produto, e a concorrência foi extremamente feroz.Mesmo quando alguns telefones celulares forem lançados, você terá dúvidas: esta máquina pode ganhar dinheiro?
▲ Módulo de lente Realme GT5 Pro
Por exemplo, o carro-chefe ultra econômico Realme GT5 Pro lançado há algum tempo oferece configurações extremamente sinceras em sua faixa de preço de mais de 3.000 yuans:
- A terceira geração da plataforma móvel Snapdragon 8 (Snapdragon 8 Gen3)
- Configuração inicial de 12+256GB
- Brilho de até 4500nits, uma tela incomparável desenvolvida em conjunto com a BOE
- 100 W com fio + 50 W de carregamento sem fio
- Telefoto de teto composta por algoritmo Snapdragon 8 Gen3 + IMX890 + ArcSoft
Espere, por que o Snapdragon 8 Gen3 aparece duas vezes?
SoC não possui apenas CPU e GPU, mas também ISP e assim por diante.
Há mais de dez ou vinte anos, quando falávamos sobre chips, basicamente optávamos pelas CPUs. No entanto, a ideia de que os chips são aproximadamente iguais às CPUs está ultrapassada há muito tempo, porque os chips grandes evoluíram para SoC (System on Chip) com o mesma plataforma, e existem muitos tipos de pequenos chips.Os responsáveis pelo gerenciamento de energia, os responsáveis pela exibição da tela, etc.
Quando falamos em SoC, tendemos a focar na CPU e na GPU, afinal são elas que mais contribuem para o benchmarking dos jogos.
No entanto, a vida é mais do que comer e dormir, e os telefones celulares são mais do que jogos de benchmarking. Quando levantamos o telefone, abrimos a câmera para ver a vista, pressionamos o obturador, tiramos uma foto e a carregamos em uma rede social , neste curto processo, o SoC é quase " "colaboração multidepartamental", utilizando muitos módulos.
Dentro do SoC, existem muitas outras partes que não estão envolvidas no software de benchmarking, mas são cruciais.
Tomemos como exemplo o recém-lançado Snapdragon 8 Gen3. Sua composição é bastante complexa. Além da CPU responsável pela computação geral e da GPU para computação gráfica, há também um NPU e um mecanismo de IA responsável principalmente pela computação de IA, um modem responsável para conexão 5G e sistema de conexão móvel FastConnect para Wi-Fi, Snapdragon Listen para áudio, combinação de software e hardware para segurança e ISP para processamento de sinal de imagem, etc.
ISP (Image Signal Processor) é uma das razões pelas quais o Snapdragon 8 Gen3 pode aparecer repetidamente na lista de configurações do Realme GT5 Pro.
▲ Diagrama esquemático da operação do ISP, imagem da CSDN
Não basta ter uma boa lente e um bom sensor de imagem, é necessário também um ISP para converter o que a lente vê e o que o sensor recebe no que a tela pode exibir e no que o olho humano pode ver.
Esse processo é bastante complicado. Primeiro, a luz passa pela lente e entra na área fotossensível do sensor de imagem. O sensor passa por conversão fotoelétrica para obter a imagem original no formato Bayer, ou seja, a imagem com o sufixo .raw A imagem original no formato Bayer é então processada pelo ISP., envia os dados da imagem de domínio espacial para a unidade de interface de vídeo subsequente e, em seguida, fornece-os à tela para exibição. A função do ISP é otimizar, aprimorar e processar os sinais de imagem e vídeo capturados pela câmera do telefone, bem como gerenciar a interface do sensor e posterior processamento dos dados da imagem.
O processo é como um conversor que conecta o sistema de imagem ao sistema de exibição, mas o ISP faz muito trabalho, incluindo, entre outros, melhoria da qualidade da imagem, como aprimoramento de cores, ajuste de equilíbrio de branco; e processamento de redução de ruído, que é particularmente importante na filmagem de cenas noturnas. Crucialmente, sem um ISP poderoso para reduzir ruídos e partículas, as cenas noturnas dos principais telefones atuais ficarão muito desfocadas; além disso, inclui síntese de vários quadros por trás da filmagem HDR, filmagem em câmera lenta, modo panorâmico costura, etc
Além disso, o baixo limite para fotografia móvel também depende da contribuição do ISP. Muitas pessoas podem não conseguir tirar uma foto nítida quando adquirem uma câmera Leica de médio formato, porque o foco, a abertura, etc., precisam ser ajustados manualmente. . Em telefones celulares, o ISP usa cálculos em tempo real, juntamente com foco a laser, sensores de luz e outros componentes, para implementar funções como foco automático, exposição automática, abertura automática e equilíbrio de branco automático, ajudando os usuários a tirar fotos nítidas. fotos no momento em que ligam a câmera do telefone.
Quando criticamos algumas câmeras de telefones celulares por foco lento, baixo equilíbrio de branco, superexposição em HDR automático e qualidade de imagem de cena noturna impura, o problema provavelmente está no fraco ISP.
O principal contribuinte para o surgimento dos chips da série Snapdragon 8 e dos principais telefones de imagem é, obviamente, o ISP que se esconde atrás deles.
Portanto, o propósito do exemplo do Realme GT5 Pro no início está aqui, porque a combinação do sensor de imagem Sony IMX890 + Snapdragon 8 Gen3 + algoritmo ArcSoft é de importância típica.Hardware de imagem poderoso com recursos ISP poderosos, combinados com algoritmos excelentes, pode A base para tirar boas imagens.
O desempenho básico do ISP desta geração do Snapdragon 8 Gen3 é ainda mais poderoso. Na verdade, o Snapdragon 8 Gen3 tem três ISPs, suportando três câmeras para gravar vídeos HDR ao mesmo tempo. A profundidade de bits da cor chega a 18 bits e o suporte máximo é de 200 milhões. Câmera Pixel e gravação de vídeo 8K 30fps ou 4K 120fps, gravação de vídeo em câmera lenta suporta 720p 960fps…..
Isso significa que o ISP do Snapdragon 8 Gen3 possui excelentes capacidades de processamento de dados.
Mas essas não são todas as capacidades de imagem do Snapdragon 8 Gen3.
AI é a magia da tecnologia, Snapdragon Sight é o feitiço que torna as fotos melhores
Se há 5 anos um fabricante dissesse que suas fotos eram de nível SLR ou de estúdio, eles teriam sido criticados por profissionais e grandes players por exagerarem em suas afirmações.
Mas em 2023, muitos fabricantes começaram a promover retratos em nível SLR e retratos em nível de estúdio.Em algumas cenas subdivididas, o desempenho dos principais telefones de imagem parece ter atingido o limiar do equipamento de imagem profissional.
É aqui que entra o poder da fotografia computacional, fazendo com que as imagens em movimento pareçam imagens profissionais de luzes traseiras nas curvas. A abertura não é suficientemente ampla? A fotografia computacional pode simular efeitos naturais de desfoque. A distância focal não é longa o suficiente? Usando o zoom periscópio, o zoom digital e calculando os detalhes de otimização da fotografia, você também pode obter boas fotos supertelefoto.
Mas em 2023, o ano mágico da IA, a combinação entre imagens e IA ocorrerá naturalmente.
Snapdragon Sight O progresso da tecnologia de imagem Snapdragon tornou-se mais intimamente relacionado à IA com o lançamento do Snapdragon 8 Gen3. O excelente desempenho do ISP do Snapdragon 8 Gen3 e o poder de computação de IA aprimorado tornam a tecnologia de imagem Snapdragon Sight ainda mais forte, tornando-se a base técnica para muitos carros-chefe de imagem.
Por exemplo, a tecnologia DCG (Dual Conversion Gain) suportada pelo Snapdragon Sight é uma tecnologia que pode fornecer melhor qualidade de imagem e imagens mais rápidas, e pode ser usada para imagens HDR. Em essência, esta também é uma tecnologia de síntese multiquadro, mas as imagens multiquadro do DCG são geradas ao mesmo tempo, e não antes e depois da síntese multiquadro tradicional.
Existem também recursos como modo de visão noturna e suporte ao formato Dolby, que são essencialmente o resultado do melhor desempenho do ISP.
No entanto, tecnologias como expansão de imagem e eliminação de objetos também requerem o suporte de módulos de computação de IA, como NPU.
Anteriormente, teríamos pensado que estas tecnologias mágicas de IA não pertenciam à categoria de imagem, mas, até certo ponto, estas tecnologias que antes exigiam operações complexas em software como o PhoneShop tornaram-se agora simples e fáceis de obter.
E a função de apagamento de objetos é limitada a imagens, mas agora o Snapdragon 8 Gen3 começou a suportar o apagamento de objetos em vídeos, e a palavra-chave "poder de computação" ainda está em ação por trás dele.
Ao mesmo tempo, com o apoio da IA, o ISP pode evoluir para um ISP cognitivo, que pode usar o mecanismo Qualcomm AI para realizar segmentação semântica em tempo real ao tirar fotos e vídeos, e identificar vários elementos da imagem, como edifícios, barcos, rios, árvores, rosto humano, olhos, cabelos, pele, etc. Na época do Snapdragon 8 Gen2, o Cognitive ISP era capaz de identificar 8 camadas de semântica em imagens. Naquela época, ele poderia até suportar a capacidade de remover o reflexo dos óculos. Agora, com o Snapdragon 8 Gen3, o número de camadas semânticas que que pode ser reconhecido em tempo real foi aumentado. Atualizado para o nível 12.
Quanto mais camadas de reconhecimento, mais clara será a compreensão da imagem e maior será a possibilidade de aprimoramento posterior.
Para os consumidores, a tecnologia de imagem está em fase acelerada em 2023 com o suporte do Snapdragon 8 Gen3: tirar uma boa foto e um bom vídeo está se tornando mais fácil do que nunca e, ao mesmo tempo, tirar fotos e vídeos, sob a magia da IA e suportados pela tecnologia de imagem Snapdragon Sight, têm mais possibilidades e podem ser expandidos, apagados e reeditados.
Quando abrimos as páginas de muitos telefones celulares emblemáticos de imagem e rolamos até a seção de introdução de imagens, sentiremos constantemente que os "algoritmos" estão por toda parte, suportando vários "mecanismos", como ISP e NPU.
Na verdade, se você comparar os preparativos técnicos da tecnologia de imagem Snapdragon Sight Snapdragon, descobrirá que ela realmente deixa muita redundância para a fotografia de telefones celulares neste estágio. Por exemplo, funções como gravação de vídeo 4K 120fps, gravação simultânea de 3 câmeras, etc., ainda não foram totalmente implementadas. A razão é que, é claro, os fabricantes upstream devem estar à frente dos fabricantes de terminais e fornecer mais potencial de exploração, em vez de do que se tornar uma restrição.
Ansiosos pelos carros-chefe de imagem em 2024, série OPPO Find X7, vivo X100 Pro +, Xiaomi 14 Ultra, Samsung Galaxy S24 Ultra, etc., carros-chefe de imagem mais poderosos e profissionais utilizarão ainda mais a imagem Snapdragon 8 Gen3 e Snapdragon Sight Snapdragon Força técnica .
Até então, entenderemos melhor o valor desse núcleo.
# Bem-vindo a seguir a conta pública oficial do WeChat de aifaner: aifaner (WeChat ID: ifanr).Mais conteúdo interessante será fornecido a você o mais rápido possível.
