Por que não usar uma câmera para fotografia computacional que atualiza muito os recursos da câmera do iPhone?

No lançamento da série iPhone 11, o vice-presidente sênior da Apple, Philip W. Schiller, apresentou o conceito de fotografia computacional pela primeira vez ao apresentar o sistema de imagem da série iPhone 11 Pro. Este conceito também foi o primeiro Conhecido pelo público.

Na verdade, o conceito de fotografia computacional não é novo. Ele apareceu pela primeira vez em um artigo público em 1994, e foi determinado que a síntese na câmera de HDR, fotos panorâmicas e bokeh simulado pertencem à categoria de fotografia computacional. Mas, naquela época, a principal operadora de fotos ainda era o filme, as câmeras digitais estavam apenas começando e não havia câmeras nos telefones celulares.

Décadas depois, o meio de gravação de imagens mudou de filme para digital, telefones celulares têm câmeras e fotografia computacional gradualmente se tornou uma tendência importante.

No entanto, essa tendência tem pouco a ver com câmeras. Os fabricantes de câmeras ainda estão melhorando gradualmente o pixel, a velocidade de disparo contínuo e as capacidades de vídeo. Eles parecem não enxergar a fotografia computacional. As fotos tiradas (de cara) ainda são muito medíocres e estão gradualmente sendo usadas por smartphones. "Além".

Ao contrário, o poder de computação dos chips de telefones inteligentes está ficando cada vez mais forte, IA, algoritmos e aprendizado de máquina estão envolvidos em uma gama mais ampla. Há cada vez mais métodos dedutivos de imagens e, finalmente, fotos processadas por uma série de "algoritmos". Também está melhorando.

Hoje em dia, muitas pessoas estão mais dispostas a usar o celular para gravar e compartilhar, e as câmeras estão se tornando menos comuns. Isso também se reflete no desempenho de mercado das duas. O mercado de smartphones tem crescido rapidamente e o de câmeras encolhe ano após ano. Até DC (câmera de cartão) ) Desapareceu gradualmente.

Neste momento, algumas pessoas podem perguntar, já que as fotos tiradas por smartphones têm uma aparência tão boa, por que os fabricantes de câmeras tradicionais não seguem a tendência da fotografia computacional e consideram melhorar a aparência direta das fotos?

A câmera não tem capacidade de computação suficiente para contar?

Vamos começar com o "cerne" desse problema.

O núcleo de um telefone celular é o SoC, que integra CPU, GPU, ISP, NPU e banda base. Ele permite fazer chamadas, tirar fotos, assistir a vídeos, jogar e navegar na Internet. Também determina diretamente o desempenho do telefone celular.

O principal componente da câmera é o sensor de imagem (CMOS), que é semelhante a um telefone móvel, exceto pela área do componente, para imagem e sensibilidade à luz. Além disso, o chip de processamento central que controla todo o sistema da câmera é chamado de processador de imagem.

Tome como exemplo o processador de imagem BIONZ X da Sony (série α7 real). Inclui chips SoC e ISP. Não integra ISP em SoC. A vantagem é que a Sony pode aumentar o número de chips ISP de acordo com os requisitos de desempenho do CMOS. (O BIONZ X do α7RIII está equipado com dois ISPs.) A desvantagem é que o grau de integração não é tão alto quanto o dos telefones celulares.

O papel do SoC no BIONZ X é semelhante ao de um telefone celular Os requisitos de desempenho para controlar a interface de controle e as funções da câmera não são altos. Realize a transformação Bayer, demosaicing, redução de ruído, nitidez e outras operações nos "dados" coletados pelo sensor de imagem, principalmente com base no ISP, e, finalmente, converta os dados coletados pelo CMOS em visualização em tempo real da câmera. Nesse processo, o ISP da câmera não envolve o processo de cálculo, mas trata as fotos como produtos na linha de montagem para processamento unificado.

Com a melhoria contínua do número de pixels, velocidade de disparo contínuo e desempenho de vídeo da câmera atual, o processador de imagem da câmera tem uma alta demanda para a velocidade e taxa de transferência de processamento de imagem, e o volume de dados único é muito grande, sem envolver "cálculo". , O poder de processamento do processador de imagem da câmera excede em muito o poder de processamento do ISP de smartphone atual.

Mas quando se trata de fotografia computacional ou recursos de IA, há algo diferente. O processo de imagem de um smartphone é um pouco semelhante ao de uma câmera, mas antes que a imagem final seja apresentada, ele também requer cálculos de ISP e DSP, ajuste e otimização em tempo real, especialmente depois que o sistema multicâmera se torna o principal, o volume de dados de cálculo do telefone celular dobra.

Depois que a série iPhone 11 Pro lançou o sistema multicâmera, por trás da alternância suave e contínua do sistema multicâmera estão os enormes recursos de processamento de dados dos dois aceleradores de aprendizado de máquina recém-adicionados no A13 Bionic, atingindo um trilhão de vezes por segundo. Capacidades de processamento de dados eficientes e de alta frequência podem ser consideradas como devorando a enorme quantidade de dados gerados por três câmeras.

O processador de imagem da câmera pré-processa principalmente os dados originais e quase não há processo de cálculo, enquanto o SoC do telefone móvel inclui pré-processamento de aquisição de dados e processos de cálculo subsequentes, e os dois focam em direções diferentes.

Grupos diferentes, resultado da segmentação de mercado

A fotografia de computação móvel se desenvolveu rapidamente. A causa raiz é que o tamanho do sensor de imagem (CMOS) do telefone móvel é muito pequeno. Com a tecnologia atual, se você quiser ultrapassar fisicamente ou se aproximar da câmera, só pode otimizá-la por meio de algoritmos para fazer com que pareça simples, por exemplo, automático HDR, super cena noturna, grande abertura simulada, mudança mágica do céu e outras funções.

Mas a interpretação desses algoritmos ainda é difícil de conseguir uma intervenção "personalizada", como em que medida o filtro é adicionado, e em que medida os realces e sombras HDR são retidos. No entanto, para telefones celulares voltados para o público em geral, na medida do possível, deixe a maioria das pessoas tirar boas fotos, o que está mais de acordo com o posicionamento de mercado e o posicionamento da multidão de telefones celulares.

Desde a invenção da câmera, a câmera tem um atributo absoluto de "ferramenta". Para ser eficiente, a aparência, o controle, a função etc. comprometem a eficiência. Diante de um grupo de profissionais de nicho, naturalmente estará mais de acordo com suas necessidades. As câmeras registrarão profundidade de cor, cor, luz e outras informações, tanto quanto possível, para que os usuários possam fazer uma gama maior de pós-ajustes para determinar se é bom ou não. Não em suas necessidades.

Para a maioria das pessoas que não têm formação em fotografia, obter uma foto bonita é muito mais importante do que obter uma foto informativa. Para fabricantes de câmeras profissionais, aumentar a profundidade de cor da gravação RAW está mais de acordo com o posicionamento de mercado do que aumentar o efeito direto de JPG.

No entanto, as coisas não são tão absolutas e as câmeras também estão tentando mudar. A Fuji sempre esteve comprometida com o efeito direto da câmera, introduzindo a "simulação de filme", ​​por meio de diferentes algoritmos, para tornar as fotos mais elegantes e com melhor aparência. No entanto, esse processo não passa por cálculos de cena, mas exige que os usuários escolham por si mesmos. Isso é semelhante a alguns aplicativos de simulação de filmes em telefones celulares e não envolve a chamada "fotografia computacional".

Depois de AI, é a direção geral da câmera?

No campo da fotografia, o pós-processamento é uma etapa indispensável. Por um lado, o software de pós-processamento pode fazer uso total da rica informação gravada no formato RAW e, por outro lado, também pode usar o alto desempenho e a capacidade de computação do PC para processar rapidamente as fotos.

Ao contrário dos fabricantes de câmeras, o software profissional de pós-produção quase convencional começou a trabalhar na IA, enfatizando as capacidades de processamento da IA.

O Photoshop da Adobe adicionou uma função de reconhecimento automático às operações de recorte, reparo e dermoabrasão nas versões recentes da atualização, tornando a operação cada vez mais desatenta e o efeito cada vez mais preciso. O software de retoque Pixelmator Pro na plataforma Mac começou a usar o aprendizado de máquina Core ML da Apple para reconhecer imagens já em 2018, a fim de realizar ajuste de cor, fosqueamento, seleção e até saída de compressão. O aprendizado de máquina ML foi usado. motor.

Como mencionado acima, devido à limitação do poder de computação do chip AI e ao problema de nicho de mercado, os fabricantes de câmeras dificilmente têm exercido seus esforços em fotografia computacional. No entanto, a explosão de software posterior em IA também pode ser considerada como uma forma de compensar as deficiências das câmeras em fotografia computacional.

Mesmo que a IA do software posterior esteja incluída, as câmeras ainda não se livraram do processo tradicional.As câmeras gravam e os processos do software.Este processo ainda é incômodo para o público. Para fotógrafos profissionais, a intervenção de software AI posterior pode realmente reduzir a carga de trabalho e tornar as operações de recorte complicadas originais muito mais fáceis, mas ainda não pode reverter o processo de processamento (criação) de fotos da indústria de fotografia tradicional, que é completamente diferente do telefone móvel. diferente.

Segundo dados da CIPA, o mercado de câmeras está encolhendo gradativamente, ao contrário, o mercado de telefonia móvel continua crescendo. A tendência da "fotografia computacional" nos smartphones não mudará o rumo das câmeras se tornando mais profissionais, nem reverterá o encolhimento gradual do mercado de câmeras.

Diante dos ameaçadores telefones celulares, as câmeras só podem se desenvolver em uma direção mais profissional e continuar a subdividir o mercado para cima. Nos últimos anos, o full-frame de 40 milhões e 60 milhões de pixels de altura, médio formato acima de 100 milhões de pixels e micro-single Os recursos de vídeo continuam a se aproximar das câmeras de vídeo profissionais, que são todos produtos do segmento de câmeras.

A crescente especialização das câmeras significa a necessidade de sensores de imagem de melhor desempenho (CMOS), mas a "fotografia computacional" depende de um módulo de aprendizado de máquina separado. Como todos sabemos, o alto custo e o alto risco de desenvolvimento de chips tornam isso difícil para os fabricantes de câmeras. Leve ambos em consideração. A fotografia computacional e o desenvolvimento de especialização são dois caminhos diferentes. Ao mesmo tempo, para recursos como "fotografia computacional" e "intervenção de IA", que são de pouca utilidade para usuários profissionais, os fabricantes de câmeras provavelmente serão estrategicamente abandonados temporariamente devido aos custos de pesquisa e desenvolvimento de equilíbrio.

Neste estágio ou no futuro próximo, é ainda mais difícil querer que os fabricantes de câmeras adotem a "fotografia computacional" com alto risco, alto investimento e resultados lentos, sem mencionar que ainda existem muitos softwares de pós-produção profissionais usando IA para retocar fotos. No fim.

#Bem-vindo a seguir a conta oficial do WeChat da Aifaner: Aifaner (WeChat ID: ifanr), mais conteúdos interessantes serão fornecidos a você o mais rápido possível

Ai Faner | Link original · Ver comentários · Sina Weibo