Desmistificando o modo de efeito de filme do iPhone 13, é assim que a Apple o criou

Lembro-me de assistir a um documentário quando era jovem, que explicava a divisão de tarefas por trás do filme. E os fotógrafos costumam ser acompanhados por um atendente "follow-focuser", que é como se todo jogador de golfe tivesse um caddie e todo jogador de rally, um navegador, o que quase se tornou o padrão na indústria cinematográfica.

O seguidor de foco principalmente garante apenas que o ponto focal (plano focal) da lente atenda às necessidades do diretor de fotografia, ou seja, garantir que o assunto esteja claro.

Parece um trabalho bastante simples, mas nem todos podem fazê-lo. Possui altos requisitos para a velocidade de foco e a precisão da mudança. Sem anos de acumulação para formar a memória muscular, é difícil atingir o ponto de proficiência e é difícil alternar com precisão entre os diferentes pontos focais.

Mesmo agora que a tecnologia de foco automático da câmera fez um grande progresso, a indústria cinematográfica ainda é inseparável, e ainda é totalmente manual, e o fotógrafo ainda tem um "seguimento".

O movimento do foco destacará o personagem e o ambiente. O instinto do olho humano é rastrear um assunto claro, e a mudança de foco guiará a atenção do público para mudar o foco, alcançando assim a narrativa ou a atmosfera. Tornou-se um filme. Um pedaço de linguagem. Zha Dao deve ter uma palavra a dizer sobre isso.

Se as pessoas comuns querem filmar semelhante a este tipo de efeito de "filme", ​​se não for um estágio posterior, uma câmera full-frame e uma lente de grande abertura são suficientes, mas do ponto de vista econômico e universal, pode ser uma pontuação negativa. NS.

E o "Modo de efeito de filme" deste ano em toda a série do iPhone 13 pode ser uma nova escolha.

O modo de efeito de filme é o modo de vídeo retrato

De todos os TVCs no iPhone 13, os que mais me impressionaram foram "Whodunnit" e "Quem roubou meu iPhone". A adição do modo de efeito de filme melhorou muito a história de todo o filme. Claro, os atores deste último são também grande. Destaques.

Na verdade, já antes de a Apple lançar o iPhone 13 em 15 de setembro, havia rumores correspondentes de que a Apple lançaria a função "retrato de vídeo", e não achava que seria muito "útil" naquela época.

Mas quando vimos a demonstração comercial de "Whodunnit" e depois de obtermos a série do iPhone 13, tentamos "reproduzir" por um tempo, e então gradualmente entendemos que o significado de "modo de efeito de filme" era comparável ao "efeito de filme modo "no iPhone 7 Plus. Modo retrato".

Eles não são baseados na tecnologia ótica clássica, mas encontram outra maneira. O antigo "modo retrato" e o atual "modo de efeito de filme" são baseados em paralaxe multi-lente, não LiDAR, o que explica porque o iPhone 13 é compatível com todos os sistemas, não apenas na série Pro.

O propósito é óbvio, ou seja, popularizar como a “modelo retratista” do ano.

Também é baseado nisso que o efeito de disparo do "modo de efeito de filme" do iPhone 13 é semelhante, e o reconhecimento do assunto para simular a profundidade de campo se concentrará no rosto e, em vários rostos, a grande prioridade será dado.

Não consegue identificar objetos e animais e requer intervenção manual para fazer a troca. Em uma cena lotada, o iPhone 13 pode reconhecer vários rostos ao mesmo tempo, mas frequentemente muda o foco. Nesse momento, ele também precisa intervir para selecionar a pessoa que você deseja seguir ou pressione e segure diretamente para travar isto.

Além disso, o "modo de efeito de filme" foi lançado pela primeira vez pela Apple e, naturalmente, há muitas restrições. Um deles é que o recorte não é detalhado o suficiente, as bordas dos personagens às vezes são "perfuradas", e o mais alto só pode gravar vídeo 1080p 30p, o mesmo é verdade para a versão do iPhone 13 Pro Max 1TB.

No entanto, sob as restrições acima, o "modo de efeitos de filme" de toda a série do iPhone 13 ainda pode levar em consideração a codificação Dolby Vision HDR, que também é uma escolha da Apple.

"Modo de efeito de filme" nasceu na verdade por curiosidade

No passado, muitos dos surgimentos de novos recursos exigiam um insight sobre as necessidades e eram obtidos a partir do feedback do usuário, mas a Apple, no topo da pirâmide, fabricava produtos mais de acordo com seu próprio entendimento e ritmo.

Em uma entrevista com Matthew Panzarino, o editor-chefe do TechCrunch, o designer de interface homem-máquina da Apple, Johnnie Manzari, explicou o início e o fim do modelo de efeito do filme.

O "modo de efeito filme" não parte da função em si, mas apenas porque o departamento de design está curioso sobre o processo de fazer um filme, usando-o como ponto de partida para estudar e aprender técnicas de fotografia de filme, de modo a chegar perto de conversão de foco real e algumas características ópticas.

Ao mesmo tempo, John disse que o desenvolvimento do "modo de efeito de filme" é um tanto semelhante à função de foto de estúdio com efeito de luz que apareceu no iPhone X.

A partir das obras de retratos do retratista clássico Andy Warhol (Avedon Warhol), do pintor barroco Rembrandt e da pintura meticulosa chinesa, aprenda a experimentar e analisar e, em seguida, aplique-as no algoritmo do produto.

O "modo de efeito de filme" é um processo semelhante. A equipe da Apple discutiu pela primeira vez com cinegrafistas de classe mundial e assistiu a um grande número de filmes.

No processo, descobrimos algumas tendências imutáveis ​​no processo de filmagem. A mudança entre os pontos focais é uma linguagem comum na indústria cinematográfica e precisamos entender com precisão como e quando eles são usados.

Portanto, John e os membros da equipe trabalharam em estreita colaboração com o diretor de fotografia e o primeiro assistente de fotografia para entender o mecanismo por trás de tudo isso. O uso de profundidade de campo rasa pode guiar a atenção do público e ajudar na descrição da história.

No entanto, o "zoom" é para profissionais e é difícil para as pessoas comuns compreenderem a precisão.

Depois de saber que leva muitos anos de prática para o seguidor de foco dominar a situação em tempo real de manter o foco constante de acordo com a posição da câmera do filme e do assunto, John, a equipe de design e a Apple acreditam que este "filme modo de efeito "está prestes a ser comercializado." Será um recurso muito competitivo.

Para isso, ao estudar a Apple, o "modo de efeito de filme" é dividido em duas partes, uma é "encontrar o foco" e a outra é como transferir suavemente.

Encontrar o ponto focal é finalmente definido como "detecção de olhar", que na verdade está mais perto da detecção de rosto, para que o público possa se concentrar no movimento do protagonista e guiar o público para entender rapidamente a história.

A transferência suave é um recurso adicionado pela observação de longo prazo de John da roda de controle de foco operada por um seguidor. Um seguidor habilidoso usará o controle do rolo para fazer o foco se mover de forma natural e estável e também mudará o foco de acordo com o foco comprimento da lente. A distância do objeto muda em tempo real.

A Apple passou muito tempo no "modo de efeito de filme" tentando simular o trabalho manual deste seguidor, então estamos filmando no "modo de efeito de filme". Ao alternar entre diferentes pontos de foco, não é um movimento rápido e mecânico de puxar e puxar , mas há um processo de acompanhamento mais óbvio.

Claro, o "modo de efeitos de filme" acaba de ser lançado, assim como o "modo retrato", ainda tem muito a otimizar.

É como se você visse Lang Lang tocando piano com tanta facilidade e liberdade, mas sabe que é impossível usar algoritmos para atingir seu nível de mestre.

O herói por trás da aterrissagem do "modo de efeito de filme" A15

Como é "adivinhado" por meio de um algoritmo, em teoria o "modo de efeito de filme" pode ser baixado para outros iPhones (como o iPhone 12) via OTA, mas a visualização em tempo real pode ser sacrificada. Mas com o pensamento da Apple, é difícil descentralizar novos recursos sacrificando alguma experiência.

Portanto, o "modo de efeito de filme" será um recurso temporariamente exclusivo de toda a série do iPhone 13, e também será um limite para o poder de computação dos chips da série A, e também pode se tornar uma nova geração do iPhone " usuários de unhas. "

Kaiann Drance, vice-presidente de marketing do iPhone, disse em uma entrevista que fazer vídeos com profundidade de campo simulada é mais "desafiador" do que fotos.

O vídeo precisa se mover conforme o assunto se move, é necessário um antivibração em tempo real (digital mais ótica) e diferentes cenas, pessoas, animais e objetos são reconhecidos com precisão. Portanto, para motores neurais e aprendizado de máquina, profundidade de qualidade superior são dados necessários e renderizados em tempo real.

Ah, e foco em tempo real e suporte para codificação Dolby Vision HDR. E por trás de tudo isso vem de A15, pode-se dizer que a juventude tem assumido a importante responsabilidade de toda a família.

Comparado com o CPU do A15, no teste real, o desempenho do GPU melhorou significativamente.Ele pode adotar uma arquitetura totalmente nova e acumular mais um núcleo. Além disso, o poder de computação do mecanismo de rede neural do A15 foi aumentado para 15,8 TOPS.

E essas melhorias de hardware podem estar relacionadas à melhoria das funções de vídeo da série iPhone 13 desta vez. O "modo de efeito de filme" contém alguns problemas de aprendizado de máquina que são diferentes de fotos estáticas. Acredito que quando o A15 foi desenvolvido, a equipe de design de interação humano-computador de John já havia feito um intercâmbio profundo com o desenvolvimento de chips.

No vídeo de teste do TechCrunch, eles também descobriram que o "modo de efeito de filme" da série iPhone 13 usa sensores redundantes para prever o assunto durante o processo de identificação de pessoas.

Assim que a nuca da filha de Matthew apareceu na tela, o iPhone 13 em sua mão imediatamente mudou o foco, como se houvesse um diretor que controla a situação geral em uma peça de teatro. O protagonista não apareceu no palco, e a iluminação é preparada com antecedência., E leva o público a esperar ansiosamente por sua aparência.

Com relação a este detalhe do "modo de filme", ​​o designer de interação homem-computador da Apple, John, disse:

Ao observar a produção do filme, descobrimos que o seguidor de foco não espera que o protagonista mova o foco, mas tem um processo de previsão. Também usamos sensores redundantes para prever o movimento de pessoas fora da tela por meio do aprendizado de máquina. Quando eles aparecem na tela, o foco já está neles.

Jobs uma vez gostava de dizer que a Apple está na interseção de tecnologia e arte.

Antes do lançamento da série iPhone 13, "modo retrato" era mais como um termo técnico, e parecia frio. Quanto ao “modo de efeito filme” e à apresentação do TVC, já não é frio, mas sim com uma determinada temperatura. Após um entendimento profundo da história por trás do "modo de efeito de filme", ​​ele trouxe um pouco da "arte de filmar".

Para pessoas comuns, o "modo de efeito de filme" pode não ter um significado tão profundo. É mais como uma chave de fenda de vinho tinto em um canivete suíço. Pode não ser a ferramenta mais perfeita e econômica, mas é uma ferramenta que pode ser usado em emergências.

Os filmes nos mostram emoções e histórias humanas. Se você usar a linguagem correta, isso será transmitido. No momento, há muito que trabalhamos para que a sua história de vida pudesse ser gravada e interpretada no seu telemóvel, mal posso esperar para ver as histórias escritas por pessoas que utilizam o "modo de efeito filme".

#Bem-vindo a seguir a conta oficial do WeChat da Aifaner: Aifaner (WeChat ID: ifanr), mais conteúdo interessante será fornecido a você o mais rápido possível.

Ai Faner | Link original · Ver comentários · Sina Weibo