Eu tentei o removedor de fundo de fotos do iOS 16 e ele me surpreendeu

A Apple lançou vários recursos com o iOS 16 . Isso inclui melhorias em aplicativos do sistema, como Mensagens, Mapas e Safari, uma tela de bloqueio personalizável e muito mais. Mas um dos recursos mais divertidos é a capacidade de remover automaticamente o plano de fundo das imagens – oferecendo uma edição semelhante ao Photoshop com apenas alguns toques.

É um recurso intrigante que combina anos de pesquisa e desenvolvimento de IA. Você pode levantar o assunto do fundo de uma imagem simplesmente segurando-o e colando-o em Mensagens, Telegrama, Safari, etc. Eu tentei o recurso em uma ampla variedade de fotos. Alguns foram capturados por uma DSLR , outros por uma câmera de smartphone com e sem modo retrato. Também testei imagens de objetos, animais de estimação e muitas outras imagens em ambientes desafiadores. Depois de experimentar o recurso em 10 imagens diferentes, os resultados falam por si.

Objetos

A primeira imagem é dos fones de ouvido Sony WF-1000XM4 . Foi tirada em uma DSLR, que destacou os fones de ouvido e seu estojo enquanto desfocava a embalagem. Toquei e segurei a embalagem e o sistema foi inteligente o suficiente para reconhecer o assunto em foco. A IA removeu precisamente o fundo com bordas claras onde havia luz suficiente, mas lutou com as sombras do estojo e dos fones de ouvido.

Escolhi esta segunda imagem porque a capturei com o efeito de modo retrato no iPhone – dando um aspecto artístico à imagem. O iOS 16 entendeu bem o assunto e peguei o telefone com a mão. Embora eu tivesse gostado de ter a opção de escolher apenas o telefone em vez de salvar minha mão, ele fez um bom trabalho com as bordas. Não há queixas aqui.

Animais de estimação

Nosso editor de seção, Joe Maring, me enviou esta imagem de seu cachorro em foco com o fundo distante. Bati no cachorro para tirá-lo do fundo e funcionou na primeira tentativa. Vale a pena notar que ao longo das bordas do cão, as bordas de seu cinto foram discretamente deslocadas do fundo. No geral, um trabalho impressionante.

Enquanto a IA fez um bom trabalho em cenários bem iluminados, Maring e eu forçamos os limites com esta imagem de seu gato sentado na lateral da janela. A imagem é desafiadora por dois motivos. Primeiro, é dentro de casa, então não há luz suficiente em algumas áreas ao redor do gato. Em segundo lugar, a luz do sol cai na cabeça do gato, o que pode ter confundido as suposições do iOS 16. Mas isso não aconteceu. O novo recurso da Apple moveu o gato do fundo com bordas precisas, mesmo em áreas com pouca luz, como o rabo.

A seguir, outra foto de um gato dentro de casa, mas desta vez com uma pessoa acariciando-o. Estávamos preocupados se o iOS 16 escolheria os objetos em segundo plano ao lado do assunto, mas, em vez disso, ele escolheu a mão humana. Teria sido muito melhor se tivéssemos a opção de apagar partes da imagem que não queríamos – algo em que esperamos que a Apple esteja trabalhando . O resultado final certamente não é ruim, mas é um exemplo de que ainda há espaço para melhorias.

Pessoas

Percebi que era muito mais fácil para o iOS 16 remover o assunto de um plano de fundo quando a imagem era capturada no modo retrato. Por exemplo, a foto acima foi tirada no modo retrato no iPhone 12. Ele fez um trabalho decente na manutenção das bordas – até mesmo do cabelo. Mas, por algum motivo, o iOS 16 criou um efeito de floração na minha parte inferior. Pode ser porque o modo retrato pode ter desfocado essa área, mas é uma anomalia estranha, no entanto.

Aqui, o iOS 16 fez um trabalho decente ao remover o reflexo do rosto de uma pessoa em segundo plano. Mas se você está sentado com alguém, e ambos estão no mesmo eixo, isso vai escolher vocês dois. Por exemplo, eu me cortei nesta imagem, mas o braço da pessoa sentada ao meu lado não pôde ser removido mesmo quando eu bati em mim para tirar o assunto do fundo. A imagem acima não foi tirada no modo retrato, mas o iOS 16 ainda fez um trabalho decente nas bordas.

Essa imagem foi capturada no Huawei P50 Pro , que possui um dos melhores modos de retrato em um smartphone. Mas foi enganado na área perto dos meus óculos e cabelo. O iOS 16 foi com os dados do modo retrato para cortar as bordas com muita clareza, mas foi enganado nas mesmas áreas em que a câmera não se saiu bem. As bordas ao redor do cabelo poderiam ter sido muito melhores.

Por outro lado, essa imagem foi tirada em uma DSLR e o iOS 16 foi inteligente o suficiente para manter o laptop ao meu lado. Ele teve um desempenho muito melhor com o cabelo do que na imagem anterior, cortando as bordas sem pegar fundo indesejado.

Uma área em que o removedor de plano de fundo do iOS 16 luta é quando há uma multidão. A foto acima é um ótimo exemplo. Foi clicado no iPhone 12 durante um show em um ambiente com pouca luz. Enquanto fazia um trabalho decente perto do rosto, não conseguia distinguir entre o assunto e as várias mãos na multidão. Novamente, seria legal da Apple nos dar a opção de apagar objetos indesejados para corrigir esses pequenos erros. Mas não há muito o que fazer com um toque e segure, fazendo com que sintamos ainda mais a falta do 3D Touch .

Com um começo incrível

No geral, o removedor de plano de fundo do iOS 16 faz um trabalho brilhante em cenários bem iluminados. Funciona bem em animais de estimação e objetos para limpar o fundo das bordas, mas parece que a Apple está confiando principalmente nos dados do modo retrato para tirar o assunto do fundo. Como resultado, quando uma imagem não é tirada no modo retrato – ou algo está bloqueando o assunto – o iOS 16 fica confuso.

Embora essas reclamações sejam válidas, é importante considerar tudo isso no contexto. Esta é a primeira versão disponível do removedor de plano de fundo da Apple no primeiro Developer Beta do iOS 16 . Como o iOS 16 não deve ser lançado oficialmente até setembro ou outubro, a Apple tem meses pela frente para ajustar e refinar o recurso antes de sua estreia pública. Considerando o quão bom o recurso já é em um estágio tão inicial, é emocionante pensar onde ele estará em alguns meses.