Odeio mosaicos? O Google diz que você pode “consertar”

O filme de ficção científica "Blade Runner" lançado em 1982 previa um 2019 repleto de tecnologia cyberpunk: o céu está cheio de carros voadores e os humanos podem usar uma máquina de tela grande (Esper) para realizar muitas tarefas incríveis.

Quando o protagonista Rick Deckard rastreou o paradeiro dos clones, ele usou Esper para descobrir algumas pistas que foram ignoradas a olho nu.

Rick colocou uma foto suspeita encontrada na cena em Esper, e ampliou um canto da foto de forma não destrutiva uma e outra vez, e finalmente encontrou o andróide Jura no reflexo do espelho.

A imaginação dos trabalhos de ficção científica é de fato limitada pela tecnologia da época. Os PCs se tornaram populares em 1982. "Blade Runner" não imaginava que o surgimento da Internet tivesse mudado o modo de vida humana, nem poderia imaginar que a tecnologia de simulação teria Um dia foi substituída pela tecnologia digital.

Porém, sua imaginação com a tecnologia de ampliação de imagem sem perdas é muito avançada, o que é um problema difícil de ser resolvido até agora.

Você também pode ter se deparado com esta situação: depois da festa, amigos tiraram uma foto de grupo juntos e, em seguida, aumentaram o zoom para ver o rosto do antigo colega de classe ou a marca de bebida naquela noite quando voltei, mas o que vi estava desfocado. Mosaico.

Isso porque quando ampliamos um pouco a foto, a resolução local já é muito baixa, e tudo o que vemos são imagens compostas por pixels.

É possível extrairmos informações adicionais da imagem de "mosaicos" triviais como a fantasia de 30 anos atrás?

Um blog recente da equipe de IA do Google mencionou um novo algoritmo de imagem, que está muito próximo da visão de "Blade Runner".

Aumento de resolução incrível

Qual o tamanho de uma foto de 64 X 64 pixels? Usando a foto de 12 megapixels tirada pelo iPhone como modelo, ela tem apenas cerca de um terço do seu tamanho. Quando exibida em uma tela de alta definição, você verá apenas um "mosaico" completo.

Na era digital, todas as imagens que vemos na tela são compostas por pixels compactados, quanto mais pixels por unidade de área compõem a imagem, maior será a resolução e mais nítida será a imagem.

Os pesquisadores de IA do Google estão pensando: é possível extrair informações suficientes da imagem de baixa resolução, usar o aprendizado de máquina para restaurar a imagem original o máximo possível, aumentar a resolução da imagem e obter uma imagem nítida?

Em seu blog publicado recentemente, o Google mostrou seus resultados de pesquisa mais recentes, o que é muito chocante pelo efeito – por meio de dois algoritmos diferentes, fotos de 64 X 64 pixels podem ser restauradas para resolução de 1024 X 1024 pixels e detalhes. O efeito é muito realista.

É importante ressaltar que as fotos restauradas pelo Google por meio de algoritmos de aprendizado de máquina tendem a ter alguns desvios das fotos originais, mas quando não podemos obter a cena original (como fotos antigas no passado), uma "restauração" que é o mais próximo possível do real As fotos são realmente valiosas.

De acordo com o Google, consertar uma foto "mosaico" consiste em dois processos – "destruir" e "reorganizar".

Primeiro, a fim de desenterrar os detalhes gráficos do bloco de pixels do "mosaico", tanto quanto possível, os pesquisadores do Google irão primeiro processar as amostras de teste com o algoritmo de ruído gaussiano para obter um "mapa de floco de neve" composto inteiramente de ruído, que parece um bit como a TV analógica anterior. A imagem do sinal.

Em seguida, os pesquisadores usam algoritmos de rede neural para reverter o processo de destruição do ruído gaussiano e sintetizar novos dados de imagem por meio do processo de restauração reversa e reduzir o ruído tanto quanto possível da imagem de ruído puro para obter uma imagem clara.

O princípio da restauração de imagens não é complicado, mas o algoritmo envolvido não é simples. Para restaurar a imagem grande de alta definição de "restauração um a um", os pesquisadores do Google propuseram o algoritmo de super-resolução SR3 e o modelo de difusão em cascata MDL: melhora a precisão da restauração por meio do aprendizado de comparação de imagens em grande escala.

Vale a pena mencionar que, embora sempre tenhamos usado "mosaico" para nos referirmos a imagens de baixa resolução de grande pixel de baixa resolução, isso é essencialmente diferente das fotos reais codificadas.

O motivo pelo qual o algoritmo de restauração do Google pode tornar claras as imagens de baixa definição é essencialmente baseado nas informações corretas da imagem contidas na própria imagem, por meio da comparação e correspondência de inúmeras imagens em um enorme banco de dados e, finalmente, um preenchimento aproximado simulado de pixels.

Quando a foto estiver manchada com um mosaico, as informações da imagem contidas na foto serão alteradas.

Em termos simples, o algoritmo do mosaico é selecionar aleatoriamente a cor dos pixels em uma área em um intervalo fixo e, em seguida, obter o valor médio de todos os pixels na área e preenchê-lo no quadrado com uma nova cor.

Após a codificação, as informações do pixel original são perdidas e apenas as informações de erro calculadas aleatoriamente são obtidas. Nesse momento, deixe o aprendizado de máquina restaurá-lo, assim como pedir a ele para dar uma resposta correta a uma pergunta que está completamente errada. impossível responder.

Portanto, se alguém quiser usar o algoritmo do Google para extrair algumas das informações privadas apagadas, pode acabar com essa ideia.

Você entrou no futuro

O algoritmo de reparo de HD do Google provavelmente será finalmente aplicado ao software de processamento de imagem do Google, como Google Fotos, Snapseed, etc. Ele se tornará uma de nossas ferramentas de edição de fotos como HDR, correção de ângulo de visão e outros algoritmos.

Voltando ao filme "Blade Runner", o Esper é na verdade uma máquina muito interessante, é uma espécie de fusão de tecnologia analógica e digital.

Por um lado, é muito avançado, as pessoas podem controlá-lo com voz e obter ampliação sem perdas; por outro lado, é muito antiquado, com uma tela grande e nítida, mas ainda com estrutura CRT, o processo de importação de fotos é para digitalizar fotos físicas.

De acordo com o efeito do filme, Esper pode ser uma certa coordenada da foto de ponto fixo, e então ampliar a foto através de uma estrutura de lente precisa (microscópio). Olhando para ele agora, a ideia de amplificação sem perdas é muito avançada, mas a tecnologia de simulação obviamente não é um futuro realista.

Para os modernos, os telefones celulares e os computadores em suas mãos são o "Esper" de todos.

Agora que as fotos já completaram a evolução de um fluxo de trabalho totalmente digital, não é difícil ampliar fotos com a tecnologia digital. Em outras palavras, você realmente entrou no "futuro" descrito em "Blade Runner".

A super-resolução de imagens sempre foi um tópico quente de pesquisa no campo da visão computacional. Empresas como a Adobe estão desenvolvendo tecnologias de processamento de imagem relacionadas, que têm sido aplicadas em softwares de processamento gráfico como Photoshop e Lightroom.

Tome o Photoshop como exemplo. Depois de importar a imagem no formato RAW, você pode selecionar a função "Super Resolução" da função "Aprimorada". O software fará referência a conteúdo semelhante para enriquecer a textura da imagem e aumentar a resolução da imagem por 4 vezes. Todo o processo leva cerca de um minuto.

Pode-se ver nas fotos antes e depois do aumento de contraste que a nitidez das fotos foi significativamente melhorada depois que a resolução foi aumentada, e alguns detalhes confusos e irreconhecíveis também se tornaram claros.

A Adobe mencionou em um blog técnico publicado em março deste ano que o algoritmo de super-resolução que usa também passou por muitos treinamentos de aprendizado de máquina e está constantemente melhorando e melhorando.

Faz sentido explodir a resolução das fotos? Talvez depois de tirar uma foto, você não a amplie para mergulhar em todos os detalhes, mas quando você precisa imprimir essa foto, a resolução da imagem da foto determina diretamente o tamanho máximo da impressão.

Isso é especialmente importante para fotógrafos. Às vezes, ao fotografar paisagens com uma lente grande angular, uma águia voa sobre o céu. Os detalhes da pena da águia não podem ser capturados com uma lente grande angular. É possível obter a imagem você quer.

A Adobe usou uma foto de 2,5 megapixels em seu blog como exemplo e usou a função de super-resolução para aumentá-la para 10 milhões de pixels para que pudesse ser impressa em uma foto "decente". A Adobe descreve esse processo como "zoom digital. "

Comparando os algoritmos da Adobe e do Google, existem algumas diferenças entre os dois. A Adobe requer fotos em formato RAW que retêm uma grande quantidade de informações originais para os cálculos, enquanto o algoritmo do Google pode restaurar fotos com base em algumas informações muito aproximadas.

No momento, os dois algoritmos ainda não estão totalmente maduros e muito aprendizado de máquina é necessário para melhorar a precisão do cálculo e da restauração.

Mas o que é certo é que a tecnologia de super-resolução se tornará uma das tecnologias de imagem mais populares em um futuro próximo, ajudando as pessoas a se livrar das limitações das lentes telefoto e outros equipamentos e registrar cada detalhe e momento da vida. Para ver um mundo mais claro, não paramos de explorar.

#Bem-vindo a seguir a conta oficial do WeChat da Aifaner: Aifaner (WeChat ID: ifanr), mais conteúdo interessante será fornecido a você o mais rápido possível.

Ai Faner | Link original · Ver comentários · Sina Weibo