Abra o Snapdragon 8 e veja se ele está cheio dos principais documentos de reunião
"Além da otimização de fotos e assistentes de voz, o que mais a IA para telefones celulares tem?"
Quando a nova geração da plataforma móvel Snapdragon 8 foi lançada este ano, a Qualcomm mais uma vez traduziu e traduziu, o que é um grande buraco no cérebro——
Deixar o celular aprender a "autorizar" e reconhecer possíveis doenças do usuário por meio da voz, como depressão e asma;
Deixe o celular realizar o "anti-peeping" e realizar a tela de bloqueio automática ao reconhecer a visão de usuários desconhecidos;
Deixe os jogos para celular obterem super-resolução e traga a qualidade de imagem que só podia ser executada no lado do PC para o celular experimentar …
Mais importante, o Snapdragon 8 tem a capacidade de executar essas funções de IA ao mesmo tempo !
A Qualcomm afirma que o motor AI de 7ª geração do Snapdragon 8 tem um aumento de desempenho de até 4 vezes em comparação com a geração anterior .
Isso significa que, quando jogamos em telefones celulares, não há problema em "abrir" vários aplicativos de IA ao mesmo tempo. Mais importante, não se trata apenas de uma simples melhoria de desempenho de IA, mas também de uma experiência de aplicativo tranquila para os usuários.
Hoje, quando as atualizações do processo de hardware são tão difíceis, como a Qualcomm “venceu” tantos novos truques no desempenho e na aplicação do mecanismo de IA de 7ª geração?
Examinamos alguns artigos de pesquisa e documentos técnicos publicados pela Qualcomm e encontramos algumas "pistas":
No documento da ferramenta de código aberto AIMET divulgado pela Qualcomm, há informações sobre "como compactar o modelo de super-resolução AI";
Em um blog técnico relacionado a "Anti-peeping", apresentei como usar a tecnologia de detecção de alvos sob a premissa de proteção de privacidade …
Esses documentos e os principais artigos de conferências por trás dos blogs técnicos vêm de uma única organização – o Qualcomm AI Research Institute .
Pode-se dizer que a Qualcomm "escondeu" muitos artigos de IA publicados pelo instituto de pesquisa no motor de IA de 7ª geração.
Artigo principal da reunião "Escondendo" IA móvel
Vamos dar uma olhada na melhoria do algoritmo da câmera do motor AI de 7ª geração .
Visando esse ponto de reconhecimento inteligente, a Qualcomm aumentou os pontos de reconhecimento de recursos faciais para 300 este ano, o que pode capturar mudanças de expressão mais sutis.
Mas, ao mesmo tempo, a Qualcomm aumentou a velocidade de detecção de rosto em 300% . como você fez isso?
Em um estudo publicado pela Qualcomm no CVPR, encontramos a resposta.
Neste artigo, a Qualcomm propôs uma nova camada de convolução chamada Skip-Convolutions (pular convolução), que pode subtrair duas imagens antes e depois e apenas convolver a parte alterada.
Sim, assim como os olhos humanos, é mais fácil perceber a "parte móvel".
Isso permite que o Snapdragon 8 se concentre mais no próprio objeto alvo ao fazer algoritmos de detecção de fluxo de vídeo em tempo real, como detecção de alvo e reconhecimento de imagem, e ao mesmo tempo use o poder de computação em excesso para melhorar a precisão.
Você pode perguntar: qual é a utilidade do reconhecimento de rosto com esses detalhes para tirar fotos?
Além disso, desta vez, a Qualcomm e a Leica lançaram o filtro Leica Leitz juntas , usando um mecanismo inteligente baseado em IA, que inclui algoritmos como detecção de rosto, permitindo aos usuários tirar fotos com mais inteligência sem pensar.
Não apenas a detecção de rosto, mas as funções de disparo inteligente da Qualcomm também incluem super-resolução, redução de ruído de vários quadros, compensação de movimento local …
No entanto, o fluxo de vídeo em filmagens de alta resolução geralmente é em tempo real. Como o mecanismo de IA processa de forma inteligente uma quantidade tão grande de dados?
Também é um artigo CVPR.Qualcomm propôs uma rede neural composta de vários classificadores em cascata, que pode alterar o número de neurônios usados no modelo de acordo com a complexidade do quadro de vídeo, e controlar a quantidade de cálculo por si só.
Diante do processo de "grande volume e complexo" de processamento de vídeo inteligente, a IA agora pode contê-lo.
Além da fotografia inteligente, a tecnologia de voz da Qualcomm também é um ponto positivo desta vez.
Conforme mencionado no início, o mecanismo de IA de 7ª geração oferece suporte ao uso de telefones celulares para acelerar a análise dos padrões de voz do usuário para determinar o risco de problemas de saúde, como asma e depressão.
Então, como exatamente ele distingue com precisão a voz do usuário sem envolver a coleta de dados?
Especificamente, a Qualcomm propôs um método de aprendizagem federado no telefone móvel, que pode não apenas usar o modelo de treinamento de voz dos usuários de telefones móveis, mas também garantir que a privacidade dos dados de voz não vaze.
Muitas dessas funções de IA podem ser encontradas em artigos publicados pelo Qualcomm AI Research Institute.
As pistas que também podem ser encontradas são os suportes teóricos que a AI mencionou no início para melhorar o desempenho dos telefones celulares. Isso tem que mencionar uma questão:
Com tantos modelos de IA em execução ao mesmo tempo, como a Qualcomm melhora o desempenho de processamento do hardware?
Aqui, temos que mencionar a quantificação de uma direção de pesquisa-chave da Qualcomm nos últimos anos .
A julgar pelo mais recente roteiro de tecnologia lançado pela Qualcomm, a quantificação de modelos sempre foi uma das tecnologias principais que o AI Research Institute estudou nos últimos anos. O objetivo é "reduzir o peso" dos modelos de IA.
Devido à capacidade limitada de energia, capacidade de computação, memória e capacidade de dissipação de calor, o modelo de IA usado por telefones celulares é muito diferente do modelo de IA em PCs.
No PC, a GPU tem centenas de watts de potência em cada volta, e o cálculo do modelo AI pode usar números de ponto flutuante de 16 ou 32 bits (FP16, FP32). O SoC do telefone móvel tem apenas alguns watts de potência e é difícil armazenar modelos de IA de grande volume.
Neste momento, é necessário reduzir o modelo FP32 para um inteiro de 8 bits (INT8) ou mesmo um inteiro de 4 bits (INT4), garantindo que a precisão do modelo não sofra muitas perdas.
Tomando o modelo de revestimento de IA como exemplo, geralmente podemos obter um revestimento de IA muito preciso com o poder de computação de um processador de computador, mas, por outro lado, se quisermos usar um telefone móvel para obter um revestimento de IA de "quase efeito", tem que usá-lo Para o método de quantificação do modelo.
Para permitir que mais modelos de IA sejam instalados em telefones celulares, a Qualcomm fez muitas pesquisas quantitativas. Os artigos publicados na conferência principal incluem a quantização livre de dados DFQ, o mecanismo de arredondamento AdaRound e a tecnologia conjunta de quantização e poda Bayesian Bits ( Bits bayesianos).) Espere.
Entre eles, DFQ é uma tecnologia de quantização livre de dados que pode reduzir o tempo de treinamento de tarefas de IA e melhorar o desempenho da precisão da quantização. Na MobileNet, o modelo de IA visual mais comum em telefones celulares, a DFQ obteve o melhor desempenho além de todos os outros métodos:
AdaRound pode reduzir o peso de redes complexas Resnet18 e Resnet 50 para 4 bits, o que reduz muito o espaço de armazenamento do modelo, enquanto perde apenas menos de 1% de precisão:
Como uma nova operação de quantização, os bits bayesianos podem não apenas dobrar a largura do bit, mas também quantizar o erro residual entre o valor de precisão total e o valor arredondado anterior a cada nova largura de bit, de modo a alcançar precisão e eficiência. Fornece um melhor comércio -desligado entre.
Essas tecnologias não apenas permitem que mais modelos de IA sejam executados em telefones celulares com menor consumo de energia , como super-resolução de IA de jogos (semelhante ao DLSS) que só pode ser executado em computadores, mas agora pode ser executado no Snapdragon 8. ；
Até mesmo alguns desses modelos de IA podem "funcionar ao mesmo tempo", como detecção de gestos e reconhecimento de rosto:
Na verdade, a tese é apenas o primeiro passo.
Se você deseja aplicar rapidamente os recursos de IA a mais aplicativos, também precisa de mais plataformas e ferramentas de código aberto.
Libere mais recursos de IA para o aplicativo
Nesse sentido, a Qualcomm mantém uma mente aberta.
Os métodos e modelos para a construção eficiente de aplicativos de IA nestes documentos, o Qualcomm AI Research Institute por meio de cooperação, código aberto e outros métodos, os compartilhou com mais comunidades de desenvolvedores e parceiros, para que possamos ter mais experiências no Snapdragon 8. Funções e aplicativos interessantes.
Por um lado, a Qualcomm cooperou com o Google para compartilhar a capacidade de desenvolver rapidamente mais aplicativos de IA com os desenvolvedores.
A Qualcomm está equipada com o serviço Vertex AI NAS do Google no Snapdragon 8 , que ainda é atualizado mensalmente, o que significa que os aplicativos de IA desenvolvidos por desenvolvedores no mecanismo de IA de 7ª geração podem atualizar rapidamente o desempenho do modelo.
Usando NAS, os desenvolvedores podem usar IA automaticamente para gerar modelos apropriados, incluindo o algoritmo de câmera inteligente, tradução de voz e super-resolução que a Qualcomm anunciou na reunião principal. Todos eles podem ser incluídos na "faixa de triagem" de IA e desenvolvidos automaticamente para o desenvolvimento Combine o melhor modelo.
Os algoritmos de compensação de movimento e interpolação de quadros da Qualcomm são usados aqui. E semelhante a essas tecnologias de IA, os desenvolvedores também podem implementá-lo por meio de NAS, e ele pode se adaptar melhor ao Snapdragon 8, sem o problema de "ajuste ineficaz".
Imagine que quando você jogar em um telefone celular equipado com Snapdragon 8 no futuro, você sentirá que a imagem é mais uniforme, mas não perderá mais energia (referindo-se ao aumento do consumo de energia):
Ao mesmo tempo, a manutenção do modelo de IA tornou-se mais simples. De acordo com o Google, em comparação com outras plataformas, o número de linhas de código necessárias para treinar um modelo para o Vertex AI NAS pode ser reduzido em quase 80%.
Por outro lado, a Qualcomm também abriu o código-fonte de suas próprias ferramentas, que foram pesquisadas e quantificadas ao longo dos anos.
No ano passado, a Qualcomm abriu o código-fonte de um modelo de ferramenta de " melhoria de eficiência" chamado AIMET (AI Model Efficiency Toolkit).
Ele inclui um grande número de algoritmos de compactação e quantização, como poda de rede neural e decomposição de valor singular (SVD), muitos dos quais são resultados dos principais artigos de conferências publicados pelo Qualcomm AI Research Institute. Depois que os desenvolvedores usam as ferramentas AIMET, eles podem usar diretamente esses algoritmos para melhorar seus modelos de IA e torná-los mais eficientes em telefones celulares.
Os recursos quantitativos da Qualcomm não são apenas de código aberto para desenvolvedores comuns, mas também permitem que mais aplicativos de IA de empresas líderes de IA sejam implementados no Snapdragon 8.
No novo Snapdragon 8, eles cooperaram com a Hugging Face, uma empresa conhecida no campo da PNL, para que o assistente inteligente no telefone pudesse ajudar os usuários a analisar notificações e recomendar quais priorizar, para que os usuários pudessem ver as mais importantes notificações em um piscar de olhos.
Ao executar seu modelo de análise de sentimento no mecanismo Qualcomm AI, ele pode atingir 30 vezes mais rápido do que a velocidade normal da CPU .
É precisamente a precipitação da pesquisa técnica e a atitude aberta mantida na tecnologia que a Qualcomm continua a atualizar os vários "novos buracos cerebrais" de IA na indústria de telefonia móvel:
Do vídeo anterior "eliminação" inteligente, reunião inteligente sem áudio, à tela de privacidade deste ano, super resolução do telefone móvel …
Existem mais aplicativos de IA implementados por documentos, plataformas e ferramentas de código aberto, todos os quais também são transportados neste mecanismo de IA.
O Qualcomm AI Research Institute, que se esconde por trás dessas pesquisas, voltou à tona com o surgimento do motor AI de 7ª geração.
Qualcomm AI é "macio e duro"
Na maioria das vezes, nossa impressão da Qualcomm AI parece permanecer no "desempenho do hardware" do motor de AI.
Afinal, desde que o primeiro projeto de IA foi lançado em 2007, a Qualcomm tem aprimorado os recursos de processamento para modelos de IA em termos de desempenho de hardware.
No entanto, a pesquisa da Qualcomm sobre algoritmos de IA também "já foi planejada".
Em 2018, a Qualcomm fundou o AI Research Institute, liderado por Max Welling , um conhecido teórico na área de IA , e ele é aluno de Hinton, o pai do aprendizado profundo.
De acordo com estatísticas incompletas, desde que a Qualcomm estabeleceu o AI Research Institute, dezenas de artigos foram publicados nas principais conferências acadêmicas de AI, como NeurIPS, ICLR e CVPR.
Entre eles, pelo menos 4 documentos de compressão de modelo foram implementados no lado de IA dos telefones móveis, e há muitos artigos relacionados à visão computacional, reconhecimento de voz e computação privada.
Pode-se dizer que o mecanismo de IA de 7ª geração mencionado acima é apenas um microcosmo dos resultados da pesquisa da Qualcomm sobre algoritmos de IA nos últimos anos.
Por meio dos resultados da pesquisa da Qualcomm AI, a Qualcomm também ampliou com sucesso o modelo de IA para muitos cenários de aplicação de tecnologia de ponta.
Em termos de direção autônoma , a Qualcomm lançou a Snapdragon Automotive Digital Platform, que "contém" uma solução completa de chips a algoritmos de IA. Atualmente, ela alcançou a cooperação com mais de 25 montadoras e o número de carros conectados usando suas soluções foram Atingidas 200 milhões de veículos.
Entre eles, o sistema de direção assistida de próxima geração e o sistema de direção autônomo da BMW adotarão a solução de direção autônoma da Qualcomm.
No XR , a Qualcomm lançou a plataforma de desenvolvimento Snapdragon Spaces XR para o desenvolvimento de dispositivos e aplicativos, como óculos AR com cabeça.
Por meio da cooperação com a Wanna Kicks, o Snapdragon 8 também traz os recursos do mecanismo de IA de 7ª geração para o aplicativo AR try-on.
Em drones , a Qualcomm lançou a plataforma Flight RB5 5G este ano. Muitas dessas funções, como evitar obstáculos em 360 °, fotografia de drones e anti-vibração, podem ser implementadas por meio do modelo AI na plataforma. Entre eles, o primeiro UAV a chegar a Marte, o "Gizwit", está equipado com processadores e tecnologias relacionadas fornecidas pela Qualcomm.
Olhando para trás, não é difícil descobrir que desta vez a Qualcomm não enfatiza mais a melhoria do poder de computação do hardware (TOPS) no desempenho de IA, mas integra software e hardware como um todo e obtém os dados de 4 vezes de melhoria no desempenho de IA, e fortalece ainda mais a experiência de aplicação de IA.
Isso não apenas mostra que a Qualcomm presta mais atenção à experiência real dos usuários, mas também mostra a confiança da Qualcomm na força de seu próprio software, porque o hardware não é mais uma manifestação completa dos recursos de IA da Qualcomm.
Pode-se dizer que a atualização do mecanismo de IA de 7ª geração do Snapdragon 8 marca o início da integração de software e hardware de IA da Qualcomm .
Recentemente, a Qualcomm apresentou várias novas pesquisas sobre codecs, que foram publicadas no ICCV 2021 e no ICLR 2021, respectivamente.
Nesses artigos, a Qualcomm também usou algoritmos de IA para mostrar novas ideias para otimização de codec.
Em um estudo usando o princípio GAN, o algoritmo de codec mais recente da Qualcomm torna a imagem não apenas mais clara, mas também menor por quadro, o que pode ser feito com apenas 14,5 KB:
Em contraste, depois que o algoritmo do codec original é compactado para 16,4 KB por quadro, a floresta ficará extremamente borrada:
Em outro artigo que usa a ideia de interpolação de quadro e codec neural, a Qualcomm escolheu combinar a compressão de quadro P baseada em rede neural e compensação de interpolação de quadro e usar AI para prever a compensação de movimento que precisa ser realizada após a interpolação de quadro.
Após o teste, este algoritmo é melhor do que o registro SOTA anterior do Google no CVPR 2020 e também é melhor do que o desempenho de compactação atual do codec de código aberto baseado no padrão H.265.
Não é a primeira tentativa da Qualcomm de aplicar modelos de IA a mais campos. A aplicação de codecs de vídeo está em uma nova direção.
Se esses modelos puderem ser implementados com sucesso na plataforma ou mesmo no aplicativo, podemos ser realmente livres ao assistir vídeos no dispositivo.
À medida que o programa de "integração soft e hard" é continuado, podemos ver esses resultados de IA mais recentes sendo aplicados a smartphones no futuro.
Combinando os "músculos de exibição" da Qualcomm no PC, automotivo, XR e outros campos …
É previsível que o Qualcomm com o qual você está familiarizado e o Snapdragon com o qual está familiarizado definitivamente não irão parar no telefone móvel, e seus recursos de IA não irão parar no telefone móvel.
#Bem-vindo a seguir a conta oficial do WeChat da Aifaner: Aifaner (WeChat ID: ifanr), mais conteúdo interessante será fornecido a você o mais rápido possível.
