A conferência anual de tecnologia da Arm termina, a plataforma de computação de IA da próxima geração está a caminho
Esta tarde, a conferência anual de tecnologia Arm Tech Symposia foi concluída com sucesso em Shenzhen.
Nesta conferência, Arm discutiu profundamente os requisitos de computação da IA e compartilhou como aproveitar melhor as oportunidades de desenvolvimento da IA através dos três núcleos de hardware, software e ecossistema. Os participantes presentes também discutiram a inovação tecnológica baseada na Arm e as tendências de desenvolvimento de IA.
James McNiven, vice-presidente de gerenciamento de produtos da divisão de terminais da Arm, enfatizou no discurso de abertura da conferência em Shenzhen que o Armv9, como a mais recente arquitetura técnica da Arm, foi projetado para suportar a computação de IA quando foi lançado e continua a ser atualizado iterativamente Por meio de SVE, SVE2, SME e outras tecnologias importantes, a Arm continua a otimizar a experiência de IA móvel com inovação arquitetônica e poderosos recursos de sinergia de software e hardware, capacitando os desenvolvedores a alcançar excelente desempenho de IA.
Nesta conferência, o software KleidiAI é um dos destaques dignos de atenção.
Ele alcança profunda integração com estruturas de IA convencionais e pode fornecer aos desenvolvedores uma experiência de desenvolvimento tranquila quando usado com Arm CSS. KleidiAI integra Neon; 
, SVE2 e SME2, etc., para melhorar significativamente o desempenho dos aplicativos de computação.
É relatado que KleidiAI é um conjunto de núcleos de computação de alto desempenho projetados especificamente para desenvolvedores de estruturas de IA.
Ele ajuda os desenvolvedores a obter facilmente o melhor desempenho das CPUs Arm em uma variedade de dispositivos e aproveitar as vantagens dos principais recursos das principais arquiteturas Arm, como Neon, SVE2 e SME2.
Além disso, KleidiAI também integra estruturas de IA populares, como PyTorch, Tensorflow e MediaPipe, otimiza o desempenho de modelos como Meta Llama 3 e Phi-3 e adota um design compatível com versões anteriores e futuras.
A vantagem disto é garantir que a Arm ainda possa se adaptar às necessidades futuras do mercado quando introduzir mais tecnologias no futuro.
Segundo relatos, a integração do KleidiAI melhorou significativamente a eficiência da IA generativa.
Os dados mostram que, em comparação com a implementação de referência (baseada em llama.cpp, mas sem otimização de software Kleidi), na nova CPU Arm Cortex-X925, Meta Llama 3 usando llama.cpp (com KleidiAI integrado) e Microsoft Phi -3 O o primeiro tempo de resposta do Token do modelo de linguagem grande (LLM) é acelerado em 190%.
Outra grande vantagem do KleidiAI é a facilidade de integração.
É relatado que a equipe de engenharia da Arm concluiu o teste de otimização de desempenho do Llama 3 em menos de 24 horas.
Além disso, KleidiAI se integra ao MediaPipe por meio do XNNPACK para fornecer suporte para o Gemma LLM de código aberto em execução em dispositivos móveis. Graças a isso, o tempo de resposta da primeira palavra do Gemma 2B no smartphone Google Pixel 8 Pro foi reduzido em 25%.
Ao mesmo tempo, Arm também está trabalhando com Unity para desenvolver o mecanismo de inferência de IA final – Sentis, que permite aos desenvolvedores de jogos criar uma nova experiência de jogo de IA em todos os dispositivos que suportam o mecanismo de jogo Unity.
Além disso, como a plataforma de computação Arm mais rápida até o momento, o CSS do terminal Arm alcançou mais de 30% de melhoria no desempenho computacional e gráfico, o que é suficiente para lidar com várias cargas de trabalho exigentes do Android.
Ao mesmo tempo, o CSS do terminal Arm também melhora a velocidade de inferência de IA em 59%, tornando-o adequado para uma gama mais ampla de cargas de trabalho de IA/aprendizado de máquina (ML) e visão computacional.
A principal vantagem do CSS do terminal Arm é que ele está equipado com o cluster de CPU mais poderoso, eficiente e abrangente da Arm até o momento e está comprometido em alcançar o melhor equilíbrio entre desempenho e eficiência energética.
Com a nova geração de CPU Arm Cortex®-X, o CSS do terminal Arm otimizado para IA traz a maior melhoria de IPC ano a ano, com um aumento de desempenho de 36%; O desempenho gráfico da GPU aumenta em 37%.
A GPU Arm Immortalis-G925 é a GPU mais poderosa e eficiente da Arm, alcançando uma melhoria de desempenho de 37% em vários aplicativos de jogos móveis e uma melhoria de desempenho de 34% em várias redes de IA e ML.
O Immortalis-G925 é direcionado principalmente ao principal mercado de smartphones.
E incluindo Arm Mali A nova série de GPUs altamente escaláveis, incluindo as GPUs -G725 e Mali-G625, são direcionadas a uma ampla gama de mercados de dispositivos eletrônicos de consumo, desde telefones celulares de última geração até relógios inteligentes e dispositivos vestíveis XR.
Arm prevê que até o final de 2025, haverá mais de 100 bilhões de dispositivos Arm com recursos de IA no mundo.
Desde sensores e smartphones à Internet das Coisas industrial, automóveis e centros de dados, tal como a construção de arranha-céus requer uma base sólida, o desenvolvimento vigoroso da tecnologia de IA não pode ser separado do apoio de plataformas informáticas poderosas e eficientes.
Com seus esforços incessantes em arquitetura de chips e inovação tecnológica, a Arm está construindo a base mais confiável para este “arranha-céu de IA” e desempenhará um papel cada vez mais crítico nesta mudança tecnológica.
# Bem-vindo a seguir a conta pública oficial do WeChat do aifaner: aifaner (WeChat ID: ifanr). Mais conteúdo interessante será fornecido a você o mais rápido possível.
