NPUs são oficialmente inúteis – por enquanto
Lamento dizer isso, mas estaria mentindo se dissesse o contrário. NPUs são inúteis. Talvez isso pareça duro, mas não vem de um lugar de cinismo. Depois de testá-los, estou genuinamente convencido de que não há um uso atraente para NPUs no momento.
Quando você for comprar seu próximo laptop, há uma boa chance de que ele tenha uma Unidade de Processamento Neural (NPU) dentro dele, e a AMD e a Intel têm feito muito barulho sobre como esses NPUs impulsionarão o futuro do AI PC. Não duvido que chegaremos lá eventualmente, mas em termos de um caso de uso moderno, uma NPU realmente não é tão eficaz quanto você imagina.
Ao falar sobre Meteor Lake na CES 2024 , a Intel explicou que usa os vários processadores dos chips Meteor Lake para trabalho de IA. Nem tudo recai sobre o NPU. Na verdade, as cargas de trabalho de IA mais exigentes são transferidas para a GPU Arc integrada. O NPU existe principalmente como uma opção de baixo consumo de energia para cargas de trabalho de IA constantes e de baixa intensidade , como desfoque de fundo .
Sua GPU intervém para qualquer coisa mais intensa. Por exemplo, a Intel exibiu uma demonstração no Audacity onde a IA poderia separar as faixas de áudio de um único arquivo estéreo e até transcrever as letras. Também mostrou a IA em ação, com Metahuman da Unreal Engine, transformando uma gravação de vídeo em uma animação de um personagem de jogo realista. Ambos rodaram na GPU.
Estes são alguns ótimos casos de uso para IA. Eles simplesmente não precisam do NPU. O processador de IA dedicado não é tão poderoso quanto a GPU para essas cargas de trabalho de IA em rajadas.
O principal caso de uso, de acordo com a Intel, é que o NPU é eficiente, portanto, deve ajudar na vida útil da bateria ao executar cargas de trabalho de IA constantes e de baixa intensidade, como desfoque de fundo, em vez de na GPU. Eu testei isso em um MSI Studio 16 executando uma das novas CPUs Meteor Lake da Intel, e não é uma economia de energia tão grande quanto você poderia esperar.
Ao longo de 30 minutos, a GPU teve um consumo médio de energia de 18,9 W, enquanto o NPU teve uma média de 17,6 W. O interessante é que a GPU disparou inicialmente, chegando a algo em torno de 38W de potência total para o sistema em um chip, mas lentamente caiu de volta. O NPU, por outro lado, começou baixo e subiu lentamente com o passar do tempo, eventualmente estabelecendo-se entre 16W e 17W.
Preciso ressaltar que este é o poder total do pacote – em outras palavras, o poder de todo o chip, não apenas da GPU ou NPU. A NPU é mais eficiente, mas não sei o quanto essa eficiência importa nessas cargas de trabalho de IA de baixa intensidade. Provavelmente não está economizando muita bateria no uso no mundo real.
Terei que esperar para testar a duração da bateria assim que tiver mais tempo com um desses laptops Meteor Lake , mas não suspeito que isso fará uma grande diferença. Mesmo os melhores laptops Windows têm duração de bateria bastante medíocre em comparação com a concorrência da Apple , e duvido que um NPU seja suficiente para mudar essa dinâmica.
Isso não deve desviar a atenção dos empolgantes aplicativos de IA que estamos começando a ver nos PCs. Do Audacity ao pacote Adobe e ao Stable Diffusion no GIMP, agora há várias maneiras de aproveitar a IA. A maioria desses aplicativos é gerenciada na nuvem ou por sua GPU, entretanto, e o NPU dedicado não faz muito além do desfoque de fundo.
À medida que as NPUs se tornam mais poderosas e estas aplicações de IA mais eficientes, não tenho dúvidas de que as NPUs encontrarão o seu lugar. E faz sentido que a AMD e a Intel estejam preparando as bases para que isso aconteça no futuro. Da forma como está, no entanto, o grande foco no desempenho da IA está amplamente focado na sua GPU, e não no processador de IA eficiente que gerencia suas chamadas de vídeo.
