De telefones celulares, PCs a carros, a IA que não vaza segredos é a IA que os tempos precisam
Qualquer produto tecnológico tem uma superfície de ataque e modelos grandes são inevitáveis. Produtos modelo e métodos de ataque são sempre o fluxo e refluxo de “Tao” e “Demônio”.
Por exemplo, no ano passado, um artigo propôs um novo método de ataque que roubou com sucesso campos enviados por outros usuários para modelos grandes. Esta vulnerabilidade explora o compartilhamento de cache KV, uma tecnologia amplamente utilizada na indústria de modelos de linguagem grande (LLM) e usada por duas estruturas de inferência convencionais, SGLang e vLLM.
As questões de segurança do LLM não podem ser subestimadas. O vazamento de dados pode ser “fatal” tanto para usuários quanto para empresas. APPSO mencionou em um artigo anterior que mais e mais pessoas consideram Doubao, DeepSeek e ChatGPT como seus confidentes, e confiam neles e inadvertidamente revelam suas informações pessoais privadas. Assim que o LLM encontra um vazamento, os malfeitores podem identificar usuários específicos e suas identidades correspondentes com base nos dados, que podem ser usados para fins ilegais.
Para responder às preocupações de privacidade dos usuários do iPhone que usam produtos de IA e manter a consistência da política de privacidade de dados da empresa, a Apple anunciou um sistema chamado Apple PCC (Private Cloud Compute) no segundo semestre de 24:
No cenário Apple Intelligence, quando o poder computacional do lado do cliente é insuficiente, os dados do usuário são criptografados com uma chave privada e carregados na nuvem. O grande modelo implantado no módulo de computação privado do servidor (semelhante ao compartimento seguro no chip do iPhone) realiza inferência criptografada e é descriptografado apenas brevemente quando o processo de inferência e os resultados são retornados ao lado do cliente. Todos os dados em todo o link são transferidos em texto cifrado e um modelo de computação sem estado é adotado para garantir que os dados sejam armazenados em tempo zero e destruídos após o uso.
A tecnologia é muito boa, mas infelizmente devido ao delicado status atual da Apple Intelligence na China, os usuários de iOS não podem usá-la.
No mundo dos produtos tecnológicos fora do iOS, outra empresa também está enfrentando o desafio da computação em nuvem privada:
Espera-se que a plataforma Jeddak PCC (Private Cloud Computing) desenvolvida pela Volcano Engine seja usada em mais áreas, como telefones Android, computadores PC, novos veículos de energia, etc., para proteger a privacidade de bilhões de usuários no uso de LLM. As empresas não precisam se preocupar com vazamento de dados enquanto aumentam a integração do LLM com seus próprios cenários.
Ao aplicar os recursos da plataforma Jeddak PCC em seus respectivos produtos de hardware e pilhas de tecnologia LLM, os fabricantes de hardware podem estender seu compromisso de proteger a privacidade dos dados pessoais do usuário, desde o dispositivo até a nuvem.
O LLM na nova era precisa ser grande e seguro
Recentemente, a Volcano Engine anunciou um caso de cooperação para inferência segura/computação privada de IA em nuvem privada baseada em Jeddak PCC. Os parceiros incluem marcas de equipamentos como Lenovo e Nubia. Isto também torna o Jeddak PCC a primeira solução de computação em nuvem privada na China voltada para o mercado de computadores pessoais e smartphones.
O pano de fundo não é difícil de entender: na vida cotidiana, um grande número de usuários e empresas interagem com o LLM em dispositivos convencionais, como PCs e smartphones. Os usuários da Lenovo realizam trabalhos baseados em texto, como geração de texto, polimento, resumo e reflexão aprofundada em PCs, enquanto os usuários da Nubia usam produtos como modelos de beanbags multimodais e Button Space Agent (agentes inteligentes) em seus telefones celulares.
Nem todas as tarefas de IA podem ser concluídas localmente. Para algumas tarefas que exigem reflexão aprofundada, estabelecimento de base de conhecimento e recursos do agente, o tamanho do modelo local é muito pequeno ou o poder de computação é insuficiente, portanto, o LLM em nuvem é necessário.
O problema é que as interações dos usuários com o LLM e o Agente podem envolver dados confidenciais ou informações de privacidade pessoal. Isso enfrenta o dilema de migrar dados confidenciais para a nuvem. O modelo de nuvem é grande, mas o provedor de serviços não pode garantir a segurança. Quando os usuários estão em um ambiente de trabalho altamente sensível e de alta densidade, eles não conseguem fazer upload de dados facilmente para o LLM.
Os fabricantes de PCs e telefones celulares precisam reconstruir a arquitetura dos produtos e serviços de IA para atender às necessidades da computação privada. Eles esperam construir uma plataforma de computação em nuvem privada ponta a ponta que seja de processo completo e possa autocertificar sua inocência para resolver problemas de segurança e privacidade de dados LLM na computação colaborativa em nuvem final.
Existem poucas soluções mais adequadas para este problema do que o Jeddak PCC. Basta observar o seguinte caso típico:
Suponha que um pesquisador empresarial escreva um artigo e planeje submetê-lo a um periódico importante, mas precise usar uma ferramenta LLM para aprimorar e otimizar o artigo. Ele precisa usar uma ferramenta LLM fornecida por uma empresa externa e exige que os dados sejam totalmente criptografados – esta é uma tarefa típica de Retrieval Enhanced Generation (RAG).
- Chave: O usuário hospeda uma chave (BYOK – Bring Your Own Key), que o PCC usa para criptografia/descriptografia durante todo o processo da tarefa LLM. A chave é armazenada no dispositivo do usuário + em um módulo de enclave seguro (TEE Trusted Execution Environment) na nuvem.
- Criação de base de conhecimento: quando os usuários carregam documentos, o PCC fornece recursos de comunicação criptografada de confiança mútua na nuvem final para transmitir com segurança os documentos do usuário dos dispositivos finais para compartimentos seguros; o serviço de base de conhecimento descriptografa e fatia documentos para gerar vetores e fragmentos de texto simples; o serviço de criptografia os transforma em vetores de texto cifrado e fatias de texto cifrado e os armazena no banco de dados de vetores (VikingDB) – a criação da base de conhecimento de estado denso está concluída.
- Recuperação e recuperação da base de conhecimento: O usuário insere um prompt no LLM; a palavra de alerta é transmitida ao compartimento seguro através de comunicação criptografada de confiança mútua na nuvem final, e um vetor de texto simples é gerado e criptografado no compartimento seguro; o vetor do texto cifrado é usado para pesquisar no banco de dados e a fatia do texto cifrado é recuperada; após descriptografar a fatia no compartimento seguro, a reclassificação e outros processos são executados.
- Estágio de inferência: Os resultados da pesquisa de texto simples gerados pela emenda + as palavras de prompt do usuário são fornecidos ao modelo grande (também no compartimento seguro) para inferência, e os resultados da inferência de texto simples são gerados – a inferência é concluída.
- Estágio de retorno: o PCC criptografa os resultados gerados, gera resultados de texto cifrado e os transmite de volta ao dispositivo do usuário; o serviço de descriptografia do TEE final descriptografa os resultados e apresenta os resultados em texto simples ao usuário.
É exatamente isso que a Lenovo está fazendo com o Jeddak PCC. Em 7 de maio, a Lenovo lançou oficialmente um produto superinteligente para usuários individuais e empresariais, e a solução de computação em nuvem privada do Volcano Engine tornou-se a base desta solução de agente.
No trabalho do tipo RAG, o Jeddak PCC vetoriza vários documentos do usuário, estende os recursos de segurança de criptografia em nível de chip de hardware para a nuvem e implementa criptografia de processo completo por meio de métodos de computação privada, como computação confidencial e criptografia – permitindo que os usuários construam bases de conhecimento de nível privado/empresarial sem se preocupar com vazamentos de dados.
Vários dispositivos PC lançados pela Lenovo durante o mesmo período, incluindo SKUs do mercado de consumo e comercial, suportam a tecnologia Jeddak PCC.
Você pode ver em todo o processo:
- Todos os processos que envolvem transferência de dados são protegidos por criptografia usando chaves granulares do usuário;
- A nuvem armazena apenas vetores de texto cifrado e não armazena texto e vetores de texto simples;
- Somente a inferência LLM utiliza texto simples e o processo de inferência é realizado em um compartimento seguro;
- Operadores de LLM e provedores de serviços de computação em nuvem não têm acesso às chaves do usuário durante todo o processo e não podem ver o texto simples, alcançando total confidencialidade.
Então surge a pergunta: o método de criptografia completo tem algum impacto na eficiência da inferência e na experiência do usuário?
Praticamente não há impacto apreciável. A APPSO aprendeu com o Volcano Engine que, embora o processo de criptografia seja complicado, os usuários não perceberão isso do ponto de vista do tempo e a velocidade é apenas 5% mais lenta ou inferior do que o método de texto simples.
A partir dos resultados da inferência, devido ao uso de métodos de criptografia de alto desempenho, é difícil que as informações sejam perdidas no processo de criptografia e descriptografia. O trabalho de inferência do LLM é realizado em um compartimento seguro, sem risco de vazamento de dados. O resultado final da inferência é infinitamente próximo do sem perdas, e o LLM ainda mantém o modo de funcionamento da saída de streaming, permitindo que os usuários vejam os tokens sendo gerados continuamente.
Com arquitetura aberta e negócios extensos, Jeddak PCC está pronto para o “Ano 1 do Agente”
A computação de privacidade/confidencial foi mencionada pela primeira vez diante do público em 2013. Desde o iPhone 5s daquele ano, a Apple começou a empacotar um pequeno módulo separado de computação de privacidade no processador da série A, chamado de enclave seguro, que é usado para verificação biométrica, pagamento e outras operações. Aplicativos, processadores e até mesmo todo o sistema operacional não conseguem ver o texto não criptografado correspondente a esses dados privados.
Os tempos mudam e as atualizações tecnológicas. Agora todos estão tentando acompanhar a tendência da IA e aproveitar a conveniência e a experiência inovadora trazidas por tecnologias como LLM e Agent. No entanto, a computação de privacidade não acompanhou a popularização da IA durante muito tempo – até ao advento do Jeddak PCC.
O conceito de computação em nuvem privada é uma extensão da computação de privacidade na era da nuvem e na era da IA. Na verdade, o Jeddak PCC está usando a mesma tecnologia para estender o conceito ao cenário de computação em nuvem de IA, colocando os dados privados armazenados do lado do usuário em uma área maior para armazenamento, hospedagem e computação seguros.
Assim como o Secure Enclave da Apple coloca os usuários em contato com a computação privada pela primeira vez, o Jeddak PCC também coloca o poder da computação em nuvem privada nas mãos de desenvolvedores empresariais, fabricantes de dispositivos e seus usuários finais pela primeira vez. E do ponto de vista da abertura arquitetônica, tipos de negócios suportados, integração de software e hardware, o Jeddak PCC também mostrou vantagens óbvias em comparação com o Apple PCC.
De acordo com o entendimento da APPSO, Jeddak PCC adota uma arquitetura aberta, suporta CPU, GPU e computação heterogênea, suporta NVIDIA Hopper, Intel TDX, AMD SEV e outras plataformas de computação confidenciais para atender à nuvem pública/privada dos clientes e outras necessidades de implantação múltiplas ou integradas.
Isso cria uma clara diferença entre a arquitetura fechada do Jeddak PCC e o Apple PCC e a total dependência da implementação exclusiva de software e hardware. Afinal, o Apple PCC foi lançado apenas para implementar seus aplicativos internos nativos (Apple Intelligence), enquanto o Jeddak PCC é o resultado dos recursos de computação em nuvem privada autodesenvolvidos do Volcano Engine e popularizados para toda a indústria de tecnologia.
A Apple afirma que uma das razões pelas quais o seu sistema PCC adota uma arquitetura fechada é garantir um circuito fechado de segurança. Mas, na verdade, com o avanço da tecnologia e dos conceitos, a indústria da segurança acredita agora geralmente que os sistemas fechados não podem abrandar o ciclo de “vulnerabilidade-intrusão-correcção”; o software de segurança é desenvolvido em uma arquitetura aberta e modelo colaborativo, o que pode garantir que todas as partes interessadas possam descobrir vulnerabilidades em tempo hábil e aumentar a segurança.
É por isso que a arquitetura aberta da solução Jeddak PCC pode ser mais facilmente aceita pela indústria e pode acelerar enormemente a melhoria do nível geral de segurança da indústria.
- Volcano Engine acumulou um grande número de talentos em banco de dados, criptografia e outras áreas. Esses campos estão altamente relacionados à computação em nuvem privada. Fortes reservas de talentos, capacidades de pesquisa de segurança e políticas de segurança dos provedores de serviços de nuvem de primeira linha podem garantir que perigos ocultos sejam descobertos em tempo hábil.
- A equipe do projeto Jeddak possui atualmente um total de 130 patentes de segurança, com 62 novas patentes em 2024, envolvendo criptografia, computação de privacidade, segurança de sistema e outras especialidades, cobrindo áreas técnicas como IA, segurança LLM e ambientes de execução confiáveis.
- Além do trabalho do Volcano Engine, a arquitetura aberta também significa que as capacidades e melhorias de segurança do Jeddak PCC também dependem da construção conjunta com fabricantes finais e clientes.
Em termos de tipos de negócios de IA suportados, o Apple PCC atualmente tem apenas dois propósitos: 1) servir a experiência do usuário dos produtos Apple Intelligence; 2) Treinamento de back-end da própria Apple, bem como tarefas internas dos funcionários da empresa. As capacidades específicas atualmente envolvem apenas o nível de inferência e não há suporte para outros tipos de negócios convencionais de LLM.
O Jeddak PCC já suporta raciocínio de IA confiável e RAG seguro – ambos demonstrados nos casos da seção anterior. Por trás disso está o fato de que a equipe de computação de privacidade do Volcano Engine terceirizou seus anos de experiência em computação confidencial e criptografia homomórfica para clientes de serviços em nuvem para ajudá-los a alcançar melhor a expansão de aplicativos, redução de custos e melhoria de eficiência sob a premissa de conformidade de segurança LLM.
Quanto ao suporte do Jeddak PCC ao Agent, é um projeto empresarial que o Volcano Engine está intensificando pesquisa, desenvolvimento e testes.
A indústria geralmente acredita que 2025 é o “Ano dos Agentes”. Do entretenimento e lazer às tarefas profissionais, vários tipos de Agentes com diversas capacidades estão surgindo num fluxo interminável; A Bytedance, empresa por trás do Volcano Engine, também definiu profundamente o mercado de Agentes por meio de produtos como Doubao e Button Space. Obviamente, Agent se tornou a categoria de produtos de IA com as possibilidades de cena mais ricas e com mais vitalidade.
O Volcano Engine lançará em breve uma versão confiável do Agent baseada no Jeddak PCC – OS Agent em junho, permitindo que os usuários concluam operações complexas, como solicitar comida e reservar passagens aéreas por meio de instruções em linguagem natural, e todo o processo de tarefa implementa a lógica de computação em nuvem privada do Jeddak PCC. Com o avanço contínuo da tecnologia do Agente e o aumento da atividade do mercado, o Jeddak PCC também se preparou para a explosão completa do Agente.
Segurança de IA perceptível ao usuário
Quer toquem na tela ou digitem algo, cada interação que um usuário tem com um aplicativo deixa um rastro. Na actual estrutura de direitos dos utilizadores dos serviços de Internet, um facto embaraçoso é que os utilizadores não são realmente “proprietários” dos seus próprios dados.
Na era da IA, esta lógica continua. A julgar apenas pela forma atual do produto LLM, os direitos de controle de privacidade dos usuários também são extremamente limitados e as políticas de privacidade dos provedores de serviços não acompanharam o ritmo. Os usuários costumam enviar mais dados privados e confidenciais para produtos LLM sem perceber.
Volcano Engine acredita que, neste contexto, os desenvolvedores de LLM e plataformas de computação em nuvem precisam fazer mais esforços para ajudar os cidadãos a melhorar sua consciência sobre privacidade e segurança de dados na era da IA.
Numa nova era em que a IA descolou completamente e o LLM está incorporado no front, middle e back-end de cada produto, a tecnologia de computação em nuvem privada está a tornar-se cada vez mais importante para os utilizadores. Ao mesmo tempo, os benefícios desta tecnologia também devem ser percebidos pelos utilizadores e dar-lhes uma visível sensação de ganho.
Imagine que em um futuro não muito distante, haverá um novo módulo "AI" nas configurações do sistema – função de privacidade do telefone celular:
Por exemplo, você pode ver que interagiu com IA 100 vezes hoje, das quais 80 foram realizadas localmente e 20 foram enviadas para a nuvem para execução.
Além disso, você também pode ver detalhes específicos sobre cada interação, como horário, conteúdo do prompt inserido e se foi processado localmente ou na nuvem. Esses detalhes exigem sua impressão digital, rosto ou pelo menos uma senha para visualizá-los, pois são protegidos pelo enclave seguro do chip do telefone – o enclave local também é protegido pelo sistema Jeddak PCC.
Indo além, você também poderá ver o número de interações na nuvem, como os dados são criptografados na nuvem e se foram excluídos após o uso – ser capaz de "provar a inocência" é um dos requisitos mais básicos para uma plataforma PCC sólida.
Um bom design hidrata as coisas silenciosamente. Mas para a questão central da privacidade e segurança dos dados, talvez seja verdade que os usuários podem realmente perceber que a experiência é tranquila e segura ao mesmo tempo.
No primeiro semestre de 2025, todos os principais fabricantes nacionais de Android estão adicionando LLM e funções relacionadas ao agente, e as inovações estão surgindo uma após a outra. Mas, ao mesmo tempo, o risco de vazamento de privacidade de dados pessoais também aumentou ainda mais na era da IA. A demanda por tecnologia de computação em nuvem privada também aumenta dia a dia.
A Volcano Engine espera que o lançamento do Jeddak PCC possa atender às necessidades desses fabricantes de equipamentos e desenvolvedores de LLM e se tornar um marco na melhoria da proteção da privacidade e na conscientização sobre segurança para todas as pessoas na era da IA.
# Bem-vindo a seguir a conta pública oficial do WeChat de Aifaner: Aifaner (WeChat ID: ifanr). Conteúdo mais interessante será fornecido a você o mais rápido possível.
