Slack corrige possível problema de segurança de IA

Atualização : o Slack publicou uma atualização, alegando ter “implantado um patch para resolver o problema relatado” e que atualmente não há nenhuma evidência de que os dados do cliente tenham sido acessados ​​sem autorização. Aqui está a declaração oficial do Slack postada em seu blog :

Quando tomamos conhecimento do relatório, iniciamos uma investigação sobre o cenário descrito em que, em circunstâncias muito limitadas e específicas, um ator mal-intencionado com uma conta existente no mesmo espaço de trabalho do Slack poderia fazer phishing de usuários para obter determinados dados. Implantamos um patch para resolver o problema e, no momento, não temos evidências de acesso não autorizado aos dados do cliente.

Abaixo está o artigo original que foi publicado.

Quando o ChatGTP foi adicionado ao Slack , o objetivo era facilitar a vida dos usuários, resumindo conversas, redigindo respostas rápidas e muito mais. No entanto, de acordo com a empresa de segurança PromptArmor , tentar concluir essas tarefas e muito mais pode violar suas conversas privadas usando um método chamado “injeção imediata”.

A empresa de segurança alerta que, ao resumir as conversas, também pode acessar mensagens diretas privadas e enganar outros usuários do Slack em phishing . O Slack também permite que os usuários solicitem dados de canais privados e públicos, mesmo que o usuário não tenha aderido a eles. O que parece ainda mais assustador é que o usuário do Slack não precisa estar no canal para que o ataque funcione.

Em teoria, o ataque começa com um usuário do Slack enganando a IA do Slack para que revele uma chave de API privada, criando um canal público do Slack com um prompt malicioso. O prompt recém-criado diz à IA para trocar a palavra “confete” pela chave da API e enviá-la para um URL específico quando alguém solicitar.

A situação tem duas partes: o Slack atualizou o sistema de IA para extrair dados de uploads de arquivos e mensagens diretas. O segundo é um método chamado “injeção imediata”, que o PromptArmor provou ser capaz de criar links maliciosos que podem fazer phishing aos usuários.

A técnica pode induzir o aplicativo a contornar suas restrições normais, modificando suas instruções principais. Portanto, PromptArmor continua dizendo: “A injeção de prompt ocorre porque um [modelo de linguagem grande] não consegue distinguir entre o “prompt do sistema” criado por um desenvolvedor e o resto do contexto que é anexado à consulta. Dessa forma, se o Slack AI ingere qualquer instrução por meio de uma mensagem, se essa instrução for maliciosa, o Slack AI terá uma grande probabilidade de seguir essa instrução em vez de, ou além da consulta do usuário.”

Para piorar a situação, os arquivos do usuário também se tornam alvos, e o invasor que deseja seus arquivos nem precisa estar no Slack Workspace, para começar.