Nova ferramenta de ‘envenenamento’ representa problemas para a tecnologia de texto para imagem de IA

Artistas e fotógrafos profissionais irritados com o facto de empresas de IA generativa usarem o seu trabalho para treinar a sua tecnologia poderão em breve ter uma forma eficaz de responder que não envolva recorrer aos tribunais.

A IA generativa entrou em cena com o lançamento do chatbot ChatGPT da OpenAI há quase um ano. A ferramenta é extremamente hábil em conversar de uma forma muito natural e humana, mas para obter essa capacidade ela teve que ser treinada em grandes quantidades de dados extraídos da web.

Ferramentas semelhantes de IA generativa também são capazes de produzir imagens a partir de prompts de texto , mas, como o ChatGPT, são treinadas por meio da coleta de imagens publicadas na web.

Significa que artistas e fotógrafos estão a ver o seu trabalho utilizado – sem consentimento ou compensação – por empresas tecnológicas para desenvolverem as suas ferramentas de IA generativa.

Para combater isso, uma equipe de pesquisadores desenvolveu uma ferramenta chamada Nightshade que é capaz de confundir o modelo de treinamento, fazendo com que ele gere imagens erradas em resposta a solicitações.

Descrito recentemente em um artigo do MIT Technology Review , o Nightshade “envenena” os dados de treinamento adicionando pixels invisíveis a uma obra de arte antes de carregá-la na web.

“Usá-lo para 'envenenar' esses dados de treinamento pode prejudicar futuras iterações de modelos de IA de geração de imagens, como DALL-E, Midjourney e Stable Diffusion, ao tornar inúteis alguns de seus resultados – cães se tornam gatos, carros se tornam vacas e e assim por diante”, disse o relatório do MIT, acrescentando que a pesquisa por trás do Nightshade foi submetida para revisão por pares.

Embora as ferramentas de geração de imagens já sejam impressionantes e continuem a melhorar, a forma como são treinadas revelou-se controversa, com muitos dos criadores das ferramentas actualmente a enfrentar processos judiciais de artistas alegando que o seu trabalho foi utilizado sem permissão ou pagamento.

O professor da Universidade de Chicago, Ben Zhao, que liderou a equipe de pesquisa por trás do Nightshade, disse que tal ferramenta poderia ajudar a transferir o equilíbrio de poder de volta para os artistas, disparando um alerta para as empresas de tecnologia que ignoram os direitos autorais e a propriedade intelectual.

“Os conjuntos de dados para grandes modelos de IA podem consistir em bilhões de imagens, portanto, quanto mais imagens envenenadas puderem ser inseridas no modelo, mais danos a técnica causará”, disse o MIT Technology Review em seu relatório.

Quando lançar o Nightshade, a equipe planeja torná-lo de código aberto para que outros possam refiná-lo e torná-lo mais eficaz.

Ciente de seu potencial de disrupção, a equipe por trás do Nightshade disse que ele deveria ser usado como “uma última defesa para criadores de conteúdo contra web scrapers” que desrespeitam seus direitos.

Em uma tentativa de lidar com o problema, o criador do DALL-E, OpenAI, recentemente começou a permitir que os artistas removessem seus trabalhos dos dados de treinamento, mas o processo foi descrito como extremamente oneroso, pois exige que o artista envie uma cópia de cada imagem que eles deseja ser removido, juntamente com uma descrição dessa imagem, com cada solicitação exigindo seu próprio aplicativo.

Tornar o processo de remoção consideravelmente mais fácil pode desencorajar os artistas de optar por usar uma ferramenta como o Nightshade, o que pode causar muitos mais problemas para o OpenAI e outros no longo prazo.