A plataforma Sora da OpenAI está sendo usada para criar vídeos de IA de mulheres sendo estranguladas.

O que aconteceu: Isso é bastante assustador. As pessoas estão encontrando vídeos gerados por inteligência artificial no TikTok e no X (o aplicativo que ainda chamamos de Twitter) que mostram mulheres e meninas sendo estranguladas.

• Não são desenhos animados; parecem assustadoramente realistas. Os vídeos são curtos, talvez 10 segundos, e têm títulos horríveis como "Uma líder de torcida adolescente foi estrangulada", mostrando "mulheres" artificiais chorando e se debatendo.
• Os investigadores apontam que muitos desses vídeos têm uma marca d'água do Sora 2, o novo gerador de vídeos da OpenAI , lançado ao público em 30 de setembro. Alguns dos vídeos mais recentes não têm a marca d'água, o que é ainda mais preocupante – significa que as pessoas podem estar descobrindo como removê-la ou usando outras ferramentas de IA para criar esse conteúdo.
• As contas que publicam esses vídeos também são assustadoras. A do X quase não tem seguidores, enquanto uma semelhante no TikTok tinha mais de mil antes de ser finalmente removida. Parece que ambas começaram em outubro, primeiro publicando trechos reais de programas de TV e depois… passaram a usar essa violência gerada por inteligência artificial.

Por que isso é importante: Isso é um sinal de alerta enorme. Mostra que essas plataformas de IA e sites de mídia social estão falhando completamente em detectar esse tipo de conteúdo, mesmo quando suas próprias regras proíbem claramente "conteúdo gráfico ou violento".

• O TikTok removeu a conta depois que a mídia começou a fazer perguntas, mas, segundo relatos, X simplesmente não a removeu, mesmo após denúncias de usuários.
• Isso também revela o risco mais sombrio dessas novas ferramentas de IA, que é a crescente facilidade com que qualquer pessoa pode criar vídeos hiper-realistas de violência, especialmente contra mulheres e crianças.
• Isso não é apenas "quebrar as regras"; é totalmente antiético e levanta enormes questões legais sobre o uso de IA para criar e compartilhar conteúdo abusivo.

Por que devo me importar: Agora que qualquer pessoa pode produzir esse tipo de conteúdo, ele pode se espalhar como fogo em palha seca, tornando as pessoas insensíveis à realidade da violência desse tipo.

• É preciso ter consciência de que, mesmo que esses vídeos sejam "falsos", eles ainda podem causar danos psicológicos reais e alimentar uma cultura de violência.
• É mais um alerta contundente de que precisamos urgentemente de medidas de segurança mais robustas. As empresas que desenvolvem essas ferramentas de IA e as plataformas que permitem sua disseminação precisam ser responsabilizadas.

O que vem a seguir: O governo do Reino Unido acaba de anunciar que vai tornar ilegal qualquer representação pornográfica de estrangulamento, o que é um sinal de que os países estão começando a se conscientizar sobre isso.

• Entretanto, a pressão sobre a OpenAI, o TikTok e a X está aumentando para que se organizem e implementem medidas de segurança eficazes em suas ferramentas de IA, impedindo que sejam usadas para produzir esse tipo de conteúdo perturbador e violento.
• Se não agirem rapidamente, especialistas alertam que este é apenas o começo de uma nova e repugnante onda de abusos online impulsionados por inteligência artificial .