A maldição da narração de IA de Lei Jun se tornou viral em Douyin. Eu estava com raiva e alerta para a nova era de proliferação de Deepfakes.
Com licença, tive férias de 7 dias e fui repreendido pela IA na voz de Lei Jun por 6 dias.
O próprio Lei Jun foi baleado inocentemente, e os blogueiros estavam testando as águas à beira de infringir a lei ou já infringindo a lei. Os internautas observaram brevemente a excitação e depois retornaram aos seus postos de trabalho, atordoados e incapazes de retomar a ação. Facão de 40 metros nas mãos.
A clonagem de voz não é novidade, mas as consequências da sua proliferação apenas começaram a surgir.
Não é apenas uma piada, desta vez a IA ultrapassou um pouco os resultados financeiros
Recentemente, houve muitos vídeos de “amaldiçoando Lei Jun” em Douyin e Bilibili. Na verdade, os internautas usaram IA para clonar a voz de Lei Jun, e as rotinas de redação também são muito semelhantes.
▲ Isso é uma paródia
No início, ele expressou seus sentimentos diretamente e declarou sua identidade: “Olá a todos, sou Lei Jun”.
▲Isso é uma pegadinha
Não há tópicos tabu. Sinto-me mal por jogar basquete, mahjong e jogos. Não sei como acabaram as férias. imagem de marca, como assistir filmes pornográficos em celulares Xiaomi.
▲Isso é uma paródia. As pesquisas relacionadas são muito interessantes.
Ele tem um tom gentil, mas palavrões constantes, o que contrasta com o próprio Lei Jun. Ele fala de mim como um velho e uma fera, cumprimenta as mães de outras pessoas e até faz rumores e ameaças, alegando controlar remotamente os celulares Xiaomi. autodestruir-se e atingir pessoas com o Xiaomi Su7.
▲ Isso é uma paródia
Existem também alguns internautas com ideias incríveis que usaram IA para falsificar a resposta de Lei Jun. O estilo de pintura anterior é normal, esclarecendo os fatos, elogiando o talento do internauta e pedindo a todos que tenham cuidado para distinguir, assim como Lei Jun diria, a reviravolta da segunda parte é difícil de ver na foto, continue A fragrância sai da sua boca e pega as pessoas desprevenidas.
O próprio Lei Jun já sabia que havia sido enganado pela IA. Quando questionado por internautas na área de comentários do Weibo sobre a ordem de bloqueio do Xiaomi su7, ele respondeu com três emojis com fortes cores emocionais.
A imagem de Lei Jun sempre foi relativamente acessível, e ele não se importa em tirar sarro de si mesmo. Quando se juntou à Estação B, ele cantou sua famosa música "Are you OK, Xiaomi até lançou periféricos com Are you OK hands, mas a natureza". desta vez é obviamente diferente.
Não é aconselhável zombar de piadas, ser muito vulgar ou mesmo malicioso.
Esses vídeos não apenas não enfatizam que são IA, mas também afirmam que são Lei Jun e usam fotos reais para as fotos. Eles estão realmente prestes a infringir os direitos de reputação e de retrato. Sun está infringindo é mais claro.
O departamento jurídico da Xiaomi fez seu trabalho. Atualmente, ao pesquisar “Lei Jun AI dublagem” em Douyin, não há mais palavrões, rumores ou palavrões.
A violação da IA ainda é algo novo, mas há lições a serem aprendidas com o passado.
Em Abril deste ano, foi pronunciado o veredicto de primeira instância do primeiro "caso de violação de voz de IA" do país, identificando claramente o âmbito da protecção dos direitos e interesses das vozes das pessoas singulares com a premissa de serem identificáveis. Acessível a sons gerados por IA.
Há um conceito-chave aqui: o que é reconhecibilidade? Além da utilização do som, este caso de infração também mencionou um critério prático: se os ouvintes comuns na área relevante podem reconhecê-lo.
Estendido à dublagem de IA de Lei Jun, este padrão também deve ser aplicado. Embora o conteúdo de muitos vídeos não pareça o estilo de Lei Jun à primeira vista, as vozes são de fato semelhantes às do próprio Lei Jun.
Em suma, a Internet não é um lugar fora da lei e a IA não pode escapar ao poder da Skynet. Não fale sobre neutralidade tecnológica. São os humanos que utilizam as ferramentas que devem assumir a responsabilidade.
A falsificação é fácil, mas você já pensou em como resolver o problema?
A disseminação em larga escala da voz de AI Lei Jun também ilustra o fato de que a clonagem de vozes está se tornando cada vez mais fácil. Embora a equipe de proteção de direitos tenha tomado medidas, as redes sociais estão agitadas há algum tempo.
Ao contrário de quando a IA Stefanie Sun foi solicitada a cantar, foi necessário o modelo de treinamento SoVITS, que foi um pouco profissional e testou o desempenho do equipamento. Agora, se você pedir a alguém para dizer algo, pode ser gerado diretamente. no site quase em tempo real.
▲ O site de clonagem de voz tem muitos personagens de IA carregados pelos próprios usuários.
Há algum tempo, a Three Sheep, a principal empresa de transmissão ao vivo, ainda não havia saído do “Mooncake Gate” e caiu no “Recording Gate”. Depois que o caixão foi finalizado, a culpa também foi da IA.
O conteúdo de uma gravação suspeita de ser um executivo da Three Sheep foi exposto. O conteúdo baixou o limite e envolveu muitos executivos e âncoras. Porém, segundo investigação policial, o conteúdo do áudio era falso e foi forjado por meio de IA. Por um tempo, as pessoas não conseguiam acreditar que a IA fosse tão poderosa a ponto de fazer comentários bêbados e ser enviada para a coluna jurídica.
Se você não acredita, simplesmente tentei um site de clonagem de voz. Você pode usá-lo registrando seu endereço de e-mail. A voz de Lei Jun AI é uma das opções populares.
Embora o efeito gerado tenha algumas falhas, incluindo ruído e deglutição, e a qualidade do som seja a mesma que vem do outro lado do telefone, ele é gerado quase em tempo real, livre em 500 palavras, e o tom e a entonação são relativamente naturais . O que mais você precisa para uma bicicleta?
▲ Outro site de clonagem de voz
Chen Peng, cientista de algoritmo inteligente de Ruilai, disse à APPSO que costumava levar vários minutos ou dezenas de minutos para capturar nossas informações de impressão de voz, mas agora elas podem ser capturadas aproximadamente em meio minuto ou dezenas de segundos. Se recebermos mais algumas ligações de assédio, nossas vozes poderão vazar.
No entanto, se você quiser clonar com mais precisão e copiar o tom e outros estilos de fala, como deixar Guo Degang falar conversa cruzada em inglês e Swift Swift falar chinês, ainda será necessário mais corpus.
Mas quando se trata de corpus, não faltam celebridades. Incidentes de fraude de voz com IA também ocorreram no exterior, e a ideia foi até direcionada ao presidente.
No início deste ano, moradores de New Hampshire receberam uma chamada de voz automatizada de Biden e foram instruídos a não votar nas primárias estaduais. Na verdade, o áudio foi falsificado usando a ferramenta de IA ElevenLabs com o objetivo de interferir nas eleições.
Poucos dias após o incidente, ElevenLabs bloqueou a conta do iniciador. O usuário admitiu que demorou menos de 20 minutos e US$ 1 para clonar a voz de Biden.
A ElevenLabs também tomou algumas medidas preventivas para isso, incluindo o “No-Go Voices”, que proíbe os usuários de fazer upload ou clonar as vozes de certas celebridades e políticos.
No entanto, não é monolítico. Em março deste ano, um repórter da 404 mídia descobriu que era possível contornar as regras e clonar as vozes de Trump e Biden simplesmente adicionando um minuto de silêncio no início do arquivo carregado.
Você também pode usar magia para derrotar a magia, mas o software de detecção de IA geralmente tem problemas com o áudio gerado por IA.
Os repórteres da NPR testaram três softwares de detecção e os resultados não foram otimistas. 84 amostras foram enviadas. O software de melhor desempenho errou 3 questões, o restante errou 20 questões e o outro teve uma taxa de precisão de apenas cerca de 50%. .
Há outro fenômeno muito interessante no incidente de voz da AI Lei Jun: além de ligar para o departamento jurídico online, alguns internautas também disseram, como é que a plataforma permite que esse tipo de conteúdo se torne popular apesar de não controlá-lo?
As "Medidas para rotular conteúdo sintético gerado por inteligência artificial (rascunho para comentários)" emitidas pela Administração do Ciberespaço da China em setembro propuseram que rótulos explícitos e rótulos implícitos deveriam ser adicionados ao conteúdo sintético gerado por IA. enquanto o último é adicionado ao meio dos metadados.
▲O usuário adiciona uma declaração independente
Entre elas, quais devem ser as responsabilidades da plataforma que divulga conteúdos?
A primeira é verificar se os metadados possuem um identificador implícito e, em caso afirmativo, um lembrete visível deve ser adicionado; a segunda é que o identificador implícito não foi verificado, mas o usuário declara que é conteúdo de IA, um lembrete também deve ser; adicionado o terceiro é que não há identificador implícito. O usuário também não declarou que a plataforma detectou vestígios de IA e precisa adicionar um lembrete.
Essa farsa é um exemplo. O usuário não fez uma autodeclaração e a detecção da plataforma não estava em vigor. Alguns vídeos tinham um lembrete sob o título de que "Suspeita-se que a tecnologia de geração de IA esteja sendo usada, por favor, examine com atenção". alguns não foram detectados.
▲ Não marcado na parte superior, mas marcado na parte inferior
No início deste ano, imagens pornográficas forjadas pela IA de Taylor Swift foram um incidente típico de celebridades sendo prejudicadas pela IA, o que também refletiu o atraso nas medidas corretivas.
Uma das fotos sobreviveu no X por 17 horas e foi visualizada 47 milhões de vezes antes de ser excluída.
Redes sociais como X e Instagram, além de deletarem fotos, uma vez não permitiam buscas por Swift, ou emitiam avisos nas buscas. Os fãs odeiam o fato de que o ferro não pode se transformar em aço, então eles espontaneamente “massacram a praça” e usam fotos reais para proteger seus ídolos.
▲ Aviso de pesquisa no Instagram para Taylor Swift
Quanto mais amplamente utilizada a tecnologia de IA se torna, mais difícil se torna prevenir o uso indevido.
O “papa da moda” que usava uma jaqueta e foi gerado em Midjourney fez com que as imagens e os fatos fossem coisa do passado. O mesmo vale para sons, vídeos e cenas.
A coisa mais assustadora a se pensar é que, à medida que a tecnologia continua a avançar, a IA pode “reproduzir” indivíduos com certas características biológicas que estão cada vez mais próximas da realidade.
Nossos rostos e informações pessoais vazaram. Ao mesmo tempo, o estilo de pintura e o som, essas coisas e técnicas aparentemente únicas que antes tinham um limite, também foram imitadas pela IA, o que é suficiente para enganar as pessoas comuns.
Hoje, além de utilizarmos meios técnicos e jurídicos, talvez tenhamos de considerar se deveria haver algum consenso moral. Um cavalheiro tem algo para fazer e algo para não fazer. Não faça aos outros o que você não quer que façam com você.
Quando estamos online, é melhor não presumir que tudo é verdade, muito menos ser o iniciador da ultrapassagem dos limites. Não estamos apenas olhando para a água da costa, somos também um pequeno barco acima.
# Bem-vindo a seguir a conta pública oficial do WeChat do aifaner: aifaner (WeChat ID: ifanr). Mais conteúdo interessante será fornecido a você o mais rápido possível.