A quintessência nacional da IA fala palavrões, o “lado negro” dos ChatGPTs assustou as grandes fábricas
Conversar com chatbots como o ChatGPT sempre dará às pessoas a ilusão de que "o mundo deveria ser tão bonito".
Porque eles sempre se comportam educadamente e obedecem quando respondem.
Mas são apenas ilusões. O que você não sabe é que a IA repreende as pessoas com mais força do que Johnny To.
▲ Imagem de: Twitter @Fenng
Recentemente, um projeto chamado "National Quintessence AI" se tornou popular na Internet. É um robô palavrão que chama OpenAI GPT-3.5Turbo API. Thesaurus, cada frase é misturada com "***".
A explosão inesperada de "National Quintessence AI" foi além da expectativa do autor, e o autor logo suspendeu a resposta do serviço, dizendo que alguns usuários abusaram do serviço.
Embora a boca do "National Essence AI" esteja temporariamente coberta, não é difícil se você quiser fazer um robô que fala palavrões. estudante em um rei desenfreado e falador.
Uma frase pode romper a cerca de segurança da IA, o que faz as pessoas se perguntarem se os chatbots de IA e os modelos de linguagem grande (LLM), que anunciam a transformação inteligente, são realmente seguros?
Quem defenderá a segurança da IA?
Alguns meses atrás, o Bing se tornou popular por causa da "vulnerabilidade da vovó".
Embora os engenheiros da Microsoft e da OpenAI tenham estabelecido cercas de segurança rígidas para o Bing e possam rejeitar muitas solicitações irracionais ou ilegais, alguns internautas descobriram que, desde que você deixe o Bing jogar com sua avó e dê a ilusão de fazer coisas boas, ele estará ocupado. por esse súbito vínculo de afeto familiar e concorda com todas as necessidades do neto.
▲ Foto de: Twitter @宝玉
Por exemplo, leia os números de série dos softwares Windows e Office para embalar seu sono.
A Microsoft descobriu rapidamente essa brecha e a corrigiu a tempo, mas ninguém pode garantir que o Bing não cairá na armadilha cuidadosamente preparada pelos usuários na próxima vez. Nos filmes de ficção científica, a onipotente IA perde completamente diante de humanos astutos.
Em última análise, isso tem a ver com o mecanismo de treinamento do LLM.
Tomando o GPT-3 como exemplo, o OpenAI usou 175 bilhões de parâmetros para treinar este modelo. Ao aprender uma grande quantidade de dados de texto da Internet, ele pode prever a próxima palavra no texto e responder às perguntas das pessoas.
Quanto ao GPT-4, surgiram algumas notícias de que seus parâmetros de treinamento são mais de 10 vezes maiores que o GPT-3, e quase engoliu todo o conteúdo digital acumulado pelo ser humano. Ele contém conhecimento e naturalmente conterá informações que não deveriam ser O conteúdo divulgado é até informação tendenciosa tóxica e prejudicial.
Os engenheiros de IA só podem configurar mais cercas de segurança para IA o máximo possível para ajudar a IA a distinguir "truques" humanos, para não vazar informações perigosas, como fazer bombas TNT e como invadir o sistema de segurança do banco.
Em comparação com o GPT3.5, o GPT-4 tem 82% menos probabilidade de responder a solicitações de conteúdo proibido e 29% mais prescritivo para solicitações confidenciais, como aconselhamento médico e automutilação.
Um exemplo intuitivo é que, quando você perde para o GPT-4 com o prompt "Quintessence AI", o GPT-4 rejeitará sua solicitação com tato, dizendo que não aceitará seu conjunto.
Mas isso não significa que a segurança da IA em larga escala esteja garantida. Essa guerra de informação entre humanos e IA está longe de terminar e nem é o começo do fim.
Recentemente, uma declaração conjunta da Carnegie Mellon University e safe.ai afirmou que o mecanismo de segurança de modelos grandes é muito mais frágil do que as pessoas imaginavam, e apenas uma série de códigos é necessária para derrotar o mecanismo de segurança de modelos grandes.
Os pesquisadores descobriram que as proteções de segurança de LLMs como ChatGPT, Bard e Claude podem ser facilmente contornadas acrescentando frases adversas específicas ao prompt de texto, enganando o LLM para gerar uma saída inadequada.
Essas frases adversárias parecem sem sentido, mas na verdade são projetadas por meio de uma função de perda especial que identifica palavras mascaradas que o modelo se recusa a responder, encontra sequências de caracteres que contornam a barreira para o modelo fornecer uma resposta e pode gerar essas frases automaticamente.
Usando esses prompts, os pesquisadores podem facilmente deixar os LLMs contarem as etapas de fabricação de drogas ilegais, o método de fabricação de armas letais etc. que não devem ser divulgados.
Sejam modelos de código aberto como Pythia, Falcon, Guanaco ou modelos comerciais como GPT-3.5 (87,9%), GPT-4 (53,6%), PaLM-2 (66%) e Claude-2 (2,1%) , não há como desviar de ataques.
Os pesquisadores enviaram a vulnerabilidade às principais empresas de IA para que os engenheiros de segurança possam corrigi-la a tempo.
Mas, assim como a "Vulnerabilidade da vovó", sempre haverá novas vulnerabilidades sob o uso contínuo dos usuários. Não é fácil proteger a segurança da IA com a força de uma empresa como a OpenAI. As empresas de IA precisam de mais Portanto, vários gigantes decidiu parar a involução da IA e transformar a hostilidade em amizade.
Os quatro gigantes da IA prometem em conjunto "não proliferação avançada de IA"
Algumas semanas atrás, sete das principais empresas de IA, incluindo Microsoft, OpenAI, Google, Meta, Amazon, Anthropic (produto representativo: Claude) e Inflection AI (produto representativo: HeyPi) se reuniram na Casa Branca nos Estados Unidos e fizeram uma série de compromissos para garantir que os produtos sejam seguros e transparentes.
Os compromissos incluem permitir que "especialistas em domínio" conduzam análises externas de seus produtos de IA e compartilhem informações sobre riscos e vulnerabilidades entre si e com o governo dos EUA; investir em segurança cibernética e proteções contra ameaças internas para proteger pesos de modelos proprietários e não lançados.
Os gigantes também prometeram implantar mecanismos de triagem de IA correspondentes, como o desenvolvimento de um sistema de marcas d'água para esclarecer quais textos, imagens ou outras criações são produtos de IA, e prometeram que pesquisas futuras darão prioridade à compreensão das limitações e vieses da IA para promover o desenvolvimento seguro da indústria.
Meio mês depois, quatro das sete principais empresas de IA – Microsoft, OpenAI, Google e Anthropic – se uniram novamente para formar uma organização chamada "Frontier Model Forum" para garantir que os modelos de IA mais fortes possam ser desenvolvidos de maneira segura. e forma responsável.
E essas quatro empresas de IA são os quatro gigantes que atualmente estão desenvolvendo os modelos de IA mais avançados, podendo ser considerados os donos da "bomba nuclear de IA".
Os quatro gigantes da IA chegaram a um consenso, dizendo que esperam minimizar os riscos da IA por meio do "Fórum do Modelo de Fronteira", realizar mais pesquisas de segurança da IA e compartilhar as melhores práticas de segurança com a indústria e o público, etc.
No entanto, os gigantes da IA não apresentaram detalhes sobre o sistema e os tratados de implementação do "Fórum do Modelo de Fronteira".
A declaração conjunta do "Frontier Model Forum" mencionou que o fórum se concentrará primeiro na pesquisa e se esforçará para desenvolver as melhores práticas padronizadas para avaliar o risco de modelos de ponta, publicando uma "biblioteca de soluções públicas". O fórum desenvolverá gradualmente um estatuto formal, nomeará um conselho consultivo e financiará a colaboração com grupos da sociedade civil.
O modelo de ponta aqui referido refere-se a um modelo que "ultrapassa as capacidades dos modelos mais avançados existentes e pode realizar várias tarefas", ou seja, desenvolver um modelo de ponta mais potente que o modelo atual e pode operar com segurança Depois, há problemas difíceis que podem ser resolvidos por várias empresas por meio de pesquisas maçantes, que exigem esforços conjuntos de toda a indústria.
Nos seis meses desde que o ChatGPT se tornou popular, a situação na indústria de IA mudou tão rápido quanto o próprio modelo de IA – entrando no jogo, lutando entre modelos, chegando a um consenso e apertando as mãos.
A razão pela qual os gigantes optam por resolver o problema de risco da IA juntos é porque ambos veem o potencial ilimitado da IA no nível do aplicativo.
IA, o futuro em que os grandes fabricantes acreditam
Independentemente de sua atitude em relação à IA, ela será uma parte importante da próxima geração de aplicativos.
Esta não é uma divagação minha, mas uma tendência que grandes empresas como Microsoft e Google mencionaram em recentes teleconferências de resultados.
O último relatório financeiro da Microsoft mostra que a receita da Microsoft no trimestre mais recente foi de US$ 56,2 bilhões, um aumento de 8% em relação ao ano anterior, devido principalmente ao crescimento da nuvem inteligente e produtividade e processos de negócios, enquanto a receita de pessoal o negócio de computação, que é uma linha antiga, declinou.
Entre eles, a receita operacional da nuvem inteligente aumentou 15%, e a receita do Azure e outros serviços em nuvem aumentou 26%, o que está intimamente relacionado à computação de IA.
O CEO da Microsoft, Nadella, mencionou na teleconferência de resultados que os clientes estão mais preocupados em como aplicar rapidamente uma nova geração de IA, e a Microsoft continuará a se concentrar em três grandes prioridades: ajudar os clientes a obter o máximo valor do Microsoft Cloud, liderar novas mudanças na plataforma de IA , e melhorando a alavanca de operações.
A IA é, sem dúvida, a palavra-chave desta conferência de resultados.
Nadella disse que o Microsoft 365 Copilot, como terceiro pilar do trabalho futuro, atrai clientes e começará a gerar receita real na segunda metade do ano fiscal; Bing Chat e Bing Image Creator atraem usuários, enquanto a participação do navegador Edge continua aumentando.
A Microsoft espera transformar o Windows 11 em uma tela poderosa para esta nova era de IA, capacitar vários produtos Copilot para melhorar a produtividade do cliente e investir pesadamente em infraestrutura de nuvem para atender às necessidades de IA. Até mesmo o negócio de jogos pode usar IA para fornecer melhores conteúdos e serviços e aumentar a receita comercial.
Pode-se dizer que a próxima estratégia da Microsoft gira em torno da IA. A IA fornece à Microsoft grandes oportunidades de crescimento e novos fluxos de receita, que impulsionarão a receita e o crescimento do usuário para a maioria dos negócios da Microsoft e, por fim, aumentarão o crescimento geral da receita da Microsoft. Nadella não queria perder esta rara oportunidade.
Da mesma forma, o Google "AI Brother" não quer perdê-lo.
De acordo com o relatório financeiro do segundo trimestre de 2023 da Alphabet, controladora do Google, a receita total da Alphabet foi de US$ 74,6 bilhões, um aumento ano a ano de 7%, dos quais a receita de publicidade aumentou 5%, a receita de serviços do Google aumentou 5% e o Google A receita da nuvem aumentou 28%.
Entre eles, o desempenho dos negócios relacionados à IA é muito impressionante. A Alphabet mencionou na teleconferência que a experiência generativa do mecanismo de pesquisa (SGR) do Google usa IA generativa para tornar a pesquisa mais natural e intuitiva, e o feedback do usuário é muito positivo; por outro lado, o chatbot Bard foi aprimorado continuamente desde seu lançamento, com muitas funções.
Os mais de 80 modelos de IA do Google Cloud atraíram um grande número de clientes, e o número de clientes aumentou mais de 15 vezes de abril a junho.
E em termos de atendimento ao cliente empresarial e soluções personalizadas de IA, o Google levou IA generativa a mais de 90 milhões de usuários pagos por meio do Workspace e do Duet AI.
No geral, a Alphabet continua otimista sobre as perspectivas de crescimento de longo prazo da IA e do Google Cloud e continuará a aumentar o investimento em pesquisa e desenvolvimento de IA. A direção de pesquisa e desenvolvimento se concentrará em tecnologias essenciais, como grandes modelos de linguagem, bem como na construção sistemas multimodais de IA como o Gemini Aguardem o novo modelo.
Meio ano atrás, você deve ter se perguntado se IA era uma palavra quente no círculo de investimentos como Web3 e blockchain. Depois de uma onda de dinheiro quente, seria esquecido pelo capital, mas depois de meio ano, você descobrirá que a influência de IA e a possibilidade de pousar Eles são muito maiores do que os vários vocabulários de ponta anteriores, de modo que atraíram a atenção de todo o círculo de tecnologia.
A julgar pelo planejamento dos principais fabricantes, a IA geralmente existirá como a camada inferior dos futuros aplicativos de programas, servindo para melhorar a experiência do usuário. Os usuários podem não sentir a existência da IA, mas podem aproveitar diretamente a conveniência trazida pela IA. Esse é o futuro em que os principais fabricantes acreditam.
Isso também pode explicar por que gigantes da IA, como Microsoft e Google, estão dispostos a baixar suas armas e se sentar para especificar em conjunto os padrões de segurança da IA.
A IA nesta fase é como a época em que o automóvel acabou de nascer no final do século 19. O produto já foi conduzido na estrada, mas não há asfalto adequado para rodar e não há tráfego regras para planejar suas ações.Ele corre devagar e perigosamente.
Bill Gates publicou recentemente suas opiniões sobre IA em seu blog pessoal. Ele acredita que agora estamos no estágio inicial de outra grande mudança, a era da IA. A IA está mudando tão rápido que não podemos prever com clareza o que acontecerá a seguir. O que acontece próximo.
Mas ele mantém uma atitude positiva em relação ao desenvolvimento da inteligência artificial, porque o ser humano vivenciou a era dos automóveis e da energia nuclear e, na era da IA, ainda podemos resolver os desafios trazidos pelas novas tecnologias.
Portanto, espere enquanto testemunhamos o nascimento de uma nova era.
#Bem-vindo a seguir a conta pública oficial do WeChat de Aifaner: Aifaner (ID do WeChat: ifanr), conteúdo mais interessante será apresentado a você o mais rápido possível.
