O pai do ChatGPT alertou que a IA pode exterminar seres humanos, 350 autoridades da IA assinaram uma carta aberta conjunta
Hoje, saiu uma importante carta aberta no campo da IA.
350 autoridades de IA, incluindo o "pai do ChatGPT" Sam Altman, assinaram a carta aberta conjunta e expressaram preocupação de que a tecnologia de IA atualmente em desenvolvimento possa representar uma ameaça existencial para os humanos.
A carta continha apenas uma declaração: Reduzir o risco de extinção da IA deveria ser uma prioridade global junto com outros riscos em escala social, como pandemias e guerra nuclear.
Junte-se à assinatura da carta aberta 
https://www.safe.ai/statement-on-ai-risk
Os signatários incluem três executivos líderes de empresas de IA:
- CEO da OpenAI, Sam Altman;
- Demis Hassabis, CEO do Google DeepMind;
- Dario Amodei, CEO da Anthropic;
Mais importante, há dois "padrinhos" da inteligência artificial, Geoffrey Hinton e Yoshua Bengio, na lista.
Mais de 350 executivos, pesquisadores e engenheiros que trabalham com inteligência artificial assinaram a carta aberta emitida pela organização sem fins lucrativos Centro de Segurança de Inteligência Artificial, argumentando que a inteligência artificial tem o risco de causar a extinção humana e deve ser considerada relacionada a epidemias. risco igual ao de uma guerra nuclear.
Crescem as preocupações sobre a potencial ameaça à sociedade e ao emprego que o desenvolvimento de modelos de inteligência artificial como o ChatGPT pode representar, com muitos pedindo uma regulamentação mais forte da indústria de IA, caso contrário, causará danos irreparáveis à sociedade.
A IA continua a subir, mas os métodos relevantes de supervisão e auditoria não acompanharam, o que significa que ninguém pode garantir a segurança das ferramentas de IA e o processo de uso de ferramentas de IA.
Na semana passada, Sam Altman e dois outros executivos da OpenAI propuseram a criação de uma organização internacional como a Agência Internacional de Energia Atômica para supervisionar com segurança o desenvolvimento da IA. de fabricantes de ponta em inteligência artificial.
Na verdade, já em março, uma carta aberta sobre interromper a pesquisa de IA por 6 meses se tornou viral em toda a Internet.
A carta pedia a todos os experimentos de IA que suspendessem imediatamente a pesquisa em modelos de IA mais avançados que o GPT-4 por pelo menos 6 meses, a fim de matar essas terríveis fantasias em seus berços.
A velocidade do progresso da IA é surpreendente, mas os métodos relevantes de supervisão e auditoria não acompanharam, o que significa que ninguém pode garantir a segurança das ferramentas de IA e o processo de uso de ferramentas de IA.
A carta conjunta recebeu o apoio da assinatura de muitas figuras conhecidas, incluindo o vencedor do Prêmio Turing de 2018, Yoshua Bengio, Musk, Steve Wozniak, cofundador do Skype, cofundador do Pinterest, CEO da Stability AI, etc., o número de co-signatários atingiu 1125 antes do prazo.
O texto original da carta aberta é o seguinte:
A inteligência artificial possui inteligência para competir com os seres humanos, o que pode trazer riscos profundos para a sociedade e para os seres humanos, o que tem sido confirmado por um grande número de estudos [1] e reconhecido pelos principais laboratórios de IA [2]. Como afirmam os amplamente reconhecidos Princípios de IA de Asilomar, a IA avançada pode representar uma grande transformação na história da vida na Terra e, como tal, deve ser planejada e gerenciada com atenção e recursos proporcionais.
Infelizmente, mesmo nos últimos meses, os laboratórios de IA travaram uma corrida desenfreada para desenvolver e implantar mentes digitais cada vez mais poderosas que ninguém pode entender, prever ou controlar de forma confiável, mesmo que os criadores também não pudessem fazer isso.
Com sistemas de IA modernos agora competitivos com humanos em tarefas comuns [3], devemos nos perguntar:
- Devemos permitir que as máquinas inundem nossos canais de informação, espalhando propaganda e mentiras?
- Devemos automatizar todos os trabalhos, incluindo os satisfatórios?
- Devemos desenvolver mentes não humanas que possam eventualmente nos superar e substituir?
- Devemos arriscar sair do controle da civilização?
Essas decisões não devem ser tomadas por líderes tecnológicos não eleitos. Somente quando estivermos confiantes de que o impacto do sistema de IA é positivo e os riscos são gerenciáveis, devemos desenvolver sistemas de IA poderosos. Essa confiança deve ser bem fundamentada e crescer com o impacto potencial do sistema. A declaração recente da OpenAI sobre inteligência artificial afirma: "Em algum momento, pode ser necessário obter uma revisão independente antes de começar a treinar sistemas futuros e, para esforços de ponta, concordar em limitar a taxa de crescimento da computação usada para criar novos modelos." Concordamos. Agora é esse momento.
Portanto, pedimos uma moratória imediata em todos os laboratórios de IA por pelo menos 6 meses para treinar sistemas de IA mais poderosos que o GPT-4. Essa suspensão deve ser pública e verificável e incluir todos os principais participantes. Se tal moratória não puder ser implementada rapidamente, o governo deve intervir e impor uma moratória.
Os laboratórios de IA e os especialistas independentes devem usar essa pausa para trabalhar juntos para desenvolver e implementar um conjunto compartilhado de protocolos avançados de segurança de design e desenvolvimento de IA que devem ser rigorosamente revisados e monitorados por especialistas externos independentes.
Esses protocolos devem garantir que os sistemas que aderem a eles sejam seguros além de qualquer dúvida razoável [4]. Isso não significa interromper o desenvolvimento da IA, mas simplesmente dar um passo para trás na sempre perigosa corrida em direção a modelos de caixa preta maiores e imprevisíveis e suas capacidades emergentes.
A pesquisa e o desenvolvimento de IA devem se concentrar em melhorar a precisão, segurança, explicabilidade, transparência, robustez, alinhamento, confiabilidade e lealdade dos sistemas robustos e avançados existentes.
Ao mesmo tempo, os desenvolvedores de IA devem trabalhar com os formuladores de políticas para acelerar drasticamente o desenvolvimento de sistemas de governança de IA. Estes devem incluir pelo menos:
- Um novo órgão regulador competente dedicado à IA;
- Supervisão e rastreamento de sistemas de IA de alta capacidade e grandes pools de poder de computação;
- Sistemas de proveniência e marcas d'água para distinguir o conteúdo real do sintético, rastreando vazamentos de modelos;
- Ecossistema robusto de auditoria e certificação; responsabilidade pelos danos causados pela IA;
- Financiamento público adequado de pesquisa técnica de segurança em IA;
- Instituição veterana que lida com as enormes mudanças econômicas e políticas que a IA causará, especialmente as implicações para as democracias.
A humanidade pode desfrutar de um futuro próspero com a ajuda da IA. Tendo conseguido criar poderosos sistemas de IA, agora podemos desfrutar de um "verão de IA", no qual colhemos os frutos do uso desses sistemas explicitamente para beneficiar a todos e dar à sociedade uma chance de se adaptar.
A sociedade apertou o botão de pausa [5] diante de outras tecnologias que podem ter efeitos catastróficos na sociedade. Aqui podemos fazer o mesmo. Vamos aproveitar um longo verão de IA em vez de correr para o outono despreparados.
#Bem-vindo a prestar atenção à conta pública oficial do WeChat de Aifaner: Aifaner (ID do WeChat: ifanr), conteúdo mais interessante será apresentado a você o mais rápido possível.
