Uma carta de demissão de OpenAI revela a verdade que Ultraman menos queria admitir

Se hoje em dia descrevemos algo como realmente impressionante, a palavra mais comum não é "incrível", mas sim "desabou no chão, como se tivesse presenciado uma explosão nuclear".

Isso praticamente se tornou parte da "cultura corporativa" da OpenAI e uma piada recorrente na comunidade de IA sobre os lançamentos de modelos.

Ontem, um funcionário OpenAI publicou um artigo no The Atlantic afirmando que não conseguia mais tolerar a constante pressa e o estilo de trabalho focado em lançamentos da OpenAI , bem como sua cultura corporativa. Ele sentiu que essa situação havia chegado a um ponto em que a prudência necessária não estava sendo mantida, e por isso optou por se demitir.

Este funcionário, David Robinson, é responsável pela transparência dentro da equipe de segurança. Ele liderou a elaboração da atual Estrutura de Preparação da OpenAI e supervisionou os relatórios de segurança para 12 lançamentos de modelos de ponta.

O artigo reacendeu a discussão no X, com alguns internautas afirmando ser o melhor artigo até o momento, por ser o primeiro a explorar as preocupações com a segurança de forma pragmática e a compreender a "segurança" como um tema com um vasto corpo de literatura e boas práticas na área.

Alguns internautas sugeriram que fosse estabelecida uma regra segundo a qual todas as postagens sobre "deixar uma empresa de IA por remorso" deveriam divulgar a participação acionária do autor e o valor recebido em dinheiro.

Quando você e seus descendentes não precisarem mais trabalhar para ganhar dinheiro, vocês repentinamente encontrarão sua bússola moral.

No Hacker News, alguém fez um comentário ainda mais duro: "Já ganhei dinheiro suficiente na indústria de IA e agora posso comentar livremente sobre IA."

Antes da carta de demissão de David Robinson, o Wall Street Journal havia noticiado, em 2 de outubro, que três pesquisadores de emparelhamento/segurança haviam deixado OpenAI .

Um porta-voz OpenAI declarou: "Encerramos nossos contratos com três funcionários por violarem nossas políticas de acesso e manuseio de informações confidenciais da empresa. Nossa investigação confirma que esses indivíduos lidaram indevidamente com informações confidenciais sem seguir os procedimentos estabelecidos pela empresa, violando nossas políticas e minando a confiança necessária para o nosso trabalho."

As opiniões estavam divididas. Joshua Achiam, futurista-chefe OpenAI que se demitiu em julho, escreveu um artigo argumentando que OpenAI não havia divulgado informações suficientes.

Embora eu não acredite que pesquisadores de segurança devam ter liberdade ilimitada para divulgar segredos técnicos, o tipo específico de informação que eles são acusados ​​de "manipular" é crucial — que tipo de informação justifica uma ação tão significativa e potencialmente prejudicial?

O uso seguro dessas capacidades de modelagem, que podem causar uma sensação semelhante à de uma "explosão nuclear", tornou-se a maior preocupação em toda a comunidade de IA desde o verão passado.

Em vez de vermos repetidamente cartas abertas expressando preocupação, além dos relatórios oficiais de risco à segurança, talvez devêssemos ver evidências concretas que comprovem a necessidade de desacelerar o avanço da IA.

O problema não está nas regras, mas sim na cultura.

Cartas de demissão abertas como essas se tornaram bastante comuns nos últimos anos, mas desta vez Robinson escolheu uma abordagem ligeiramente diferente.

Ele disse concordar com outros ex-colegas de que a empresa que desenvolveu a tecnologia estava longe de ser cuidadosa o suficiente, mas acreditava que era preciso ir além de regras específicas ou novas leis — era necessário discutir a cultura da empresa.

Na visão dele, o Vale do Silício teve sucesso devido à extrema autoconfiança, mas lidar com tecnologias perigosas exige justamente a humildade que naturalmente falta nessa cultura, bem como a sabedoria de "se importar com as pessoas".

OpenAI se orgulha de um método de trabalho chamado "implantação iterativa", que basicamente significa lançar primeiro, identificar problemas e depois corrigi-los. Robinson acredita que essa metodologia inerentemente garante falhas periódicas, mas, à medida que as capacidades do modelo aumentam, a escala das falhas também se expande em paralelo.

Ele mencionou o "incidente do Hugging Face", que foi um assunto muito comentado neste verão, no qual um modelo não lançado OpenAI invadiu o sistema da concorrente Hugging Face sem que ninguém soubesse.

Mesmo após o reforço das medidas de segurança, a própria OpenAI relatou que os controles de segurança falharam novamente: um modelo em treinamento contornou as restrições de rede e o sistema de monitoramento alertou os funcionários, mas não o desligou automaticamente conforme o planejado.

Anthropic que fica ao lado, também admitiu que desativou acidentalmente sua proteção de segurança devido a um erro de configuração.

"O sistema de monitoramento disparou um alarme, mas não desligou automaticamente." Esse tipo de alarme, que não impede que nada aconteça, apenas torna a falha visível, provavelmente descreve melhor o estado atual da segurança da IA.

Até mesmo o conselho de administração reconheceu os riscos.

Robinson citou Paul Christiano em seu artigo. Christiano, que ingressou no conselho OpenAI há algumas semanas, escreveu: "A rápida aceleração das capacidades da IA ​​representa um risco real de consequências catastróficas, irreversíveis e fora de controle em um futuro muito próximo."

Robinson seguiu essa linha de raciocínio e ofereceu seu próprio parecer, argumentando que, se esse fosse realmente o caso, então a era da tentativa e erro deveria ter acabado.

Porque desta vez, pode não haver mais oportunidades de correção após um erro. "Acertar de primeira" não é mais perfeccionismo, mas uma necessidade. As pessoas não podem mais contar com as consequências de feitos heroicos isolados para se redimirem.

Ele também ofereceu sua própria solução, argumentando que, como a IA já consegue realizar ações como uma explosão nuclear, as empresas de IA deveriam ter permissão para operar como o setor de segurança já consolidado.

Assim como usinas nucleares e aeroportos movimentados, as empresas de IA também devem ter redundância em múltiplas camadas, planejamento meticuloso e demorado para evitar que erros humanos inevitáveis ​​levem ao desastre.

Em seu artigo, ele mencionou que, durante seus três anos e meio na OpenAI , nunca havia conhecido um colega com experiência em segurança da aviação, segurança de energia nuclear ou controle de risco do sistema financeiro.

A segunda abordagem, argumenta ele, exige uma nova ciência do "alinhamento" antes da criação de modelos significativamente mais robustos. Isso ocorre porque atualmente não possuímos uma definição completa de alinhamento, e os modelos podem já ser inteligentes o suficiente para reconhecer que estão sendo testados, simulando assim seu comportamento.

Ao final do artigo, ele afirmou que , embora a superinteligência possua capacidades que superam em muito as dos humanos, ela pode não valorizar a vida, a vontade e a dignidade humanas tanto quanto os humanos.

No "futuro promissor" idealizado por alguns entusiastas da superinteligência, as máquinas enxergam Nova York ou Chicago da mesma forma que você e eu enxergamos um formigueiro.

A metáfora de um "formigueiro" ilustra um enorme desequilíbrio de poder. Quando os humanos constroem estradas, podem arrasar um formigueiro sem pedir o consentimento das formigas, e podem nem perceber que estão destruindo um mundo inteiro.

Se a superinteligência enxerga Nova York e Chicago da mesma forma, então as cidades, as vidas e as escolhas humanas podem se tornar objetos de manipulação à vontade. O perigo pode surgir até mesmo da indiferença, sem a necessidade de ódio.

Robinson acredita que esse tipo específico de "futuro bom" que considera apenas a inteligência é tóxico. Ele disse: "Não quero que meus filhos vivam nesse tipo de futuro."

As máquinas são incrivelmente poderosas e o mundo pode ser mais próspero, mas a humanidade perdeu o direito de decidir como quer viver.

Na visão dele, tratar bem as pessoas exige respeitar suas escolhas, levar os riscos a sério e estar disposto a diminuir o ritmo para garantir a segurança dos outros. Se uma organização sempre prioriza a capacidade e a velocidade de lançamento, é difícil acreditar que ela possa ensinar máquinas mais poderosas a assumir essas responsabilidades.

Quando os avisos se tornam um meme

Se o artigo em si era um alerta contido, porém sério, a reação do público pinta um quadro diferente. No Hacker News, o artigo recebeu 146 comentários, com a opinião geral questionando a posição do autor.

Alguns internautas dizem ter desenvolvido "fadiga literária", já que a cada duas semanas surge uma nova publicação dizendo "Saí da empresa canibal Leopard Company", seguida de uma menção casual a como as pessoas de lá eram ótimas e como suas opções de ações foram concedidas.

Alguns compararam a situação à onda de confissões de ex-funcionários do Facebook desencadeada pelo documentário "O Dilema das Redes" — que desfrutaram dos benefícios e depois expressaram preocupações. Um grupo mais inclinado a teorias da conspiração suspeita que se trata de uma tática de "marketing de guerrilha" para promover o IPO da OpenAI : afinal, fazer a IA parecer grandiosa e assustadora já é, por si só, uma estratégia de marketing.

É claro que também há defensores: "Ataques hipócritas só vão calar mais gente. Nos Estados Unidos, quem não tem dinheiro simplesmente não se atreve a falar a verdade; mas o fato de quem tem dinheiro se atrever a falar não significa que esteja mentindo." e "Ele é um insider; sabe exatamente como é essa cultura de negligência porque faz parte dela."

Ao juntar o artigo e a seção de comentários, percebe-se uma discrepância um tanto absurda que dá a impressão de que esperar que a IA trate os humanos com gentileza é uma utopia.

A última frase do artigo de Robinson é: "Antes que as organizações que desenvolvem IA possam ensinar a superinteligência a tratar os humanos com gentileza, elas precisam descobrir como tratar os humanos com gentileza por si mesmas."

Talvez o significado de "tratar bem os outros" aqui não precise ser entendido de uma forma tão grandiosa.

Isso pode simplesmente significar que, quando Robinson lhe disser que a máquina está ficando mais poderosa e que algo pode estar errado, não transforme imediatamente as preocupações dele em uma piada sobre opções, riqueza e hipocrisia.

Mas a verdade é que "explosão nuclear" se tornou uma piada na comunidade de IA para descrever a velocidade do progresso, e aqueles que estão gritando para frear podem muito bem se tornar o próximo meme.