O primeiro programador de IA do mundo está aqui! Beyond GPT-4 está abalando o Vale do Silício, mas ainda é muito cedo para conquistar os criadores de código

As profissões que deram origem à IA perderão os seus empregos por causa da IA?

A empresa start-up Cognition AI foi fundada há 2 meses e causou uma tempestade em X durante a noite por causa de um de seus tweets com dezenas de milhões de visualizações:

Hoje, temos o prazer de apresentar a você Devin, o primeiro engenheiro de software de IA.

A equipe Cognition AI é basicamente medalhista de ouro na Olimpíada Internacional de Informática.

O código constrói a base da Internet, e os programadores ainda são uma profissão bem remunerada com um limite. Por que essas mentes humanas com os QI mais elevados se reúnem e ensinam a IA passo a passo para se aprofundar nas áreas em que são melhores?

O primeiro programador de IA próximo ao ser humano, o que há de tão bom nele?

A definição de Devin da Cognition AI é: o primeiro engenheiro de software de IA totalmente autônomo do mundo.

Vamos deixar de lado as especificações e ver o que Devin pode fazer.

Devin ainda não está aberto para uso e as inscrições só podem ser enviadas por e-mail, então o que vemos agora são casos oficiais e análises de alguns desenvolvedores terceirizados e pessoal de produto.

Começando com a própria Cognition AI, eles querem que Devin conclua uma tarefa: testar o desempenho do grande modelo de linguagem Llama em três provedores de API.

Eles enviaram um aviso escrito em linguagem natural, tiraram as mãos do teclado e deixaram tudo para Devin.

Devin primeiro criou um plano com etapas claras e depois começou a escrever código como um programador humano.

Devin decidiu usar um navegador para abrir a documentação da API, ler e aprender como acessar cada API.

Um bug inesperado apareceu durante o processo. Devin disse para não entrar em pânico e consertaria o que estivesse errado. Ele adicionou uma instrução de impressão de depuração e usou as informações de erro no log para descobrir como corrigir o bug.

No final, Devin construiu e implantou um site visual, que não apenas completou a tarefa, mas os resultados foram agradáveis ​​​​à vista e conquistaram os corações dos professores avaliadores.

De acordo com o blog Cognition AI, Devin também pode realizar tarefas mais complexas e possui supercapacidades de aprendizado e ajuste.

Envie a Devin um link para um artigo que explica como incorporar texto preciso em imagens de IA por meio de plug-ins como ControlNet.

Esta era originalmente uma tecnologia com a qual Devin não estava familiarizado, mas ao ler e aprender o conhecimento por conta própria, gerou um papel de parede de computador com o nome do usuário em inglês.

Devin foi convidado a fazer um site interativo. Devin se deu ao trabalho de modificá-lo e melhorá-lo de acordo com as necessidades do usuário, melhorando a página de inicialização, acelerando a taxa de quadros e respondendo a janelas de diferentes tamanhos.

Em seguida, Devin implantou o site na plataforma de desenvolvimento web Netlify, economizando tempo, esforço e preocupação, deixando apenas a parte divertida e divertida para os humanos.

Além de avançar para a batalha, Devin também é ótimo para a selva.

Diante de um repositório de código aberto contendo diferentes algoritmos que precisavam de manutenção constante, Devin procurou ajuda para encontrar e corrigir bugs. Mais exigentes que os programadores.

Até Devin tem um forte senso de autogerenciamento e pode treinar e ajustar seu próprio modelo de IA. Os programadores humanos podem deixá-lo de lado e voltar depois de uma hora para ver como foi.

A Cognition AI também queria provar que Devin não era um suporte para autopromoção, então eles tentaram fazer um pedido na plataforma freelance Upwork para escrever e depurar código para executar o modelo de visão computacional, mas deixaram para Devin concluí-lo.

Devin configurou metodicamente o repositório de código, resolveu conflitos de versão, baixou imagens da Internet para uso do modelo, amostrou os dados resultantes e escreveu um lindo relatório, que era exatamente o que o financiador queria.

Além disso, a Cognition AI at X tem o orgulho de anunciar que Devin foi aprovado em uma entrevista de engenharia com uma empresa de IA líder do setor.

Se você é um novo programador e está coçando a cabeça ao se deparar com as tarefas do Grupo A e se sentir impotente, é melhor enviar os requisitos da tarefa para Devin, e o mestre estará ao seu lado.

Depois de testar o mercado, houve uma competição entre pares, a Cognition AI pediu a Devin que conduzisse um teste de benchmark de codificação SWE-Bench para resolver problemas reais do GitHub em projetos de código aberto.

Devin, especialista em tecnologia, era totalmente autossuficiente e resolveu 13,86% deles corretamente de ponta a ponta.

À primeira vista, não parece alto. Em comparação com a melhor pontuação do modelo anterior de 4,8% com assistência, esta já é uma grande melhoria, e até supera em muito os seus antecessores, como GPT-4 e Claude2.

Os poucos usuários que usaram o Devin até agora falaram muito bem dele.

Em testes reais conduzidos por repórteres da Bloomberg, Devin construiu um site do zero em apenas 5 a 10 minutos.

Nos mesmos 5 a 10 minutos, Devin pode criar repetidamente um clássico jogo de tênis de mesa baseado na web.

A razão pela qual digo repetição é porque durante esse processo, os repórteres da Bloomberg inseriram várias vezes palavras imediatas para melhorar a aparência do site, as características físicas do tênis de mesa, etc.

O cientista da computação Silas Alberti descobriu que Devin era bom em criar protótipos de projetos, corrigir bugs e exibir dados complexos em formato gráfico.

Ele até sente que Devin não pode mais ser chamado de "assistente de programação", mas sim de um engenheiro de software assistente que trabalha de forma independente, ajudando as pessoas a concluir tarefas de forma autônoma e autônoma.

Silas Alberti, estudante de doutorado em aprendizado de máquina na Universidade de Stanford, também começou com Devin. Ele o usou para criar um pequeno resumo de site de SMS há duas semanas e o implantou por meio do Twilio. A avaliação de uso é muito prática:

Quase como um colega humano! Quando Devin encontra um problema e eu lhe dou conselhos, é como gerenciar um engenheiro júnior.

Após a experiência, o doutorando levantou suas exigências – tornar-se um engenheiro melhor para poder gerenciar uma equipe Devins no futuro.

Criado por uma equipe chinesa sonhadora, superar o código não é o fim

A IA cognitiva por trás de Devin é como uma montanha subindo do solo e foi estabelecida há apenas 2 meses.

Os 10 funcionários nem têm escritório fixo, viajando entre Airbnbs no Vale do Silício e escritórios em Nova York.

Mas foi essa empresa que levantou US$ 21 milhões em investimentos e se tornou popular da noite para o dia.

A equipe da Cognition AI atualmente tem apenas 10 pessoas, há muitos rostos chineses e a densidade de talentos é muito alta – experiência de trabalho em grandes empresas como DeepMind e Waymo e 10 medalhas de ouro na Olimpíada Internacional de Informática. Existem três fundadores principais.

O CEO Scott Wu, de 27 anos, e seu irmão Neal Wu também trabalham na Cognition AI. Ambos participam de competições internacionais de programação desde a adolescência. Suas habilidades são muito conhecidas no meio profissional, permitindo até mesmo a Programação Nacional dos EUA. Equipe para superar a China e a Europa Oriental.

O diretor de tecnologia Steven Hao já atuou como engenheiro sênior na Scale AI, uma startup responsável pelo treinamento de sistemas de IA.

O diretor de produtos Walden Yan estudou na Universidade de Harvard e é suspeito de ter desistido.

Scott Wu acredita que a experiência nas Olimpíadas é uma vantagem para sua equipe.

Ensinar habilidades de programação à IA é essencialmente um desafio algorítmico complexo, permitindo ao sistema tomar decisões complexas e prever o melhor caminho a seguir, semelhante aos problemas que resolvem nas competições.

Scott Wu até colocou isso de uma forma muito romântica: é como um jogo que eles jogam na cabeça há anos.

No entanto, antes de se tornar uma grande empresa, sofria das doenças das grandes empresas.Semelhante ao OpenAI cada vez mais fechado, a Cognition AI não divulga detalhes técnicos ao público, nem divulga se constrói o seu próprio modelo ou se baseia nos existentes. modelos.

Eles apenas disseram que encontraram uma maneira de combinar grandes modelos de linguagem, como GPT-4, com tecnologia de aprendizagem por reforço, dando a Devin vários recursos.

Primeiro, Devin alcançou avanços no raciocínio e no planejamento de longo prazo. Ele pode planejar e executar tarefas complexas de engenharia que exigem milhares de decisões, lembrar o contexto de cada etapa e aprender e corrigir erros continuamente.

Com capacidades de raciocínio, a IA pode tornar-se mais humana. Os grandes modelos de linguagem com os quais estamos familiarizados são frequentemente sistemas que prevêem a próxima palavra de uma frase ou o próximo fragmento de código com base na probabilidade. Mas ter a capacidade de raciocinar significa que a IA está mais próxima da forma como os humanos pensam e resolvem problemas.

Quanto às capacidades de planeamento a longo prazo, isto determina realmente quão útil a IA pode ser. O cientista da computação Silas Alberti descobriu que a maioria dos assistentes de codificação descarrilou após quatro ou cinco etapas, mas o status de Devin estava basicamente sempre online.

Bloomberg ainda afirmou que Devin pode lidar continuamente com centenas ou mesmo milhares de tarefas, mantendo a consistência, o que pode ser a "multitarefa" da IA.

Em segundo lugar, se você quiser fazer bem o seu trabalho, primeiro você deve aprimorar suas ferramentas.Devin está equipado com todas as ferramentas de desenvolvimento comuns usadas por programadores humanos, incluindo uma interface de linha de comando, editor de código e navegador em um ambiente de computação sandbox.

Além disso, Devin coopera ativamente com os humanos, relatando em tempo real o que planeja fazer, quais comandos e códigos usar e até que ponto a tarefa foi concluída. Ele aceita feedback humildemente e lembra Devin com palavras imediatas, e ouvirá o conselho e fazer ajustes.Trabalhar com você para concluir um projeto com base em suas necessidades.

O efeito de demonstração de Devin é bastante incrível, mas superar o código não é o fim da Cognition AI, mas um começo.

O que a Cognition AI realmente espera resolver é resolver problemas, tornar a IA mais próxima dos humanos e, então, concretizar possibilidades mais diversas em uma gama mais ampla de disciplinas.

Texto, imagens, vídeos, códigos, o que mais a IA não pode aprender?

Quando a IA faz mais, os humanos são responsáveis ​​por supervisionar a IA para fazer mais

Não é apenas ideia da Cognition AI que os programadores peçam à IA para fazer o seu trabalho por eles.

Em junho de 2021, GitHub, Microsoft e OpenAI lançaram o assistente de código AI "Copilot" baseado em GPT-3.

No mês passado, uma empresa chamada Magic AI arrecadou mais de US$ 100 milhões para projetar seus próprios modelos e tecnologia subjacente do zero para construir “engenheiros de software sobre-humanos”.

Quando o GPT-3.5 se tornou popular, algumas pessoas pensaram:

Ao inserir palavras de prompt, você está programando um grande modelo de linguagem.

Podemos arbitrariamente deixar a IA gerar um pedaço de texto ou uma imagem, que também pode ser contada, mas, ao mesmo tempo, a programação real tornou-se mais popular por causa da IA, trazendo-nos de volta a um tema familiar: empregos humanos serão roubados. ir?

De forma otimista, os programadores de IA podem libertá-los de tarefas tediosas e chatas e fazer coisas mais criativas.

E os novatos que não sabem nada sobre codificação, mas têm cérebro, podem construir seus próprios sites, serviços e aplicativos.

Por outro lado, os pessimistas podem sentir que os programadores de IA fazem com que os programadores deixem de ser uma indústria com altos salários. Alguém na área de comentários do Cognition AI postou um emoji maluco: Como engenheiro de software, terminei.

Andrej Karpathy, membro da equipe fundadora da OpenAI e uma grande figura, também expressou sua opinião sobre o X. A automação da engenharia de software é semelhante ao processo de desenvolvimento da direção autônoma:

1. Humanos escrevem código manualmente; 2. GitHub Copilot completa automaticamente algumas linhas de código; 3. ChatGPT escreve grandes blocos de código; 4. As diferenças de código estão ficando cada vez maiores, como o estilo Cursor copilot++; 5…….

Neste processo, a IA faz mais e os humanos menos, mas ainda desempenha um papel de supervisão.

Devido ao surgimento do Devin, as ferramentas de que os desenvolvedores precisam para escrever código, incluindo terminais, navegadores, editores de código, etc., podem mudar muito, e o nível de abstração da supervisão manual se tornará cada vez mais alto.

No entanto, não fique feliz tão cedo: ainda há muito trabalho a ser feito em termos de IA, interface de usuário e experiência. A forma como os humanos supervisionam, como depurar erros, como orientar a IA e como usar a linguagem natural para propor comandos avançados ainda estão à espera de respostas.

François Chollet, o mestre da aprendizagem profunda, tem uma visão cada vez mais aguçada – a engenharia de software não se trata de copiar e colar código, mas de desenvolver e operar modelos mentais de problemas e suas soluções. Devin ainda não atingiu esse nível.

Uma revolução na engenharia de software pode estar chegando. Pelo menos por enquanto, a IA não pode substituir completamente os humanos. Como o acesso era muito popular, o site oficial da Cognition AI ficou fora do ar por um tempo. Parece que a IA ainda é incapaz de criar páginas da web que não travem.

Ao mesmo tempo, a Cognition AI ainda está recrutando, procurando engenheiros de software e pesquisadores de aprendizado de máquina. Pode-se ver que, neste momento, excelentes programadores humanos são mais raros do que nunca e ainda podem fazer grandes coisas, contribuir para a IA e deixar mais de sua espécie para trás.

# Bem-vindo a seguir a conta pública oficial do WeChat de Aifaner: Aifaner (WeChat ID: ifanr).Mais conteúdo interessante será fornecido a você o mais rápido possível.

Ai Faner | Link original · Ver comentários · Sina Weibo