Um cientista genial faleceu e toda a comunidade de IA está se lembrando dele hoje
Já se passaram quase dois meses desde a última vez que o cientista pesquisador da Deepmind, Felix Hill, falou sobre a plataforma X.
Infelizmente, o cientista pesquisador faleceu em 5 de dezembro do ano passado, após uma longa batalha contra uma doença mental grave.
A notícia também foi confirmada por Douwe Kiela, professor adjunto da Universidade de Stanford e CEO da Contextual AI, na plataforma X.
Depois que as más notícias foram divulgadas, muitas pessoas no círculo de IA se lembraram desse amigo na área de comentários de Douwe Kiela.
Até Gary Marcus, que tinha diferenças acadêmicas com Felix, disse:
Embora às vezes discordemos a nível intelectual, lamento muito ouvir isto. Que ele descanse em paz.
Muitos cientistas pesquisadores, incluindo o CEO e cofundador da Udio, David Ding, o cientista pesquisador sênior do Google, Nataniel Ruiz, Meta e OpenAI, também postaram mensagens para expressar suas condolências.
Que o falecido descanse em paz. Minhas mais profundas condolências aos seus amigos e familiares.
Kyunghyun Cho, um conhecido pesquisador de IA e professor da Universidade de Nova York, conheceu Felix em Montreal no verão de 2014 e mais tarde postou uma postagem relembrando o passado. Naquela época, Kyunghyun era um pós-doutorado e Felix era um estudante visitante.
Eles se tornaram amigos por causa de uma discussão acadêmica sobre estruturas gramaticais.
Depois de realizarem trabalhos de pesquisa em conjunto, um dos resultados alcançados foi criar a tendência de “mesas enormes” nos artigos publicados em 2016. Esse estilo foi amplamente imitado pela comunidade acadêmica nos 3 a 5 anos seguintes.
Embora o homem tenha falecido, a luz das opiniões de Felix Hill viverá para sempre.
Até colegas que nunca o conheceram ficam impressionados com ele. Jim Fan, cientista pesquisador sênior da NVIDIA, também encaminhou hoje o blog de Felix Hill na plataforma X para homenagear seu amigo.
Este é o blog mais comovente que já li porque é tão verdadeiro e tão próximo do meu coração.
O autor não está mais entre nós. Não pude evitar de derramar lágrimas…
Nunca tive o prazer de conhecer Felix pessoalmente, mas adorei sua perspectiva de pesquisa e configurei um alerta do Google Acadêmico para cada um de seus novos artigos.
Seu trabalho na área de agentes e VLM teve um impacto profundo em minha pesquisa. Ele poderia ter sido um bom amigo. Eu realmente queria conhecê-lo, mas agora nunca tenho a chance.
Ele lidera a equipe de pesquisa de IA, mas não consegue derrotar seus demônios interiores
As informações públicas do Linkedin mostram que Felix Hill é um bom aluno com excelente desempenho acadêmico no sentido secular.
Ele se formou em matemática pela Universidade de Oxford e também atuou como capitão do time de badminton da Universidade de Oxford. O estágio de pós-graduação é na Universidade Nacional Autônoma do México, com especialização em ciências cognitivas, linguística e educação, com foco em áreas multidisciplinares (ciências cognitivas e linguística).
Esta experiência não só enriqueceu os seus horizontes internacionais, mas também ampliou os seus interesses académicos.
De 2011 a 2016, estudou linguística e linguística computacional na Universidade de Cambridge, período em que também atuou como capitão do time de golfe.
Depois de entrar no mercado de trabalho, o desenvolvimento da carreira de Felix foi tranquilo.
Certa vez, ele se dedicou à educação e atuou como professor de matemática por 14 meses, orientando alunos de 14 a 18 anos na preparação para exames e na inscrição na faculdade. Ao mesmo tempo, ele estava entusiasmado com o bem-estar público e apoiava organizações não governamentais de educação local. .
Depois de 2016, Felix trabalhou por muito tempo no Google Deepmind.
Antes de sua morte, ele foi o principal responsável por liderar uma equipe da Deepmind que pesquisava a interação entre a linguagem e a inteligência geral. Ao mesmo tempo, ele também começou a mudar seu foco para pesquisas científicas e tecnológicas de ponta, com foco em linguística, aprendizado de máquina e desenvolvimento de modelos de IA.
Os dados do Google Scholar mostram que seus artigos foram citados um total de 19.680 vezes, com um índice h de 42, dos quais o número de citações após 2020 chegou a 16.608 vezes, o que teve um amplo impacto em áreas afins.
Na plataforma X, este amigo escreveu em sua autoapresentação:
Tento realmente pensar no conteúdo de cada tweet, especialmente nas partes sobre futebol dos anos 90 e música dos anos 80. Minhas opiniões são inteiramente minhas e de forma alguma representam as dos outros.
No entanto, este cientista pesquisador de IA que alcançou grande sucesso aos olhos do mundo tem lutado contra doenças mentais graves. No blog do Félix, ele também registrou sua jornada mental na última etapa de sua vida:
Sua mãe morreu de doença de Alzheimer em abril de 2023, e durante o mesmo período ele foi hospitalizado por psicose aguda, possivelmente induzida por estresse. Isso se seguiu a um período de 12 meses de intensa ansiedade e depressão profunda.
Depois de receber compreensão e apoio do meu empregador, incluindo apoio terapêutico e cuidados espirituais, e começar a melhorar após um período de 6 meses de depressão com risco de vida, comecei a pensar e a registar as minhas observações e compreensão do stress e da ansiedade.
No entanto, o destino muitas vezes prega peças nas pessoas. No dia 5 de dezembro do ano passado, esse amigo finalmente faleceu prematuramente.
RASGAR 
Em anexo está a repostagem de Jim Fan do blog original de Felix Hill
A responsabilidade de 200 bilhões de peso
A pressão do trabalho moderno de IA
Por Felix Hill, outubro de 2024
Nos últimos dois anos, o campo da IA mudou irreversivelmente.
ChatGPT tem quase 200 milhões de usuários ativos mensais. Gemini teve quase 320 milhões de visitas em maio de 2024. Hoje, os entusiastas da IA podem até usar microondas de IA, escovas de dente de IA e até bolas de futebol de IA.
No entanto, para muitos de nós que trabalhamos com IA, esta onda de interesse popular tem sido uma bênção e um fardo. Na verdade, à medida que os salários aumentam, também aumentam os preços das acções e as avaliações do mercado. Mas, ao mesmo tempo, esta mudança também traz um tipo único de pressão.
Este blog é sobre as pressões causadas pela IA moderna. O seu público-alvo são aqueles que trabalham em IA (que, segundo estimativas conservadoras, representam cerca de 87% da população mundial), especialmente aqueles que trabalham em investigação em IA.
Em última análise, espero que, ao discutir os aspectos estressantes da pesquisa em IA, eu possa tornar a vida mais agradável para aqueles que têm a sorte de trabalhar nesta área. Porque, apesar do caos atual, esta é uma carreira maravilhosa e gratificante, que tem o potencial de responder a muitas das grandes questões da ciência, da filosofia e até da própria humanidade;
Não há escapatória
Há alguns meses, participei da festa de aniversário de 40 anos de um amigo. Somos amigos íntimos, então eu conhecia alguns convidados da festa, alguns muito bem. Mas também havia algumas pessoas que eu não conhecia.
Entre aqueles que não conhecia bem, notei um fenômeno estranho.
Embora eu não estivesse com boa saúde na época (mais sobre isso depois) e obviamente não quisesse participar ativamente da conversa, havia uma pequena fila de pessoas ao meu redor, só porque todos sabiam que eu trabalhava na DeepMind e muitas pessoas queriam falar comigo.
Essas conversas não eram sobre temas relaxantes como futebol ou música dos anos 80, mas sobre o assunto que eu mais queria evitar: IA. Embora me sinta lisonjeado com o interesse pelo meu trabalho, também me faz perceber o quanto mudou nos últimos dois anos. Banqueiros, advogados, médicos e consultores de gestão queriam que eu comentasse sobre o ChatGPT, embora poucos deles usassem diretamente esses LLMs em seu trabalho, todos estavam convencidos de que algo importante estava acontecendo com a IA e que precisavam ser compreendidos.
Como pesquisador, tenho certeza de que você se identifica com a sensação de não ser capaz de “desligar o interruptor” em situações sociais.
Mas as coisas pioraram. Mesmo na minha própria casa, não consegui escapar.
Parei de assistir ao noticiário por medo de provocar ansiedade. Mas mesmo quando assistimos futebol, VH1, Inspetor Montalbano ou aquela maravilhosa adaptação televisiva da Trilogia Napolitana, os anúncios estão repletos de referências à IA.
Durante esse período, muitas vezes pensei em fazer as malas, atravessar o continente e ingressar em uma comunidade religiosa isolada. Embora eu não ficaria surpreso que até mesmo o Vipassana Yoga possa agora estar infiltrado pela IA até certo ponto.
concorrência implícita
Várias grandes empresas parecem estar competindo para desenvolver os maiores e mais poderosos modelos de linguagem em larga escala, o que por si só cria uma pressão tremenda, independentemente da empresa para a qual você trabalha.
Nas pesquisas atuais sobre IA, às vezes parece que estamos envolvidos em uma guerra. De Adolf Hitler a Holland Schulz, sabemos que a participação na guerra pode ter consequências graves, incluindo doenças mentais, divórcio e suicídio.
É claro que isto não significa equiparar a participação na investigação em IA ao combate físico numa “guerra real”. Mas com base na minha própria experiência, as semelhanças entre os dois, embora rebuscadas, são reais.
Impactar os resultados financeiros da empresa
Normalmente, os investigadores que trabalham na indústria não estão habituados ao impacto direto e imediato que o seu trabalho tem nos resultados financeiros do seu empregador.
É claro que muitos pesquisadores sonham com essa oportunidade. Mas no passado isso geralmente acontecia apenas uma vez por década.
Hoje, os resultados da pesquisa básica sobre LLMs muitas vezes resultam apenas em flutuações sutis e de curto prazo no desempenho do modelo. No entanto, devido ao elevado interesse público no desempenho da LLM, estas flutuações poderão, por sua vez, levar a milhares de milhões de dólares em movimentos nos preços das acções.
Esta dinâmica é claramente muito estressante e não é algo que os pesquisadores de IA sejam treinados para lidar na pós-graduação, no pós-doutorado ou mesmo em seus empregos anteriores a 2022.
dinheiro, dinheiro, dinheiro
A maioria dos investigadores de IA, especialmente aqueles com mais de uma certa idade, não se dedicam à investigação para ganhar dinheiro. Ganhar muito dinheiro por um trabalho que você ama pode parecer um bom remédio, mas também pode desencadear intensos sentimentos de ansiedade. Esta ansiedade é particularmente evidente quando os factores externos que aumentam o rendimento estão fora do nosso controlo, ou quando estes factores diminuem o amor pelo trabalho.
Relacionado à IA ou não, há muitas evidências de que o acúmulo repentino de riqueza pode causar todo tipo de problemas. Basta olhar para atores ou cantores que, após anos de trabalho duro, finalmente se tornam famosos da noite para o dia. Vício, relacionamentos rompidos, amizades rompidas e até suicídio são algumas das consequências mais comuns. Essas questões me fazem sentir profundamente.
Os cientistas são inúteis
A escala, a simplicidade e a eficiência do LLM tornam difícil que a pesquisa científica se torne "relevante", ou seja, ajude diretamente a melhorar o desempenho do LLM.
Muitos pesquisadores importantes do LLM começaram a promover a "lição amarga" de Rich Sutton: há pouca necessidade de qualquer inovação além da escala.
Mesmo que inovações substanciais sejam teoricamente possíveis (e não há dúvida de que o são), alcançar estas inovações requer frequentemente formação repetida dos maiores LLMs sob diferentes condições. Isto é algo que mesmo as maiores empresas não podem pagar hoje. Para um cientista pesquisador “comum”, essa situação pode ser emocional e fisicamente desgastante.
Estas condições já são graves para os cientistas industriais que estão habituados a trabalhar em equipas pequenas (5 a 10 pessoas). Para doutores, pós-doutorandos e professores de AI/CS/ML na academia, essa pressão é sem dúvida mais intensa.
Publicar um artigo
Embora os investigadores no meio académico possam (e devam) continuar a publicar os conhecimentos que obtêm das experiências de LLM, está a tornar-se cada vez mais incerto para os cientistas da indústria se a publicação de artigos ainda é um resultado viável da investigação.
A publicação de artigos tem sido uma parte central do processo científico e um princípio importante da pesquisa em IA. A maioria dos pesquisadores de IA com quem converso, especialmente os cientistas, concordam que a publicação é parte integrante de nossas carreiras.
No entanto, pelo menos na indústria, a publicação de resultados de investigação como uma opção viável tornou-se cada vez mais incerta nos últimos dois anos. Mesmo alguns pequenos truques que podem melhorar ligeiramente o desempenho do LLM podem se tornar “armas” essenciais na guerra do LLM. Se estes “segredos” devem ser tornados públicos, e se isso beneficia as instituições que financiam a investigação, é sempre uma questão delicada.
Tudo isto significa que os investigadores muitas vezes têm pouco controlo sobre o destino das suas ideias. E essa situação, pelo menos para mim, pode causar muito estresse.
comece
É claro que uma possível fuga a estas preocupações é formular uma visão científica, angariar fundos e criar uma start-up. Na verdade, o atual aumento de startups de IA (grandes e pequenas) mostra que muitos cientistas já escolheram este caminho.
No entanto, tornar-se um fundador não garante que você estará livre de problemas relacionados ao estresse. Na verdade, esta estrada é conhecida pelos seus elevados níveis de stress. Mesmo em meio ao atual entusiasmo dos investidores, muitas startups de IA bem financiadas ainda estão fracassando. Pela minha própria experiência, ser fundador pode ser uma jornada particularmente solitária. Esta é certamente uma opção viável para os aspirantes a cientistas hoje em dia, mas não torna a investigação científica mais fácil ou menos stressante.
Por que escolhi escrever um blog sobre estresse?
Os últimos dois anos foram caóticos e loucos para o mundo da IA, e um período particularmente tumultuado para mim pessoalmente.
Em abril de 2023, minha mãe faleceu após uma longa batalha contra a doença de Alzheimer. Naquela época, eu estava internado em um hospital psiquiátrico devido a uma psicose aguda, e o estresse foi provavelmente um fator importante no desencadeamento de tudo isso. Nos 12 meses seguintes, eu estava teoricamente me recuperando, mas na realidade estava passando por um estado de extrema ansiedade e depressão profunda. Durante este período, tive muita sorte de ter empregadores que compreenderam a minha situação (e reconheceram o valor da minha contribuição para a empresa) e que me forneceram apoio terapêutico contínuo e cuidados éticos.
Depois de mais 6 meses de depressão com risco de vida, finalmente estou começando a me sentir melhor e recentemente me senti capacitado para escrever sobre minhas experiências. Percebi que estresse e ansiedade andam de mãos dadas; na verdade, podem ser essencialmente a mesma coisa; É claro que, como qualquer traço adaptativo, a ansiedade pode ser benéfica até certo ponto (por exemplo, pode aumentar a produtividade), mas quando a ansiedade se torna maligna, as consequências podem ser graves.
Foi refletindo sobre minhas experiências na área de IA nos últimos dois anos, enquanto tentava reaprender como ser um pesquisador de IA, que obtive os insights que compartilho neste blog. É claro que apenas compartilhar essas ideias não resolverá tudo, mas nos momentos mais sombrios, uma das únicas coisas que me deu esperança foi saber que não estava sozinho. Se você está com dor agora, confie em mim – você não está sozinho.
ansiedade social
Já discuti vários motivos pelos quais as pessoas que atualmente trabalham com IA podem se sentir estressadas ou ansiosas. Mas há outra forma de estresse que ainda não mencionei porque tive a sorte de nunca experimentá-la. Esse estresse é a ansiedade social.
Amigos descrevem aqueles com ansiedade social como achando as interações em grupo desafiadoras. No mundo moderno da IA, essas dificuldades são particularmente graves, uma vez que grandes equipas de projeto e a colaboração intercontinental se tornaram essenciais. O problema só é agravado pelas elevadas taxas de rotatividade na indústria actual, uma vez que as equipas estabelecidas (muitas vezes vistas como uma “rede de segurança social”) podem ser destruídas da noite para o dia. A rotatividade frequente de pessoal também pode levar a problemas de confiança, uma vez que aliados outrora confiáveis podem juntar-se a equipas de investigação “hostis”.
A boa notícia é que, como todos os sinais de ansiedade ou estresse que discuti anteriormente, a ansiedade social pode ser superada. O processo de superação começa com o cultivo de redes de apoio naturais, como contar com a família e amigos “não-IA”. Mas um segundo passo crítico é que todos nós que trabalhamos com IA comecemos e continuemos a ter conversas honestas sobre o estresse.
Então, por favor, compartilhe suas experiências por meio de tweets ou comentários. Vamos trabalhar juntos para fazer da pesquisa em IA não apenas um lugar vibrante e intelectualmente desafiador, mas um campo de compaixão e bondade.
# Bem-vindo a seguir a conta pública oficial do WeChat do aifaner: aifaner (WeChat ID: ifanr). Mais conteúdo interessante será fornecido a você o mais rápido possível.