Inteligência artificial ChatGPT passa em exames universitários
O ChatGPT , o popular chatbot baseado em IA da OpenAi, realizou recentemente outro feito notável. De fato, ele passou em exames universitários, incluindo um famoso teste de medicina, obteve um mestrado e passou em exames de direito nos EUA . É o que emerge de alguns estudos publicados recentemente, um dos quais ainda não foi submetido à revisão por pares. No artigo a seguir examinaremos os resultados alcançados pelo modelo em exames médicos, analisando detalhadamente seu comportamento.
O boom da inteligência artificial e os problemas relacionados ao seu uso no setor médico
Já há algum tempo, os avanços nas redes neurais e no aprendizado profundo transformaram a maneira como abordamos uma ampla variedade de tarefas. Da indústria e manufatura aos produtos financeiros e de consumo, a inteligência artificial está mais presente do que nunca.
Seja marcando automaticamente objetos e usuários em fotografias ; traduzir textos quase em nível humano ou gerar imagens a partir de texto, sem problemas. Graças à capacidade de construir modelos de classificação altamente precisos, independentemente do tipo de dados de entrada, agora isso é possível.
Mas, embora tal impacto tenha ocorrido nos setores mencionados, as aplicações em cuidados clínicos permanecem limitadas. De fato, vários fatores, incluindo a falta de interoperabilidade entre sistemas de TI de saúde, contribuem para a escassez de dados estruturados e legíveis. O equipamento é, portanto, incapaz de desenvolver algoritmos de aprendizado profundo adequados.
Mesmo quando isso acontece, sua qualidade tende a variar amplamente, com muitos falhando em generalizar em contextos. Isso se deve principalmente à limitada reprodutibilidade técnica, estatística e conceitual. O desenvolvimento bem-sucedido de modelos clínicos de IA, portanto, requer tempo, recursos e, o mais importante, dados de treinamento altamente específicos do problema. Todos os elementos que estão em falta no mundo dos cuidados de saúde.
Modelo de Linguagem Grande (LLM)
No último período, o novo modelo de inteligência artificial ChatGPT chamou a atenção porque é capaz de realizar uma ampla gama de tarefas em linguagem natural. O ChatGPT é um modelo geral de Large Language Model (LLM) desenvolvido recentemente pela OpenAI, conforme mencionado na introdução.
Os LLMs são um novo tipo de algoritmo treinado para prever a probabilidade de uma determinada sequência de palavras com base no contexto das anteriores. Enquanto a classe mais antiga de modelos de IA são principalmente modelos de Deep Learning (DL), projetados para aprender e reconhecer padrões nos dados.
Portanto, tendo treinado os LLMs em quantidades suficientemente grandes de dados textuais, será possível gerar novas sequências de palavras nunca antes observadas pelo modelo . Mas serão palavras que representam sequências plausíveis baseadas na linguagem humana natural.
O ChatGPT é baseado no GPT3.5, um LLM treinado no modelo OpenAI 175B e em um grande corpo de dados textuais da Internet. O uso repetido da inteligência artificial ChatGPT tem mostrado resultados próximos ao raciocínio dedutivo.
O estudo realizado em testes de medicamentos
Os cientistas usaram o ChatGTP para raciocínio clínico, testando seu desempenho em questões do Exame Médico dos Estados Unidos (USMLE) . O USMLE é um programa de teste padronizado em três etapas, que cobre todos os tópicos da base de conhecimento dos médicos.
Em particular, o teste abrange desde ciências básicas até raciocínio clínico, desde gestão médica até bioética. A dificuldade e a complexidade das questões são padronizadas e reguladas, tornando-se um substrato de entrada ideal para testes de IA. O exame está bem estabelecido e mostrou pontuações brutas e propriedades psicométricas notavelmente estáveis na última década.
Os pesquisadores obtiveram 376 perguntas do exame disponíveis publicamente da amostra do exame de junho de 2022 no site oficial do USMLE. No entanto, certifique-se de que nenhuma das respostas, explicações ou conteúdos relacionados foram indexados no Google antes de 1º de janeiro de 2022. Esta data representa a última disponível para o conjunto de dados de treinamento de inteligência artificial ChatGPT.
Depois de executar vários testes, os resultados mostraram dados surpreendentes. O ChatGPT produziu respostas e explicações com 94,6% de concordância para todas as questões. A alta concordância geral foi mantida para todos os níveis de exame e formatos de entrada de perguntas . Esses resultados indicam que o ChatGPT exibe uma alta conformidade entre respostas e explicações, provavelmente refletindo a alta consistência interna de seu modelo probabilístico de linguagem.
A inteligência artificial substituirá nosso médico?
À medida que a IA se torna cada vez mais competente, ela logo se tornará onipresente, transformando a medicina clínica em todos os setores da saúde. O estudo da IA agora entrou na era dos ensaios clínicos randomizados, por exemplo.
LLMs como o ChatGPT estão atingindo um nível de maturidade que em breve afetará os cuidados clínicos em geral e sua capacidade de fornecer cuidados de saúde verdadeiramente personalizados, compassivos e escaláveis.
Portanto, é muito provável que a inteligência artificial não substitua nosso médico. Muito mais provavelmente, talvez seja um médico que use inteligência artificial para fazê-lo.
O artigo ChatGPT inteligência artificial passa em exames universitários foi escrito em: Tech CuE | Engenharia de Close-up .
