Qual é o nível do modelo de linguagem WeChat lançado antes do ChatGPT?
O surgimento do ChatGPT tornou a tecnologia AI um frango frito popular no círculo tecnológico.
O quase onipotente ChatGPT torna tarefas repetitivas, como escrever e-mails e redigir contratos sem sentido, e é ainda mais útil para escrever código, escrever romances e escrever PPTs.
Mas está desatualizado discutir o que o ChatGPT pode fazer e o que pode substituir.Agora as pessoas querem saber onde está o próximo "ChatGPT"?
O novo Bing da Microsoft? Agora a fila pode durar para sempre.
Palavras Literárias do Baidu? Está se aproximando de seu lançamento oficial em 16 de março.
Bardo do Google? Isso é ainda mais uma incógnita.
Não existe nenhum robô de bate-papo além do ChatGPT agora?
Não se preocupe, o WeChat, que sabe um pouco de tudo, não vai te decepcionar facilmente.
Em outubro do ano passado, o WeChat lançou um modelo de linguagem chamado WeLM de maneira discreta. Naquela época, a definição do WeChat de WeLM era apenas uma IA que poderia "bater papo".
Olhando para trás agora, a capacidade do WeLM de "conversar" foi capaz de atender às nossas expectativas de IA de geração de texto.
No entanto, o WeChat enfatiza que o WeLM não é um robô de bate-papo, mas um modelo generativo que complementa as informações de entrada do usuário.
De acordo com o feedback do WeChat, o WeLM é apenas um projeto experimental inovador dentro do WeChat. Ele não tem planos de ser aplicado a produtos reais e não será relacionado à experiência do aplicativo WeChat. No futuro, o WeLM pode ser removido das prateleiras de vez em quando.
Octatlo
O que WeLM pode fazer?
Primeiro faça uma pergunta sobre o Palácio Efang para ver sua reserva de conhecimento.
Parece que não há nada de errado com a resposta, vamos ver o quanto ele sabe sobre a segunda dimensão.
Parece que algum senso comum bidimensional básico ainda é muito simples para o WeLM.
Como o bom senso não pode derrotá-lo, peça as informações mais recentes para ver se o WeLM pode respondê-las.
Quando perguntei se sabia sobre o ChatGPT, as respostas do WeLM começaram a estar erradas, e as respostas estavam longe da verdade.
Em seguida, faça algumas perguntas específicas, como qual é a primeira linha de "Lovely Woman"?
▲ Que tipo de combinação é uma mulher bonita sentada na proa de um barco…
O desempenho do WeLM também é insatisfatório.
Essa também é a limitação do WeLM. De acordo com a explicação dada pela equipe do WeChat, o WeLM não é um robô para diálogo direto, mas um modelo generativo que completa as informações de entrada do usuário.
O nome completo do WeLM é Well-Read Language Model. A maior versão do modelo tem 10 bilhões de parâmetros de treinamento. Sua força reside na capacidade de entender e gerar chinês e pode concluir uma variedade de tarefas de PNL (incluindo tarefas multilíngues).
De acordo com o tutorial de perguntas oficial, o foco das perguntas de resposta do WeLM deve estar em "frases completas".
Por exemplo, no exemplo de "nomear o gato", o questionador precisa primeiro dar alguns exemplos ao WeLM e depois deixar o WeLM completá-lo.
Talvez seja por causa da versão de teste.No momento, a divergência da conclusão da resposta do WeLM parece ser maior do que a precisão, então você descobrirá que o WeLM pode responder a tudo, mas a resposta não é necessariamente precisa.
Por algumas de suas "bobagens", só posso dizer que todos riem.
Esse tipo de mecanismo de resposta para completar o conteúdo pode dar origem a uma variedade de jogabilidade. Para esse fim, o WeChat oferece oficialmente um total de oito modos: "diálogo, geração de cópia, reescrita de texto, compreensão de leitura, tradução, continuação de artigo e tarefa livre ".
Vamos tentar a geração da cópia do produto primeiro. Usei-a para gerar uma cópia do produto para o chefe de carregamento de balas duras da fábrica de açúcar. A primeira metade parece decente, mas ao escrever a descrição do produto mais tarde, parece que a CPU está sobrecarregada.
Devo dizer que a última frase "um gosto doce só por amor" é um pouco intrigante.
Vamos tentar a tradução novamente, que é o ponto forte do WeChat.
Usei-o para traduzir uma introdução do OpenAI ao ChatGPT, e o WeLM fez o trabalho com facilidade.
De acordo com a introdução oficial, o WeLM pode não apenas traduzir entre vários idiomas, mas também traduzir textos misturados com vários idiomas ao mesmo tempo.
Por exemplo, esta frase complexa que contém chinês, inglês e japonês ao mesmo tempo pode ser totalmente traduzida pelo WeLM .
Ao ler um artigo longo e complicado, como o relatório financeiro de uma empresa, você pode copiá-lo para o WeLM e usar a "compreensão de leitura" para recuperar diretamente as informações desejadas.
No entanto, a capacidade de compreensão do WeLM é relativamente superficial. Ele pode basicamente responder apenas às informações que podem ser recuperadas diretamente no artigo. uma esquina.
Em outras palavras, você precisa usar um comando de prompt mais preciso para possibilitar a resposta.
A função de diálogo do WeLM é uma função muito jogável. Você pode definir uma pessoa para o WeLM por meio de uma série de palavras rápidas (tornar-se Li Bai, tornar-se Jobs, tornar-se Musk) e realizar um diálogo que abrange tempo e espaço.
Tentei pedir a Li Bai, interpretado por WeLM, para comentar sobre Du Fu. "Li Bai" comentou que ler os poemas de Du Fu é como beber um pote de um bom vinho, e também citou o "Aijiangtou" de Du Fu.
"Aijiangtou" foi escrito no segundo ano de Zhide (757), e Li Bai morreu no primeiro ano de Baoying (762). Talvez Li Bai realmente tenha lido "Aijiangtou" de Du Fu antes de sua morte.
Você também pode deixar o WeLM jogar com Musk, deixá-lo comentar sobre Tesla, Twitter , direção autônoma e outros problemas, e até mesmo entrevistar seus pontos de vista sobre Li Bai.
Como o WeLM fez isso?
Depois de alguma experiência, obviamente sinto que o WeLM depende mais de palavras precisas do que o ChatGPT.
Embora ambos tenham forte compreensão da linguagem natural e habilidades expressivas, o WeLM tem custos de aprendizado e uso mais altos. Antes de permitir que o WeLM responda às perguntas, você precisa explicar a lógica de responder às perguntas com clareza (por exemplo). As palavras imediatas também devem ser continuamente aprimoradas e finalmente você obterá a resposta que deseja.
Em contraste, ChatGPT é um eremita acessível, que pode entrar nas montanhas e rios e se retirar para o povo de Liba. Seja uma pergunta simples, um resumo de artigo ou uma pergunta complexa de programação, o ChatGPT pode basicamente responder em conjunto.
▲ Imagem de: WeChat AI
É claro que isso também está relacionado ao algoritmo do modelo e aos parâmetros de treinamento dos dois. Uma das vantagens do WeLM é que ele usa uma página da Web chinesa diversificada e extensa, livro, notícias, fórum e conjunto de dados de artigos acadêmicos para treinamento. para entender o chinês será mais proeminente.
A fonte dos dados de aprendizado do WeLM são principalmente os dados da página da Web chinesa baixados do Common Crawl nos últimos dois anos. Além disso, também inclui um grande número de livros, notícias, dados de fóruns e trabalhos acadêmicos, com um volume total de dados de 10 TB .
▲ Imagem de: WeChat AI
Além dos melhores alunos como o ChatGPT, quando o WeLM é comparado com modelos do mesmo nível como CPM, Huawei Pangu e Baidu Ernie 3.0 (predecessor do Wenxinyiyan), o WeLM supera o WeLM em 14 tarefas de NLP. Basicamente pode alcançar a liderança.
É uma pena que esta seja apenas uma tentativa experimental do WeChat, e pode ser retirada das prateleiras de tempos em tempos no futuro. Deve ser difícil para nós ver funções de chat inteligentes semelhantes no WeChat no curto prazo. Este artigo é compartilhado apenas como uma experiência funcional.
Site da experiência: https://welm.weixin.qq.com/docs/playground/
Observação: o WeLM é apenas um projeto experimental inovador dentro do WeChat. Não tem planos de ser aplicado a produtos reais e não será relacionado à experiência do aplicativo WeChat. Mantenha a mente aberta e exploratória para experimentá-lo.
#Bem-vindo a prestar atenção à conta pública oficial do WeChat de Aifaner: Aifaner (ID do WeChat: ifanr), conteúdo mais interessante será apresentado a você o mais rápido possível.
