Por que escrever com ChatGPT realmente torna minha vida mais difícil

Lembro-me de quando o ChatGPT apareceu pela primeira vez, e a primeira coisa que todos começaram a dizer foi “Os escritores acabaram”. As pessoas começaram a especular sobre sites de notícias, blogs e praticamente todo o conteúdo escrito da Internet sendo gerado por IA – e embora essas previsões parecessem extremas para mim, também fiquei bastante impressionado com o texto que o GPT poderia produzir.

Naturalmente, tive que experimentar a nova ferramenta sofisticada, mas rapidamente descobri que os resultados não eram tão impressionantes quanto pareciam. Avancei mais de dois anos e, no que diz respeito à minha experiência e aos meus casos de uso, nada mudou: sempre que uso o ChatGPT para ajudar na minha escrita, tudo o que ele faz é me atrasar e me deixar frustrado.

Por que ChatGPT simplesmente não funciona para mim

ChatGPT pode gerar coisas realmente boas. Pode produzir uma linguagem natural, coerente e até espirituosa e interessante. Mas a maioria dos principais exemplos que você tende a ver vêm de instruções extremamente simples – o tipo de instruções “escreva um poema sobre fazer compras no Walmart, mas no estilo de William Shakespeare” que todo mundo estava fazendo em 2023.

Sinto muito, simplesmente não posso ser cínico em relação a uma tecnologia que pode realizar isso. pic.twitter.com/yjlY72eZ0m

-Thomas H. Ptacek (@tqbf) 2 de dezembro de 2022

Quando você pede algo assim, parte do que torna o resultado excelente é que ele é inesperado. Basicamente, você pediu para surpreendê-lo e, na maioria dos casos, terá sucesso.

Por outro lado, quando você está tentando usar o ChatGPT para trabalhos de redação antigos e chatos, a história é totalmente diferente. Em primeiro lugar, para peças como esta é inútil. Tudo o que estou escrevendo agora é sobre minhas próprias experiências e opiniões – a IA não pode escrever isso para mim. Algumas pessoas podem argumentar que isso poderia ajudá-lo a planejar, debater ou refinar argumentos – mas, de qualquer maneira, nunca quis ajuda com esse tipo de coisa.

O tipo de trabalho para o qual tentei usar o ChatGPT foram blogs de empresas. Você conhece o tipo – explicadores, instruções e postagens de recomendação cobrindo tópicos relacionados à empresa e seus produtos (com algumas autopromoções sutis incluídas também). Quando você escreve esse tipo de coisa, muitas vezes você recebe muitos requisitos: um guia de estilo para linguagem e gramática, palavras-chave para inserir, fontes para incluir, fontes para evitar e um esboço de conteúdo com títulos, estrutura e pontos-chave, todos pré-decididos.

Se eu quisesse obter alguma cópia utilizável, não poderia simplesmente alimentar o GPT com um prompt de uma linha e deixá-lo correr solto. Então tentei uma estrutura parecida com esta:

• Um aviso preliminar de “contexto” explicando o que eu estava escrevendo e que tipo de coisas eu iria pedir, junto com um parágrafo de exemplo para mostrar o estilo de linguagem que eu queria.
• Solicitações subsequentes com “esboços de conteúdo” que forneciam um ou dois títulos junto com marcadores sobre o que cobrir.

Eu nunca pediria muito de uma vez e como não confiava nele para adicionar estatísticas e fontes, deixaria tudo isso de fora com a intenção de fazer isso sozinho depois.

Mas por mais que eu tentasse dividir o trabalho em pequenos pedaços e dar instruções bastante claras, sempre me deparava com os mesmos problemas:

1. ChatGPT é péssimo em ouvir instruções.
2. Tem o péssimo hábito de levar as coisas longe demais.
3. Informações incorretas ou irrelevantes aparecem na cópia com bastante frequência.
4. Seu “estilo de escrita” torna-se repetitivo e clichê muito rapidamente.
5. Quando qualquer um dos problemas acima ocorre, é quase impossível fazer com que o LLM revise ou corrija sua saída com sucesso.

Deixe-me mostrar o que quero dizer.

1. É péssimo ouvir instruções

Ao tentar obter resultados muito específicos do ChatGPT, você deve fornecer instruções específicas. Infelizmente, parece que quanto mais coisas você pede, maior é a probabilidade de a GPT ignorar algumas delas. Meus prompts teriam títulos, marcadores de conteúdo, contagem de palavras, instruções de formatação, e o chatbot também teria que lembrar as instruções de estilo desde o início da sessão. Tentei muitas abordagens diferentes para simplificar as coisas, mas sempre senti que o ChatGPT simplesmente não conseguia lidar com tantas instruções.

Duas coisas específicas com as quais eu teria problemas frequentes eram a contagem de palavras e os marcadores. O LLM raramente me dava o número de palavras que eu pedia (geralmente me dava algo muito abaixo, em vez de muito acima), e nunca me ouvia quando eu dizia que queria ou não queria marcadores.

Às vezes, isso pode ser corrigido – digamos que eu quisesse 200 palavras com marcadores, mas consegui 300 palavras sem marcadores. É bastante rápido cortar algumas palavras e inserir alguns marcadores ali. Infelizmente, sempre pareceu que eu cometia os erros mais difíceis de corrigir.

Quando você pede 500 palavras sem marcadores e obtém 200 palavras com marcadores – você basicamente tem que fazer a maior parte do trabalho sozinho.

2. Tem o péssimo hábito de levar as coisas longe demais

Quando você diz ao ChatGPT que deseja algo específico, como uma linguagem amigável ou um ponto de vista de segunda pessoa, ele tende a se apegar a esses conceitos e enlouquecer com eles.

A linguagem amigável se transforma em linguagem de chat de texto completo com emoji, e a perspectiva de segunda pessoa de alguma forma se transforma em perguntas e referências excessivas para o leitor, para que ele possa usar o pronome “você” com a maior frequência possível.

Você também fica um pouco preso se quiser algo como exemplos ou citações. Se você simplesmente disser ao GPT que deseja “muito”, “bastante” ou “muitos” de alguma coisa, provavelmente isso lhe dará o dobro ou o triplo da quantia desejada. Se você fornecer um número específico, é provável que você o ignore completamente e forneça algo aleatório. Em outras palavras, você mal consegue controlar a saída.

3. Informações incorretas ou irrelevantes aparecem na cópia com bastante frequência

Todos nós sabemos que a IA “alucina” e erra os fatos em momentos aleatórios – acontece o suficiente para que você tenha que verificar cada coisa que ela diz, o que leva muito tempo e afeta quanto tempo você pode economizar usando-a.

Para combater isso, basicamente nunca pedi fatos ou números. Eu tentei algumas vezes logo no início, mas o processo de verificação de fatos é realmente um trabalho árduo e rapidamente parei de me preocupar.

O problema é que a GPT lançará imprecisões aleatórias em suas respostas, independentemente de você solicitar fatos e números ou não. Isso significa que você não pode simplesmente verificar a qualidade da leitura da cópia ou se você está satisfeito com os pontos que ela está tentando apresentar – você deve verificar e considerar a validade de tudo o que ela diz. É uma chatice.

E já que estou falando aqui de erros e alucinações, também posso mencionar o “pior cenário”. Às vezes, o LLM simplesmente sai dos trilhos e, embora isso não aconteça o tempo todo, quando acontece, você precisa jogar essa sessão no lixo e perder tempo colando suas instruções em um novo bate-papo e começando tudo de novo. Eu nunca vi o ChatGPT enlouquecer de uma forma particularmente engraçada, mas meu amigo ganhou esta joia uma vez:

4. Seu “estilo de escrita” se torna repetitivo e clichê muito rapidamente

A princípio, parece uma loucura o quão “humano” o ChatGPT pode soar. Mas à medida que você o usa cada vez mais, percebe que não soa apenas humano, soa como “o ser humano médio”.

Os conjuntos de dados da OpenAI incluem a maior parte da Internet – milhões de artigos da Internet, tópicos do Reddit e blogs pessoais. E lamento dizer que muito desse conteúdo é lixo total. Mas como o ChatGPT é treinado nisso, ele capta todos os maus hábitos mais comuns.

Então, ao gerar muito texto com ChatGPT, você começará a perceber que certas estruturas de frases e frases se repetem muito. Os dois piores culpados para mim foram estas duas estruturas de frases:

• “De A e B a C e D, blá, blá, blá.” (Exemplo: no mundo do TikTok, há lugar para todos – desde entusiastas do faça você mesmo e gurus da beleza até amantes de animais de estimação e educadores. )
• “Seja você A ou B, blá, blá, blá.” (Exemplo: se você está apenas começando ou deseja aprimorar seu canal, usar estratégias inteligentes para construir um envolvimento autêntico é a chave para se destacar. )

ChatGPT gosta tanto dessas duas estruturas de frases que eu tinha quase a garantia de obter três ou quatro delas em cada sessão. Esses dois exemplos vieram até do mesmo parágrafo de uma de suas respostas. E aquela frase “No mundo de…” no primeiro exemplo é outra maneira que realmente adora começar uma frase. Tudo isso é chato, clichê e ridiculamente usado em demasia (o que é, claro, o motivo pelo qual o ChatGPT acaba gerando tantos). Até tentei proibir expressamente certas frases e tipos de frases, iniciando cada prompt com esta pequena lista:

As pessoas dizem que hoje em dia é quase impossível distinguir um texto gerado por IA de um texto escrito por humanos – mas eu discordo. Se você mesmo tentou usar essas ferramentas de IA e experimentou todos os problemas e maus hábitos, conhecerá muitos sinais reveladores. Quando as pessoas misturam conteúdo de IA com material escrito por humanos e editam intensamente a maior parte da produção do ChatGPT, você pode ocultá-lo completamente. Mas o conteúdo que vem direto do modelo de linguagem e é publicado praticamente como está – você pode dizer. Você pode dizer facilmente.

5. É quase impossível fazer com que o LLM revise ou corrija seu resultado com sucesso

O verdadeiro problema com tudo isso é que, quando ocorre um problema, o ChatGPT raramente consegue resolvê-lo sozinho. Sempre que as coisas davam errado, eu tentava uma ou duas vezes explicar o problema e pedir revisões, mas simplesmente não funcionava.

Se eu pedisse a contagem correta de palavras, na maioria das vezes obteria a mesma contagem de palavras novamente. Se eu pedisse para eliminar os marcadores, ele diria “Claro!” e depois me dê mais marcadores. Se eu pedisse para ajustar o tom ou o estilo, seria difícil aplicar a mudança em todos os aspectos e eu acabaria com uma mistura estranha de ambos.

Talvez se você continuasse repromptando e regenerando as respostas do ChatGPT, eventualmente chegaria bem perto do que queria. O problema para mim é que sou escritor – e usar o ChatGPT me obriga a ocupar a função de editor.

Provavelmente isso não é um problema para todos – muitos escritores também fazem algumas edições como parte de seu trabalho, mas isso realmente me incomoda. Odeio editar o trabalho de outras pessoas e odeio editar a produção do GPT.

Quanto à frequência com que as coisas deram errado – quando cada sessão dura várias horas com mais de 30 solicitações, quase sempre você encontra um obstáculo em algum lugar.

O resultado: desisti

Tentei por alguns meses aprender como usar o ChatGPT em 2023 e voltei a ele após grandes atualizações nos dois anos seguintes – mas minha experiência nunca mudou. Tentei outros LLMs também, mas mesmo os modelos de “raciocínio” mais recentes que deixam escapar um monólogo interno antes de responder ainda apresentam os mesmos problemas de usabilidade.

Os modelos atuais de LLM simplesmente não aceleram o processo de escrita para mim – tudo o que fazem é me forçar a gastar tempo fazendo o que odeio, em vez de apenas dedicar tempo ao que gosto. Se você odeia escrever e nunca quer fazê-lo, o ChatGPT certamente pode ajudá-lo. Mas se escrever é um hobby para você ou o que você escolheu fazer para viver, isso provavelmente o deixará louco.

No final das contas, nunca publiquei nada que pudesse ser chamado de “gerado por IA”. Cada vez que eu tentava, como dizem, “integrar isso ao meu fluxo de trabalho”, acabava batendo a cabeça na parede, perdendo muito tempo e fechando tudo quando percebia que não havia conseguido nada e que meu prazo estava chegando.