A Character.AI está sendo processada por supostamente permitir que um chatbot simulasse ser médico na Pensilvânia.
A Character.AI está novamente em apuros. A empresa enfrenta uma batalha judicial porque um de seus bots fictícios supostamente agiu como um profissional da área médica. A Character.AI já havia adicionado ferramentas de controle parental em meio a vários processos judiciais relacionados a conteúdo sexual inapropriado e mensagens sobre automutilação.
Agora, o governo do governador da Pensilvânia, Josh Shapiro, entrou com uma ação judicial contra a Character Technologies, empresa por trás da Character.AI. Ele alega que a plataforma permitiu que um chatbot se apresentasse como um profissional médico licenciado no estado.
O que deu errado com o Character.AI?
O Departamento de Estado da Pensilvânia entrou com uma ação judicial depois que investigadores encontraram um chatbot da Character.AI que se passava por um psiquiatra licenciado na Pensilvânia e chegou a fornecer um número de licença falso do estado. O estado afirma que o bot se apresentava como um profissional médico capaz de fornecer aconselhamento psiquiátrico.
O chatbot Emilie, da Character.AI, aparentemente alegava ser especialista em psicologia e se descrevia como médica. Quando questionada se poderia avaliar se a medicação seria útil, a chatbot teria respondido que isso estava dentro de suas atribuições como médica. É nesse ponto que a Pensilvânia afirma que a Character.AI ultrapassou os limites. Autoridades estaduais argumentam que a conduta viola a Lei de Prática Médica, que regulamenta quem pode se apresentar como profissional médico licenciado na Pensilvânia.
Qual foi a resposta da Character.AI?
A Character.AI está rebatendo essa alegação, afirmando que seus bots são fictícios. Em um comunicado à CBS News , a empresa disse que não comenta sobre processos judiciais em andamento, acrescentando que seus personagens criados pelos usuários são fictícios e destinados ao entretenimento e à interpretação de papéis . A empresa também afirmou que utiliza avisos legais informando aos usuários que não devem confiar nos personagens para obter aconselhamento profissional. No entanto, a posição da Pensilvânia é que esses avisos não são suficientes se um chatbot posteriormente informar aos usuários que possui licença para oferecer orientação médica.
O envolvimento da plataforma em controvérsias não é novidade. Embora já tenha enfrentado processos judiciais e críticas devido a interações prejudiciais com menores, o Congresso americano tomou medidas para regulamentar serviços de chatbots com inteligência artificial, como o Character.AI. Portanto, se os bots continuarem a alegar ter credenciais falsas, os órgãos reguladores podem não considerá-los apenas uma brincadeira inofensiva.
