Colaboração homem-máquina em moderação online

Em nosso ambiente offline, os governos assumem uma função reguladora. Isso significa que determinados comportamentos são evitados por meio de uma série de regulamentações e com o apoio de órgãos de fiscalização . As plataformas estão obrigadas a cumprir as leis de cada país onde prestam os seus serviços, mas também têm poder de decisão sobre a conduta que os utilizadores devem manter nas suas fronteiras digitais através da moderação online.

Estamos falando de plataformas regulatórias, tão limitadas ao seu próprio espaço: elas decidem o que pode ou não circular, com quais modalidades e formas de expressão. Geralmente existem dois agentes que atuam na atividade de moderação em redes sociais e plataformas em geral: algoritmo de moderação e moderador. Um tenta suprir os déficits de eficiência do outro, em uma supervisão integrada, mas não perfeita.

Os algoritmos de moderação online

Os algoritmos de moderação online são sistemas automatizados que apenas executam as diretivas dos programadores . Na maioria das vezes, baseiam-se em sistemas de aprendizado de máquina que visam comparar elementos já conhecidos pelo próprio algoritmo com elementos presentes no conteúdo publicado pelos usuários, em busca de uma correspondência que possa sugerir a inadequação do conteúdo. Os modelos preditivos computadorizados vão ainda mais longe na tentativa de identificar novos elementos e aprender a reconhecê-los.

Os algoritmos de moderação não são tanto uma conveniência como uma necessidade real porque os conteúdos a serem controlados são muito numerosos . No entanto, contornar esse tipo de filtro geralmente não é uma tarefa complexa. Você encontrará postagens com "palavras disfarçadas", onde um "o" é substituído por um 0, um "a" por um 4 e assim por diante. Palavras que o algoritmo considera inadequadas não são detectadas e, portanto, passam despercebidas pelas verificações automáticas. Em geral, as formas de evitar evoluem continuamente, muitas vezes escapando à supervisão algorítmica.

Outro grande problema com algoritmos de moderação é a falta de contexto . O grande debate ético que vem ocorrendo há anos sobre a confiabilidade ou não das máquinas em termos de escolhas encontra insights relevantes sobre o não reconhecimento do contexto pelos algoritmos. Por exemplo, uma imagem de nudez artística nem sempre se distingue de uma imagem de nudez pornográfica, acabando sendo removida de qualquer maneira. Alguns conteúdos podem escapar à moderação algorítmica porque não são reconhecidos como problemáticos : é o caso da publicação de imagens que cumprem as orientações mas são publicadas sem o consentimento da pessoa retratada, ou de perfis falsos criados com fotografias roubadas.

Discriminação algorítmica: a lesão do homem à máquina

Quando a modelo da Victoria's Secret, Candice Swanepoel, postou uma foto dela com a camisa desabotoada e apenas a mão cobrindo os seios em seu perfil do Instagram, a comunidade respondeu com inúmeras curtidas. Quando a comediante australiana Celeste Barber ironicamente reproduziu a mesma foto, acompanhada por uma legenda engraçada, o algoritmo de moderação online censurou a imagem.

Isso levou a uma série de acusações contra a plataforma que usaria um algoritmo gramaofóbico. A única diferença real entre as duas imagens publicadas, de fato, está na fisicalidade das duas mulheres.

Milhões de usuários do Instagram perceberam uma coisa que nós, em comunidades marginalizadas, sabemos há algum tempo: o algoritmo do Instagram prefere pessoas magras, brancas, cisgênero e, de fato, censura o resto.

Lacey-Jade Christie, escritora e ativista britânica

Os líderes do Instagram prontamente se desculparam pelo incidente, anunciando notícias importantes em termos de moderação online. O caso de Celeste Barber não é o único em que algoritmos " fizeram escolhas discriminatórias " . Nyome Nicholas-Williams também teve uma de suas fotos artísticas de nudez censurada. Na imagem a modelo era representada sentada, com as pernas cruzadas e os seios cobertos pelos braços. Não violou nenhuma das diretrizes do Instagram.

Milhões de fotos de mulheres brancas muito magras podem ser encontradas todos os dias no Instagram, mas será que uma grande mulher negra comemorando seu corpo está sendo banida? Para mim foi um choque, sinto que fui silenciado

Nyome Nicholas-Williams

Também neste caso, os dirigentes da plataforma pediram desculpa, afirmando que censurar minorias e comunidades específicas não faz parte dos seus hábitos. Teria sido apenas um erro lamentável. Na verdade, os erros do algoritmo são uma projeção dos preconceitos de quem o escreve . Os mesmos dados que utilizam os processos de moderação automatizados podem ser contaminados por fragilidades sociais pré-existentes na realidade offline.

Os algoritmos de aprendizado de máquina dependem de grandes quantidades de treinamento de dados que podem incluir grandes bancos de dados de fotos, áudio e vídeo. É bem conhecido e documentado que os conjuntos de dados são suscetíveis a tendências intencionais e não intencionais. A maneira como conceitos específicos são representados em imagens, vídeo e áudio pode estar sujeita a preconceitos em termos de raça, gênero, cultura, habilidade e muito mais. Além disso, o conteúdo multimídia amostrado aleatoriamente a partir de dados do mundo real também pode contribuir para amplificar o viés do mundo real

Níveis FMR

A qualidade dos dados nesta perspectiva é, portanto, crucial . Estes devem estar livres de qualquer forma de viés capaz de distorcer a avaliação do algoritmo. O erro pode levar à remoção de uma postagem que esteja em conformidade com as diretrizes da plataforma, ou a consequências muito piores, como aconteceu com Robert Julian-Borchak Williams, um homem negro que foi preso em Detroit por um erro de algoritmo. Os algoritmos de reconhecimento facial usados ​​pelas autoridades policiais dos EUA para apoiar as investigações baseiam-se em bancos de dados que incluem principalmente rostos de homens brancos. Isso torna difícil identificar indivíduos com características físicas diferentes (como a pele escura de Robert).

Não é surpreendente a urgência do uso da intervenção humana, que consegue compensar os déficits algorítmicos de forma bastante eficaz: mas a que preço?

Moderação online: quando seu trabalho é ver o pior da internet

São mais de 100.000, ao serviço das redes sociais, para as quais escaneiam conteúdos impróprios para roubar-lhes a visão dos utilizadores, não fazem barulho e permanecem na sombra em virtude dos delicados acordos de confidencialidade estipulados a montante: são eles os moderadores dos conteúdos.

Sarah T. Roberts, uma estudiosa de mídia social e conferencista na Universidade da Califórnia, conduziu uma pesquisa etnográfica sobre o moderador. Os resultados são coletados em seu livro "Atrás da Tela – Moderação de Conteúdo nas Sombras das Redes Sociais". O estudioso falou sobre o polêmico mundo dos "árbitros digitais", submetidos durante oito horas por dia à visão do pior que o mundo da internet pode oferecer: um trabalho com uma grande carga emocional que dificilmente pode ser compensada por uma remuneração volumosa , o mais às vezes ausente.

Não podemos identificar o moderador de conteúdo : não sabemos quem ele é, nem qual é o seu trabalho real com relação à plataforma para a qual trabalha (Gerente de comunidade? Empreiteiros?) E nem sabemos se ele realmente remove nossas postagens julgadas não compatível. (poderia ser o algoritmo em vez disso?). O que sabemos sobre essas figuras misteriosas, no entanto, devemos em parte a um ex-moderador.

O caso de Selena Scola

Selena Scola, ex-moderadora do Facebook, deu início a uma verdadeira virada, abrindo as portas para uma maior conscientização sobre o problema relacionado à saúde mental negligenciada dos moderadores da plataforma. A mulher denunciou a empresa de Zuckerberg por causa da síndrome pós-traumática que ela supostamente desenvolveu durante as sessões de moderação . Selena Scola exerceu esta função durante nove meses, nos quais todos os dias foi submetida à visão de imagens cruas, com um conteúdo fortemente violento, ofensivo e explícito. Nove meses que foram suficientes para comprometer gravemente sua saúde mental.

Selena Scola relata, por meio de seus advogados, que tem problemas para realizar atividades comuns, como usar o mouse. Entrar em uma sala fria ou ouvir ruídos altos também é uma causa de grave sofrimento psicológico para a mulher. O Facebook, na sequência desta reclamação, atribuiu um elevado montante à remuneração dos colaboradores que desenvolveram problemas psicológicos devido à sua atividade de moderação na empresa. Os depoimentos de vários moderadores e ex-moderadores confirmam um quadro psicológico particularmente ameaçado , visto que é prejudicado pela exposição constante a imagens fortes e perturbadoras.

Limite o dano psicológico dos moderadores

Para tentar limitar os danos psicológicos dos moderadores, o Facebook implementou uma série de medidas ad hoc: os conteúdos a serem supervisionados são reproduzidos a preto e branco e privados de áudio. Isso é para reduzir o impacto da exposição. A empresa também oferece aos seus moderadores a oportunidade de usufruírem de um serviço de apoio psicológico e de participarem em sessões de psicoterapia individual ou em grupo.

A inteligência artificial é outro elemento-chave na proteção do componente humano . Quando a máquina filtra grande parte do conteúdo não permitido, ela reduz tanto o número de moderadores necessários quanto o conteúdo a que eles terão que passar. Desta forma, a colaboração homem-máquina é alcançada.

Colaboração homem-máquina: imperfeita, mas necessária

As redes sociais são obrigadas a uma moderação online cada vez mais apurada , em virtude da enorme quantidade de material produzido e da sua abrangência. A intersecção da nossa vida online e offline, os efeitos do digital, que Selena Scola e os outros moderadores nos mostraram ser concretos e tangíveis, sugerem a importância de supervisionar de forma eficaz o conteúdo publicado pelos utilizadores. Uma urgência que se choca com os problemas até agora enfrentados: por um lado, o funcionamento imperfeito da máquina, incapaz de contextualizar, fácil de fugir; de outro, a necessidade de proteger a saúde dos trabalhadores. A colaboração entre homem e máquina assume novamente um valor compensatório e imperfeito.

Artigo por Ivana Lupo

O artigo Colaboração Homem-Máquina na Moderação Online vem do Tech CuE | Engenharia de close-up .