O que é preconceito de IA e como os desenvolvedores podem evitá-lo?

As capacidades de inteligência artificial estão se expandindo exponencialmente, com a IA agora sendo utilizada em setores da publicidade à pesquisa médica. O uso de IA em áreas mais sensíveis, como software de reconhecimento facial, algoritmos de contratação e prestação de serviços de saúde, precipitou o debate sobre preconceito e justiça.

Viés é uma faceta bem pesquisada da psicologia humana. A pesquisa expõe regularmente nossas preferências e preconceitos inconscientes, e agora vemos que a IA reflete alguns desses preconceitos em seus algoritmos.

Então, como a inteligência artificial se torna tendenciosa? E por que isso importa?

Como a IA se torna tendenciosa?

Para simplificar, neste artigo, vamos nos referir a algoritmos de aprendizado de máquina e de aprendizado profundo como algoritmos ou sistemas de IA.

Pesquisadores e desenvolvedores podem introduzir preconceitos em sistemas de IA de duas maneiras.

Em primeiro lugar, os preconceitos cognitivos dos pesquisadores podem ser incorporados em algoritmos de aprendizado de máquina acidentalmente. Vieses cognitivos são percepções humanas inconscientes que podem afetar o modo como as pessoas tomam decisões. Isso se torna um problema significativo quando os preconceitos dizem respeito a pessoas ou grupos de pessoas e podem prejudicar essas pessoas.

Esses vieses podem ser introduzidos diretamente, mas acidentalmente, ou os pesquisadores podem treinar a IA em conjuntos de dados que foram eles próprios afetados pelo viés. Por exemplo, uma IA de reconhecimento facial pode ser treinada usando um conjunto de dados que inclui apenas rostos de pele clara. Nesse caso, a IA terá um desempenho melhor ao lidar com rostos de pele clara do que morenos. Esta forma de viés de IA é conhecida como legado negativo.

Em segundo lugar, podem surgir vieses quando a IA é treinada em conjuntos de dados incompletos. Por exemplo, se um AI é treinado em um conjunto de dados que inclui apenas cientistas da computação, ele não representará toda a população. Isso leva a algoritmos que não fornecem previsões precisas.

Exemplos de viés de IA do mundo real

Houve vários exemplos recentes e bem relatados de viés de IA que ilustram o perigo de permitir que esses vieses se infiltrem.

Priorização de cuidados de saúde com base nos EUA

Em 2019, um algoritmo de aprendizado de máquina foi desenvolvido para ajudar hospitais e seguradoras a determinar quais pacientes se beneficiariam mais com determinados programas de saúde. Com base em um banco de dados de cerca de 200 milhões de pessoas, o algoritmo favoreceu pacientes brancos em vez de pacientes negros.

Determinou-se que isso se devia a uma suposição incorreta no algoritmo em relação aos custos de saúde variáveis ​​entre negros e brancos, e o viés acabou sendo reduzido em 80%.

COMPAS

O Perfil de Gerenciamento de Delinquente Correcional para Sanções Alternativas, ou COMPAS, era um algoritmo de IA projetado para prever se pessoas em particular reincidiriam. O algoritmo produziu o dobro de falsos positivos para criminosos negros em comparação com criminosos brancos. Nesse caso, tanto o conjunto de dados quanto o modelo apresentavam falhas, introduzindo forte viés.

Amazonas

O algoritmo de contratação que a Amazon usa para determinar a adequação dos candidatos foi considerado em 2015 para favorecer fortemente os homens em relação às mulheres. Isso porque o conjunto de dados continha quase exclusivamente homens e seus currículos, já que a maioria dos funcionários da Amazon são homens.

Como parar o preconceito de IA

A IA já está revolucionando a forma como trabalhamos em todos os setores . Ter sistemas tendenciosos controlando processos de tomada de decisão sensíveis é menos do que desejável. Na melhor das hipóteses, isso reduz a qualidade da pesquisa baseada em IA. Na pior das hipóteses, prejudica ativamente os grupos minoritários.

Existem exemplos de algoritmos de IA que já estão sendo usados ​​para auxiliar na tomada de decisão humana, reduzindo o impacto dos vieses cognitivos humanos. Por causa de como os algoritmos de aprendizado de máquina são treinados, eles podem ser mais precisos e menos tendenciosos do que humanos na mesma posição, resultando em uma tomada de decisão mais justa.

Mas, como mostramos, o oposto também é verdadeiro. Os riscos de permitir que os preconceitos humanos sejam incorporados e amplificados pela IA podem superar alguns dos possíveis benefícios.

No final das contas, a IA é tão boa quanto os dados com os quais é treinada . O desenvolvimento de algoritmos imparciais requer uma pré-análise extensa e completa dos conjuntos de dados, garantindo que os dados estejam livres de vieses implícitos. Isso é mais difícil do que parece, porque muitos de nossos preconceitos são inconscientes e muitas vezes difíceis de identificar.

Desafios na prevenção de preconceitos de IA

No desenvolvimento de sistemas de IA, cada etapa deve ser avaliada quanto ao seu potencial para incorporar viés ao algoritmo. Um dos principais fatores na prevenção do preconceito é garantir que a justiça, ao invés do preconceito, seja “embutida” no algoritmo.

Definindo Justiça

Justiça é um conceito relativamente difícil de definir. Na verdade, é um debate que nunca chegou a um consenso. Para tornar as coisas ainda mais difíceis, ao desenvolver sistemas de IA, o conceito de justiça deve ser definido matematicamente.

Por exemplo, em termos do algoritmo de contratação da Amazon, a justiça pareceria uma divisão perfeita de 50/50 de homens para mulheres? Ou uma proporção diferente?

Determinando a Função

A primeira etapa no desenvolvimento de IA é determinar exatamente o que ela vai atingir. Se usar o exemplo COMPAS, o algoritmo prevê a probabilidade de reincidência de criminosos. Em seguida, entradas de dados claras precisam ser determinadas para permitir que o algoritmo funcione. Isso pode exigir a definição de variáveis ​​importantes, como o número de crimes anteriores ou o tipo de crimes cometidos.

Definir essas variáveis ​​corretamente é uma etapa difícil, mas importante para garantir a justiça do algoritmo.

Fazendo o conjunto de dados

Como já cobrimos, uma das principais causas do viés de IA são dados incompletos, não representativos ou tendenciosos. Como no caso da IA ​​de reconhecimento facial, os dados de entrada precisam ser completamente verificados quanto a vieses, adequação e integridade antes do processo de aprendizado de máquina.

Escolhendo Atributos

Nos algoritmos, determinados atributos podem ser considerados ou não. Os atributos podem incluir gênero, raça ou educação – basicamente qualquer coisa que possa ser importante para a tarefa do algoritmo. Dependendo de quais atributos são escolhidos, a precisão preditiva e o viés do algoritmo podem ser severamente afetados. O problema é que é muito difícil medir o quão tendencioso é um algoritmo.

O viés de IA não veio para ficar

O viés de AI ocorre quando algoritmos fazem previsões tendenciosas ou imprecisas por causa de entradas tendenciosas. Ocorre quando dados tendenciosos ou incompletos são refletidos ou amplificados durante o desenvolvimento e treinamento do algoritmo.

A boa notícia é que, com a multiplicação do financiamento para pesquisas em IA, é provável que vejamos novos métodos para reduzir e até eliminar o viés de IA.