Os modelos de IA são neutros, mas adquirirão viés quando treinados com dados tendenciosos
A questão do viés na inteligência artificial (IA) é um assunto extremamente controverso. Desde classificadores de imagem que rotulam inadequadamente o rosto das pessoas até a utilização de bots que discriminam mulheres durante processos seletivos de emprego, a IA parece herdar as piores práticas humanas ao tentar replicá-las automaticamente.
Leia também na IT Trends
O risco é que usaremos a IA para criar um exército de robôs racistas, sexistas e de boca suja que voltarão para nos assombrar. Esse é um dilema ético. Se a IA é inerentemente tendenciosa, não é perigoso confiar nela? Vamos acabar moldando um futuro pior?
Deixe-me esclarecer uma coisa primeiro: A IA é apenas uma máquina. Podemos antropomorfizá-la, mas continua sendo uma máquina. O processo não é diferente de quando brincamos com pedras no lago com nossos filhos e, de repente, uma pedra comum e sem graça se torna uma pedra de estimação fofa.
Mesmo quando brincamos com os nossos filhos, geralmente não esquecemos que uma pedra de estimação, por mais fofa que seja, ainda é apenas uma pedra. Deveríamos fazer o mesmo com a IA: por mais humana que seja a conversa ou a aparência, não devemos esquecer que ela ainda é apenas uma máquina.
Há algum tempo, por exemplo, trabalhei em um projeto de bot: um bot de professor. Como em todos os projetos de bot, uma questão importante foi o estilo de falar.
Existem muitos estilos possíveis de falar ou escrever. No caso de um bot, você pode querer que seja amigável, mas não excessivamente – educado e, às vezes, assertivo, dependendo da situação. Eu fui para dois estilos possíveis: educado e assertivo. Educado até o limite do poético . Assertivo para fazer fronteira com o indelicado. Ambos são um problema para a geração de textos livres.
Como parte desse projeto, há alguns meses implementei uma rede neural simples de deep learning com uma camada oculta de unidades de memória de longo prazo (LSTM) para gerar textos livres. A rede pegaria uma sequência de caracteres M como entrada e preveria o próximo caractere mais provável na camada de saída. Portanto, dada a sequência de caracteres na camada de entrada, a rede preveria “e” como o próximo caractere mais provável. Treinada em um sistema de frases gratuitas, a rede aprende a produzir palavras e até mesmo frases com um caractere de cada vez.
Eu não construí a rede de deep learning do zero, mas (seguindo a tendência atual de encontrar exemplos existentes na internet) procurei no KNIME Hub por soluções semelhantes para geração de textos livres. A rede seria treinada em um conjunto apropriado de textos livres. Durante a implantação, uma frase de gatilho com 100 caracteres iniciais seria fornecida, e a rede continuaria, por si só, a montar o seu próprio texto.
Imagine que um cliente ou usuário tenha expectativas irracionais, mas firmemente enraizadas e exige o impossível. Como devo responder? Como o bot deve responder? A primeira tarefa foi treinar a rede para ser assertiva. Onde posso encontrar um conjunto de linguagem firme e assertiva para treinar a minha rede?
Acabei treinando em um conjunto de textos de canções de rap. Imaginei que as músicas de rap pudessem conter todos os textos suficientemente assertivos necessários para a tarefa.
O que recebi foi uma rede de boca suja; tanto que, toda vez que apresento este estudo de caso, tenho que convidar todos os menores a sair da sala. Você pode pensar que eu criei um sistema de IA sexista, racista, desrespeitoso – isto é, um viés. Parece que sim.
Na tentativa de reeducar a minha rede mal comportada, criei um novo conjunto de treinamento que incluía três peças de teatro de Shakespeare: duas tragédias (“King Lear” e “Othello”) e uma comédia (“Muito Barulho por Nada”). Depois, treinei novamente o sistema.
Após a implantação, a rede começou a produzir textos semelhantes a Shakespeare, em vez de músicas de rap – uma melhoria definitiva em termos de limpeza de voz e polidez. Não há mais palavrões! Não há mais linguagem suja!
Agora, lembre-se de que a rede neural que gerou o texto parecido com Shakespeare foi a mesma que fez as músicas de rap. Exatamente a mesma. Apenas a treinei em um conjunto diferente de dados: canções de rap, por um lado, peças de teatro de Shakespeare, por outro. Como consequência, o texto livre produzido foi muito diferente em ambos os casos – assim como o viés.
Resumindo, criei um sistema de IA de boca suja, agressiva e tendenciosa e também um sistema de IA muito elegante, formal e quase poético – pelo menos no que diz respeito ao estilo de falar. A beleza disso é que ambos são baseados no mesmo modelo de IA – a única diferença entre as duas redes neurais são os dados de treinamento. O viés estava realmente nos dados e não nos modelos de IA.
De fato, um modelo de IA é apenas uma máquina, como uma pedra de estimação é, em última análise, apenas uma pedra. É uma máquina que ajusta seus parâmetros (aprende) com base nos dados do conjunto de treinamento. Dados sexistas no conjunto de treinamento produzem um modelo de IA sexista. Os dados racistas no conjunto de treinamento produzem um modelo de IA racista. Como os dados são criados por seres humanos, eles também são frequentemente tendenciosos. Assim, os sistemas de IA resultantes também serão enviesados. Se o objetivo é ter um modelo limpo, honesto e imparcial, os dados de treinamento devem ser limpos e eliminados de todos os vieses antes do treinamento.
