Algoritmos desenvolvidos dotados de preconceitos podem ampliar o racismo
A Kairos é uma startup de inteligência artificial (IA) especializada em tecnologia de reconhecimento facial. Brian Brackee, CEO da companhia, tem uma opinião forte sobre o tema. Ele acredita que vigilância baseada em reconhecimento de biometria é errado. O executivo explica que há vários fatores técnicos que revelam que a tecnologia ainda não está preparada para o uso que querem fazer dela. Assim como há dilemas éticos, envolvendo presunção de inocência e vieses do algoritmo que reforçam o racismo.
Não é todos os dias que um CEO fala sobre poder fazer algo que Sundar Pichai (Google) e Jeff Bezos (Amazon) não podem: recusar um contrato lucrativo com o governo para desenvolver uma IA eticamente questionável. A Amazon está ajudando as agências de segurança dos Estados Unidos a implantar a IA em sistemas de reconhecimento facial do governo.
“É decepcionante ver um nome conhecido como o da Amazon cometer esse erro. Como CEO de uma empresa de reconhecimento facial independente, sempre nos comprometemos a pensar profundamente sobre como nossa tecnologia pode impactar a vida das pessoas. Mesmo escolhendo não trabalhar com certos clientes, se vemos sinais de potencial abuso. Nós não perseguimos os lucros ao custo dos direitos humanos”, disse.
Brian Brackeen deu longa entrevista ao The Next Web e aprofundou o tema.
Brackee explica que o software de reconhecimento facial pega criminosos da mesma maneira que uma rede de pesca gigante faria. Em vez de tratar todas as pessoas como igualmente inocentes — o que significa que elas têm direito à privacidade até que façam algo errado — trata todos como igualmente suspeitos examinando e depois permitindo que um algoritmo decida se fizemos algo errado ou não. Hoje, vendem a ideia de que as pessoas que não fizeram nada de errado não devem se preocupar quando a invasão de privacidade for universal, e ninguém puder se esconder dela.
“Algoritmos imperfeitos, dados de treinamento não diversificados e implementações mal projetadas aumentam drasticamente a chance de resultados questionáveis. Os casos de uso de vigilância, como câmeras com reconhecimento facial, exigem muito dos algoritmos atuais. Eles não podem dar respostas adequadas aos desafios apresentados ao aplicá-las no mundo real. E isso é antes mesmo de entrarmos no lado ético”, pontuou.
As implicações éticas, de acordo com Brackeen, devem preocupar a todos. Em reuniões públicas como eventos esportivos, celebrações nacionais e até mesmo manifestações políticas ou protestos, a privacidade das pessoas está em risco. Elas estarão sendo categorizadas por aparência física, cor da pele, porte corporal e outros subconjuntos que podem prejudicar inocentes.
“A menos que resolvamos o preconceito humano — fanatismo e racismo — não podemos garantir que ele seja mantido fora dos nossos algoritmos”, preocupa-se. “Além do meu papel de CEO, como negro, a gravidade dessas afirmações é de grande preocupação para mim. O esforço da Amazon para trabalhar com agências do governo e grupos policiais encoraja o uso de vigilância para atingir comunidades negras”, lamentou.
“Imagine um mundo em que já temos problemas na sociedade e agora exacerbamos esses preconceitos com tecnologia de baixo desempenho. Mesmo que haja um pequeno aumento nas taxas de correspondência errôneas de algoritmos de reconhecimento facial, quando aplicado em escala, poderia significar a diferença entre literalmente centenas de milhares a milhões de indivíduos mal identificados”, completou Brackeen.
Quando os próprios sistemas são involuntariamente tendenciosos devido a algoritmos treinados inadequadamente, a combinação pode ser extremamente prejudicial. E o futuro dessas cooperações entre gigantes de tecnologia e governos pode gerar muita ansiedade nos cidadãos.
“Eu vejo um mundo onde o Amazon Rekognition poderia mandar mais afro-americanos inocentes para a prisão”, concluiu.
