Considere as seguintes histórias. A primeira envolve a Amazon. Durante três anos, a empresa investiu na criação de um sistema automatizado que usaria inteligência artificial para analisar currículos e determinar quais seriam os melhores candidatos. O algoritmo “estudou” dez anos de práticas da área de recursos humanos da companhia, mas, quando começou a ser testado, apresentou um problema sério: ele favorecia os homens, em detrimento das mulheres. (O software foi aposentado.)
A segunda diz respeito a uma startup que queria vender um software de triagem de currículos semelhante. Quando um escritório de advocacia fez uma auditoria a pedido de um potencial cliente (os Estados Unidos têm leis severas contra a discriminação nas contratações), descobriu-se que os candidatos que teriam as melhores chances de se sobressair seriam homens chamados Jared que tivessem jogado lacrosse na escola (o lacrosse é comumente associado à elite branca americana).
“O preconceito é mais uma funcionalidade que um bug no funcionamento da inteligência artificial.” Este é um alerta repetido com frequência por Kate Crawford, co-fundadora do AI Now Institute, da Universidade de Nova York. Segundo a pesquisadora, o uso cada vez mais intenso da tecnologia digital para tudo – de contratações a sistemas de vigilância – pode significar a cristalização de preconceitos em caixas-pretas de software.
Por essa razão, instituições de ensino de tecnologia estão cada vez mais preocupadas em incluir matérias que não costumavam fazer parte do currículo típico de quem estuda ciência da computação. Para muitos especialistas, aspectos essenciais da formação humanista – especialmente a ética – devem ser parte integral da formação dos tecnologistas do futuro.
O tema ainda é novo, e nem mesmo universidades de renome como Stanford, no coração do Vale do Silício, estão imunes a tropeços. Em março deste ano, a instituição anunciou a criação de um novo instituto de inteligência artificial, afirmando que os “designers da IA devem representar amplamente a humanidade”. Mas, dos 121 professores que faziam parte da equipe do instituto, mais de cem pareciam ser brancos, e a maioria eram homens.
Apesar da gafe, a intenção do Instituto para Inteligência Artificial Centrada em Humanos (HAI, na sigla em inglês) é justamente dar voz a profissionais de vários campos no desenvolvimento dessa tecnologia chave. “Agora é nossa oportunidade de moldar o futuro, colocando humanistas e cientistas sociais lado a lado das pessoas que estão desenvolvendo IA”, disse o presidente da universidade, Marc Tessier-Lavigne, num comunicado de imprensa.
[relacionadas]
Lidar com o problema é urgente. Em meados deste ano, Joy Buolamwini, do Massachusetts Institute of Technology, prestou depoimento no Congresso americano para falar de suas pesquisas sobre os preconceitos embutidos em sistemas de reconhecimento facial, que costumam ser muito mais precisos para identificar brancos – um problema de implicações muito graves quando se considera o uso pela polícia.
Um estudo publicado em outubro na Science, uma das mais importantes revistas científicas do mundo, indicou que um software da empresa Optum usado por hospitais americanos efetivamente discriminava pacientes negros de brancos. Na grande maioria das vezes, esse tipo de comportamento da IA não é introduzido deliberadamente pelos responsáveis pelo software. No caso da Optum, por exemplo, o problema é que o sistema se baseava nos custos dos tratamentos recebidos pelos pacientes no passado para otimizar a alocação de recursos dos hospitais.
O problema é que, historicamente, a população negra americana foi tratada com preconceito pelos médicos. Do ponto de vista técnico, o sistema funcionava perfeitamente. As implicações disso é que deixaram de ser consideradas, e aí é que entra a importância de um entendimento mais completo do impacto da tecnologia na vida real das pessoas.
Existe uma outra questão, mais insidiosa e que não pode ser resolvida somente com mudança de currículos das universidades: os responsáveis pela criação dos grandes sistemas de inteligência artificial. Eles são homens em sua maioria, cresceram em áreas de alta renda, frequentaram boas escolas e não têm nenhum tipo de deficiência.
“É uma população bastante homogênea, então é difícil que pensem de forma mais ampla em relação às questões globais. Quando tivermos mais diversidade, os sistemas de IA terão menos preconceitos embutidos”, disse recentemente Olga Russakovsky, professora do departamento de ciência da computação da Universidade de Princeton e fundadora da AI4ALL, uma fundação cujo objetivo é ampliar a diversidade e a inclusão no setor de IA. Um dos trabalhos de Russakovsky é aumentar a diversidade no projeto ImageNet, um enorme banco de dados que deu início ao boom de tecnologias de reconhecimento facial.
No fim das contas, diz Joanna Bryson, da Universidade de Bath (Inglaterra), uma das vozes mais importantes sobre o tema da ética na IA, é preciso entender que os humanos são os responsáveis pelas falhas do software. E a melhor maneira de evitar esses erros é ter um olhar holístico – que leve em consideração o impacto individual e social do software – antes que seja escrita a primeira linha de código.
