Dados aparentemente ÔÇÿseguros, como o código postal de alguém, também podem ser usados ÔÇïÔÇïpela IA para formar opiniões tendenciosas
Os seres humanos podem ser tendenciosos, mas isso não significa que a Inteligência Artificial tenha que ser. Os algoritmos aprendem como se comportar em função da qualidade e tipo de dados pelos quais são alimentados.
Se os dados tiverem características de viés subjacentes – que prevalecem mais do que você pode imaginar – o modelo de IA aprenderá a agir por meio deles.
Apesar das melhores intenções, os cientistas de dados podem permitir que esses preconceitos se infiltrem e se acumulem com o tempo – a menos, é claro, que estejam vigilantes para manterem seus modelos o mais justos possível.
Alguns tipos de dados têm um potencial maior para serem utilizados (inadvertidamente) para discriminar certos grupos – como informações sobre raça, sexo ou religião. Mas dados aparentemente ‘seguros’, como o código postal de alguém, também podem ser usados pela IA para formar opiniões tendenciosas.
Por exemplo, se um banco normalmente não aprova muitos empréstimos para pessoas num determinado bairro, o modelo poderia aprender a não comercializar empréstimos para outras pessoas que se encaixem nas características da região desse código postal – introduzindo assim o preconceito racial no modelo de IA por uma porta dos fundos.
Portanto, mesmo que a questão racial esteja fora da equação, a IA ainda poderia encontrar uma forma de discriminar sem que o banco percebesse o que estava acontecendo.
As empresas precisam examinar cuidadosamente os dados ingeridos pela IA. Se não o fizerem, o uso irresponsável da IA pode ser ampliado, criando um tratamento injusto para certas populações – como limitar empréstimos indevidamente, dificultar a emissão de apólices de seguro ou descontos em produtos para aqueles que realmente precisam deles. O que é eticamente errado, mas também implica num sério risco para as organizações que não são diligentes em prevenir o preconceito.
No ano passado, vários incidentes destacaram os riscos de preconceito não intencional e o efeito prejudicial que pode ter sobre uma marca e seus clientes, especialmente no clima atual, quando várias empresas estão lutando para se manterem saudáveis.
A discriminação tem um custo: perda de receita e de confiança entre clientes, funcionários e outras partes interessadas, multas regulatórias, danos à reputação da marca e revezes legais.
Por exemplo, o sistema criminal norte-americano depende de dezenas de algoritmos para determinar qual a propensão de um réu se tornar um reincidente. Em um caso, há vários anos, a ProPublica analisou a ferramenta COMPAS (Correctional Offender Management Profiling) do Northpointe. E descobriu-se que os réus afro-americanos eram muito mais propensos a serem classificados incorretamente como tendo um risco maior de se tornarem reincidentes, enquanto que os réus brancos eram considerados incorretamente como tendo um risco menor.
O problema era que o algoritmo se baseava em dados já existentes no sistema de justiça e que era inerentemente tendencioso contra os afro-americanos. Esse tipo de preconceito embutido é mais comum do que as pessoas imaginam. Em tempos de maior consciência da injustiça social, as organizações devem fazer um esforço conjunto para monitorar sua IA para garantir que seja justa.
O marketing para grupos específicos com características semelhantes não é necessariamente tendencioso. Por exemplo, enviar ofertas para pais de crianças pequenas, com promoções de fraldas, planos de poupança para universidades e seguro de vida é perfeitamente aceitável se a empresa estiver oferecendo algo de valor a esse grupo.
As organizações não devem desperdiçar investimentos de marketing em um grupo-alvo que não terá interesse ou razão para comprar seus produtos. Da mesma forma, direcionar-se aos idosos com ofertas de planos de saúde está adequado se a empresa promove algo relevante e útil. Isso não é discriminação é apenas marketing inteligente.
Mas a segmentação de grupos pode se tornar escorregadia. A responsabilidade recai sobre as organizações para que incorporarem a tecnologia de detecção de viés em todos os modelos de IA, especialmente em setores regulamentados, como serviços financeiros e seguros, onde as ramificações da não-conformidade podem ser graves.
A detecção de viés não deve ser feita apenas por trimestre ou mesmo mensalmente e sim continuamente, monitorando seus modelos de IA de autoaprendizagem, 24 horas por dia, 7 dias por semana, para sinalizar e eliminar proativamente o comportamento discriminatório.
Para evitar preconceitos embutidos, as empresas devem iniciar a construção de modelos com ‘fontes de dados limpas’. Identificadores de classe ou comportamentais, como nível de educação, pontuação de crédito, ocupação, status de emprego, idioma de origem, estado civil, número de seguidores, etc. também podem ser tendenciosos em certas situações. As organizações nem sempre identificam esses problemas sem o auxílio de tecnologia apropriada.
Avaliar os dados de treinamento de Inteligência Artificial e simular cenários do mundo real antes de implementar a IA ajudará a sinalizar possíveis vieses, antes que qualquer dano possa ser feito. O que se torna mais crítico com as tendências vigentes em machine learning, uma vez que algoritmos opacos potencialmente poderosos (aqueles que lutam para se explicar) podem facilmente ocultar vieses embutidos.
Outra armadilha a evitar é detectar o viés apenas no nível de um modelo preditivo e presumir que tudo funcionará. Só que isso não consegue detectar o preconceito na interação entre vários modelos (às vezes centenas), além das regras de negócios que compõem a estratégia da empresa para os clientes. O preconceito deve ser testado na decisão final que uma empresa toma em relação a um cliente, não apenas nas percepções subjacentes.
Embora as organizações precisem proteger sua marca e tratar seus clientes e prospects com respeito, a detecção de preconceitos não pode ser realizada em escala manual. Hoje existem tecnologias que auxiliam as empresas a resolver esse problema de forma mais precisa. Uma estratégia ativa para evitar preconceitos em IA é crítica, pois consumidores e mídia estão cada vez mais sensíveis ao problema e não muito tolerantes a falhas.
*Rob Walker é vice-presidente de Decision Management & Analytics da Pegasystems e Ph.D. em Inteligência Artificial pela Universidade Livre de Netherlands
