Novo conjunto de dados está disponível para pesquisadores usarem para testar visão computacional e sistemas de IA de áudio, além de testes de precisão
O Facebook criou um novo conjunto de dados de vídeo de código aberto que pode ajudar os pesquisadores a resolver falhas discriminatórias em sistemas de Inteligência Artificial. Os dados foram extraídos de um conjunto de vídeos de pessoas de idade e gênero que eles próprios forneciam, bem como de diferentes tons de pele, de acordo com publicação do site ZDNet.
O conjunto de dados, chamado de Conversas Casuais, compreende 45.186 vídeos de pouco mais de 3.000 participantes em um bate-papo sem script e tem uma distribuição uniforme de diferentes gêneros, faixas etárias e tons de pele.
Para evitar rótulos e evitar o máximo de erros possíveis, o Facebook pediu a atores que enviassem os vídeos fornecendo, eles próprios, rótulos de idade e gênero. A própria equipe do Facebook identificou diferentes tons de pele, com base na escala de Fitzpatrick, que inclui seis tipos diferentes de pele.
Os analistas também rotularam o nível de iluminação em cada vídeo para ajudar a medir como os modelos de IA tratam as pessoas com diferentes tons de pele em condições ambientais de pouca luz.
Conversas Casuais agora está disponível para os pesquisadores usarem para testar a visão computacional e sistemas de IA de áudio. No entanto, ele não está disponível para que possam desenvolver seus algoritmos, mas para avaliar o desempenho de um sistema treinado em diferentes categorias de pessoas.
O teste é essencial para um projeto de sistema de IA, no qual os pesquisadores medem seus modelos em relação a um conjunto de dados rotulado após o algoritmo ter sido treinado para verificar a precisão da previsão. Porém, se essa abordagem não é feita com um conjunto de dados diverso o suficiente, o modelo se baseará em um subgrupo específico, levando a falhas quando confrontado com diferentes tipos de dados.
Dois dos conjuntos de dados comuns usados para modelos de análise facial, hoje em dia, IJB-A e Adience, eram predominantemente compostos por indivíduos de pele mais clara (respectivamente 79,6% e 86,2%). Em parte, diz o site, é por isso que os últimos anos estão repletos de exemplos de algoritmos que tomam decisões tendenciosas contra certos grupos de pessoas.
Um estudo do MIT, que analisou os produtos de classificação de gênero oferecidos pela IBM, Microsoft e Face++, descobriu que todos os classificadores tiveram melhor desempenho em rostos masculinos do que femininos, e que melhores resultados também foram obtidos com indivíduos de pele mais clara.
A publicação destaca ainda que onde alguns dos classificadores quase não cometeram erros ao identificar rostos masculinos mais claros, a taxa de erro para rostos femininos mais escuros subiu para quase 35%, de acordo com as descobertas dos pesquisadores do MIT – por isso, a importância de os algoritmos serem testados sob diferentes categorias.
“Nosso novo conjunto de dados de Conversas Casuais deve ser usado como uma ferramenta complementar para medir a imparcialidade da visão computacional e dos modelos de áudio, além de testes de precisão, para as comunidades representadas no conjunto de dados”, disse a equipe de IA do Facebook.
Além de distribuir uniformemente o conjunto de dados entre os quatro subgrupos, a equipe também garantiu que as interseções dentro das categorias fossem uniformes. Isso significa que, mesmo que um sistema de IA tenha um desempenho igualmente bom em todas as faixas etárias, é possível detectar se o modelo apresenta desempenho inferior para mulheres mais velhas com pele mais escura em um ambiente de pouca luz, exemplifica a publicação do ZDNet.
O conjunto de dados já está disponível para uso da comunidade de código aberto. No entanto, o Facebook alerta que o Conversas Casuais apresenta limitações de gênero, uma vez que as únicas propostas de rótulos foram “feminino”, “masculino” e “outro”, deixando de representar pessoas não binárias, por exemplo.
“Ao longo do próximo ano, vamos explorar caminhos para expandir este conjunto de dados para ser ainda mais inclusivo, com representações que incluem uma gama mais ampla de identidades de gênero, idades, localizações geográficas, atividades e outras características”, disse a empresa.
A empresa disse que o Casual Conversations está disponível para todas as suas equipes internas e que está “incentivando” a equipe a usar o conjunto de dados para avaliação, enquanto a equipe de IA trabalha na expansão da ferramenta para representar grupos mais diversos de pessoas, diz o site.
O Facebook usou o novo conjunto de dados para testar o desempenho dos cinco algoritmos que venceram o Desafio de Detecção Deefake da empresa, no ano passado, que foram desenvolvidos para detectar mídia adulterada circulando on-line, focada especificamente em tons de pele. O vencedor do terceiro lugar foi, na verdade, o que apresentou o modelo com previsões mais equilibradas em todos os subgrupos.
