FACET: Meta introduz ferramenta para avaliação de vieses em modelos de visão computacional

A Meta, empresa por trás da plataforma Facebook, está lançando uma nova ferramenta para a avaliação de modelos de visão computacional. Com o acrônimo de “Avaliação de Justiça em Visão Computacional“, ou “FAirness in Computer Vision EvaluaTion”, a FACET promete oferecer aos pesquisadores e profissionais uma maneira de desvendar vieses ocultos e disparidades em sistemas de IA que analisam e interpretam imagens. No entanto, essa novidade não vem sem polêmicas, dadas as recentes controvérsias que envolvem a Meta em relação à responsabilidade da IA.

“Os modelos de visão computacional conhecem disparidades de desempenho em atributos como gênero e tom de pele. Isso significa que durante tarefas como classificação e detecção, o desempenho do modelo difere para determinadas classes com base na demografia das pessoas na imagem. Foi demonstrado que essas disparidades existem, mas até agora não houve uma abordagem unificada para medir essas diferenças para casos de uso comuns de modelos de visão computacional”. Foi com este argumento que a Meta anunciou o lançamento do FACET nesta quinta-feira (31).

Leia também: Falta de maturidade e profissionais qualificados barram adoção de IA nas empresas

O FACET é um conjunto de dados composto por 32.000 imagens contendo 50.000 pessoas rotuladas por analistas humanos. Ele aborda ocupações, atividades, atributos demográficos e físicos, permitindo a análise profunda de vieses contra essas classes. As informações das etiquetas foram agregadas a outras informações sobre pessoas, cabelos e vestuário retiradas do conjunto de dados Segment Anything 1 Billion, elaborado pela Meta para treinar algoritmos de visão computacional a isolar elementos em imagens.

“Para cada imagem no FACET, contratamos revisores especializados para anotar manualmente atributos relacionados a pessoas, como tom de pele percebido e tipo de cabelo, desenhar manualmente caixas delimitadoras e rotular classes refinadas relacionadas a pessoas, como disk jockey ou guitarrista”, escreveu a empresa.

IT Forum Series: IA nas empresas tem desafio de comunicação e capacitação

Essas imagens foram adquiridas de um fornecedor de imagens, embora não esteja claro se as pessoas retratadas nelas foram previamente informadas sobre o uso das imagens para esse propósito e quanto receberam, destacou publicação do TechCrunch, que questiona os salários pagos pelas empresas de anotação aos trabalhadores – geralmente de países em desenvolvimento.

Num documento técnico que detalha o desenvolvimento do FACET, a Meta declara que recrutou “especialistas treinados” de diversas partes do mundo, incluindo da América do Norte (EUA), América Latina (Colômbia), Oriente Médio (Egito), África (Quênia), Sudeste Asiático (Filipinas) e Ásia Oriental (Taiwan). A empresa diz que utilizou uma plataforma de anotação proprietária fornecida por um terceiro, remunerando os anotadores com um salário por hora ajustado de acordo com o país.

Limitações da ferramenta

O FACET foi aplicado em testagem ao algoritmo DINOv2, da própria Meta, revelando vieses, como a identificação estereotipada de gênero, como de imagens de mulheres como “enfermeiras”. A Meta reconheceu as limitações do FACET, incluindo a possível falta de representação de conceitos do mundo real e mudanças em profissões.

“A preparação do conjunto de dados de pré-treinamento do DINOv2 pode ter inadvertidamente replicado os vieses dos conjuntos de dados de referência selecionados para curadoria”, escreveu a Meta. “Planejamos abordar essas possíveis limitações em trabalhos futuros e acreditamos que a curadoria baseada em imagens também poderia ajudar a evitar a perpetuação de possíveis vieses decorrentes do uso de mecanismos de busca ou supervisão de texto”.

Além do conjunto de dados, a Meta lançou uma ferramenta exploratória baseada na web para o FACET, permitindo avaliações, testes e exploração dos modelos de visão computacional. É importante destacar que os usuários concordam em não treinar modelos com base no FACET, apenas avaliá-los.

*Com informações do TechCrunch

Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!