Pesquisadores da Hugging Face defendem que humanos devem seguir no comando, diante dos riscos crescentes de automação total
A nova geração de agentes de inteligência artificial (IA), capazes de agir fora das janelas de chat e navegar por múltiplos aplicativos para realizar tarefas complexas, está ganhando espaço rapidamente. Mas à medida que essas ferramentas se tornam mais autônomas, cresce também o alerta entre especialistas: delegar o controle total às máquinas pode ser perigoso demais.
Em um artigo publicado nesta segunda-feira (24) no MIT Technology Review, quatro pesquisadores da Hugging Face – Margaret Mitchell, Avijit Ghosh, Sasha Luccioni e Giada Pistilli – detalham os riscos dessa nova onda da IA. Segundo eles, quanto maior a autonomia dos sistemas, menor o controle humano e maior a chance de que ações indesejadas causem danos significativos.
Ao contrário dos chatbots tradicionais, agentes como o Claude, da Anthropic, ou o Manus, conseguem executar comandos diretamente no computador do usuário ou usar ferramentas online sem supervisão direta. Eles podem, por exemplo, marcar reuniões, fazer compras, redigir apresentações e até coordenar rotas de evacuação em emergências.
Leia também: Nvidia anuncia centro de pesquisa em computação quântica
Esses avanços trazem benefícios inegáveis, inclusive para pessoas com mobilidade reduzida ou baixa visão. No entanto, os autores alertam que a velocidade da inovação está ultrapassando a cautela necessária para garantir segurança e responsabilidade.
Boa parte dos agentes é construída com base em modelos de linguagem de larga escala (LLMs), conhecidos por sua imprevisibilidade e erros frequentes. Enquanto em interfaces de chat esses erros ficam restritos ao texto gerado, um agente com acesso a múltiplos sistemas pode cometer falhas muito mais graves: manipular arquivos, enviar e-mails indevidos, acessar dados privados ou realizar transações não autorizadas.
“A própria função que está sendo vendida — menos supervisão humana — é a principal vulnerabilidade”, afirmam os autores. Eles classificam os agentes em uma escala de autonomia, que vai de simples robôs de atendimento até sistemas capazes de escrever e executar códigos sem qualquer intervenção humana. Cada etapa nesse caminho representa uma redução da supervisão humana.
Com acesso simultâneo a fontes públicas e privadas, agentes de IA podem expor informações pessoais, espalhar dados incorretos e até prejudicar reputações, tudo isso de forma automática e difícil de rastrear. Os autores preveem que frases como “não fui eu, foi meu agente!” se tornarão comuns em tentativas de justificar falhas.
Além disso, a história oferece lições importantes: em 1980, um erro em sistemas automatizados quase levou a uma resposta nuclear dos EUA, só evitada pela intervenção humana. Para os pesquisadores, a analogia é clara — remover os humanos do processo decisório é perigoso demais.
Como alternativa, os autores defendem o desenvolvimento de agentes em código aberto e ambientes seguros, como o framework smolagents, criado pela Hugging Face. A proposta é oferecer transparência, controle e auditabilidade, permitindo que qualquer grupo independente possa verificar o comportamento dos agentes.
Eles criticam a tendência atual de criar sistemas cada vez mais opacos e proprietários, que dificultam a verificação de segurança e limitam a responsabilização. “A eficiência não pode ser o objetivo principal. O mais importante é promover o bem-estar humano”, concluem.
Para os autores, a IA deve permanecer como ferramenta e assistente — nunca como substituta do julgamento humano. Ainda que imperfeito, o discernimento humano é, segundo eles, o principal escudo contra os riscos éticos, sociais e técnicos da automação total.
Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!
A redação contempla textos de caráter informativo produzidos pela equipe de jornalistas do IT Forum.
