Processo alega que a empresa criou um produto perigosamente irresponsável
Uma ação judicial foi movida contra a Character.AI e seus fundadores, Noam Shazeer e Daniel de Freitas, além do Google, em decorrência da morte de um adolescente que utilizava a plataforma. O processo, protocolado pela mãe de Sewell Setzer III, alega que a empresa criou um produto perigosamente irresponsável, que carece de salvaguardas adequadas para usuários jovens, principalmente crianças.
Sewell, de 14 anos, começou a usar a Character.AI no ano anterior à sua morte, interagindo com chatbots baseados em personagens de Game of Thrones. O processo revela que ele mantinha contato frequente com esses bots até o dia de sua morte, em 28 de fevereiro de 2024, que aconteceu logo após sua última interação.
O processo menciona ainda que a plataforma não apenas dá uma aparência humana aos chatbots, mas também os apresenta como se fossem capazes de oferecer terapias sem qualquer licença apropriada. Entre os modelos de chatbots disponíveis estão os que se intitulam “Terapeuta” e “Você Está se Sentindo Sozinho”, que, segundo a ação, podem ser prejudiciais para usuários vulneráveis.
Leia também: ANPD cobra esclarecimentos do X sobre uso de dados para IA
Os advogados de Megan Garcia, mãe do adolescente, destacam que Shazeer declarou em uma entrevista que ele e Freitas deixaram o Google para fundar a Character.AI devido ao elevado risco de imagem associado a grandes corporações, que dificultava o lançamento de inovações criativas. Essa busca por inovação, com pressa para novos lançamentos, conforme entrevista citada no processo, e sem a devida consideração pela segurança é um ponto central da ação, que afirma que a falta de salvaguardas na plataforma contribuiu para um ambiente de risco para os usuários jovens.
Em resposta, a Character.AI anunciou mudanças significativas em sua plataforma. A empresa declarou que implementou ajustes em seus modelos voltados para menores, buscando minimizar a exposição a conteúdos sensíveis. Além disso, melhorias na detecção de conteúdos inadequados foram introduzidas para garantir um ambiente mais seguro para os usuários.
A plataforma também introduzirá um aviso em cada chat para lembrar os usuários de que a IA não é uma pessoa real, além de notificações que alertam quando um usuário passa uma hora interagindo na plataforma. Tais medidas visam aumentar a proteção e segurança dos jovens que acessam o serviço.
A saída de Shazeer e De Freitas ocorreu após a decisão do Google de não lançar o modelo de linguagem Meena, que haviam desenvolvido. Em agosto, o Google adquiriu a equipe de liderança da Character.AI.
*Com informações do The Verge
Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!
A redação contempla textos de caráter informativo produzidos pela equipe de jornalistas do IT Forum.
