Pesquisa mostra que grandes modelos de linguagem processam diferentes tipos de dados de forma semelhante ao sistema de integração do cérebro
Pesquisadores do MIT descobriram que grandes modelos de linguagem (LLMs) possuem uma forma de processamento semelhante ao cérebro humano. Segundo o estudo, publicado no MIT News, esses modelos utilizam um mecanismo centralizado para integrar diferentes tipos de dados, como textos, imagens, áudios e códigos de programação, antes de gerar respostas.
A pesquisa se baseia em um conceito da neurociência, que aponta a existência de um “hub semântico” no lobo temporal anterior do cérebro humano. Esse hub atua como um centro de integração de informações, conectando-se a áreas especializadas que processam diferentes tipos de dados sensoriais. De forma similar, os pesquisadores observaram que os LLMs convertem as informações recebidas para um formato independentemente do tipo de dado, permitindo que o modelo raciocine de maneira mais generalizada.
O estudo também revelou que, quando um LLM tem o inglês como língua dominante, ele tende a converter inputs de outras línguas para o inglês antes de processá-los. Isso se aplica não apenas a idiomas, mas também a informações em código, matemática e multimodalidade (como imagens e áudio).
Para testar essa hipótese, os cientistas alimentaram o modelo com frases idênticas escritas em diferentes idiomas e compararam as representações internas geradas. Os resultados mostraram que, independentemente do idioma de entrada, a estrutura interna do modelo apresentava padrões mais próximos do inglês. O mesmo ocorreu ao analisar dados de diferentes formatos, como expressões matemáticas ou trechos de código.
Leia mais: Positivo S+ mira em gestão de dados com nova solução de software e serviços especializados
“Ficamos surpresos ao perceber que, mesmo ao processar expressões matemáticas ou código, os modelos ainda apresentam traços da estrutura do idioma dominante”, afirmou Zhaofeng Wu, pesquisador do MIT e autor principal do estudo.
Os pesquisadores acreditam que essa abordagem torna o aprendizado mais eficiente, pois evita a duplicação de conhecimento entre idiomas e diferentes tipos de dados. No entanto, eles alertam que algumas informações culturais específicas podem não ser totalmente traduzíveis por esse modelo de processamento centralizado, o que pode exigir ajustes para manter aspectos únicos de cada língua e contexto.
Os resultados do estudo também podem ajudar na criação de modelos multilíngues mais precisos, reduzindo perdas de desempenho em línguas secundárias ao longo do treinamento. Além disso, a descoberta pode contribuir para o avanço da integração entre IA e neurociência, abrindo novas possibilidades para o desenvolvimento de modelos mais alinhados ao funcionamento cognitivo humano.
*Com informações do MIT News
Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!
A redação contempla textos de caráter informativo produzidos pela equipe de jornalistas do IT Forum.
