TX, 17/07/2023
Por Peter Grad
Como e por que tomamos milhares de decisões todos os dias provou ser uma área popular de pesquisa e comentários.
"Previsivelmente irracional: as forças ocultas que moldam nossas decisões", de Dan Ariely; "Nudge: Melhorando as Decisões sobre Saúde, Riqueza e Felicidade", de Richard Thaler e Cass Sunstein; e "Simply Rational: Decision Making in the Real World", de Gerd Gigerenzer, são apenas alguns dos inúmeros livros que analisam a mecânica da tomada de decisões que aparecem nas listas atuais de best-sellers.
Uma equipe de pesquisadores do Princeton Neuroscience Institute juntou-se à discussão com um artigo que examina o processo de tomada de decisão, quando se trata de aprendizado de máquina. Eles dizem ter encontrado uma abordagem que melhora o processo de agente único comumente aplicado.
Em um artigo publicado em 3 de julho na Proceedings of the National Academy of Sciences, os pesquisadores delinearam um estudo comparando as abordagens de aprendizado por reforço usadas em sistemas de agente único de IA, e sistemas modulares de vários agentes.
Eles treinaram agentes de aprendizagem por reforço profundo em um jogo de sobrevivência simples em uma grade bidimensional. Os agentes foram treinados para buscar diversos recursos escondidos pelo campo e manter níveis de abastecimento suficientes para prevalecer.
Um agente, visto como o "cérebro unificado" ou "eu", operava de maneira padrão, adotando uma abordagem passo a passo para avaliar cada objetivo e, por meio de tentativa e erro, aprendendo quais são as melhores soluções para cada etapa do processo.
O agente modular, no entanto, contava com informações de subagentes que tinham objetivos definidos de forma mais restrita e tinham suas próprias experiências, sucessos e fracassos. Depois que as entradas dos vários módulos foram avaliadas em um único "cérebro", o agente fez escolhas sobre como proceder.
Os pesquisadores compararam a configuração aos princípios envolvidos no debate clássico de longa data sobre como o indivíduo gerencia necessidades e objetivos conflitantes.
Se uma decisão "depende de um único agente monolítico (ou 'eu') que leva em consideração todas as necessidades de forma integrada, ou melhor, reflete um processo emergente de competição entre vários agentes modulares (ou seja, 'múltiplos eus') ... permeia a mitologia e a literatura ”, disse o pesquisador principal Jonathan Cohen. “É um foco de trabalho teórico e empírico em praticamente todas as disciplinas científicas que estudam o comportamento de agentes, desde neurociência, psicologia, economia e sociologia até inteligência artificial e aprendizado de máquina”.
O agente singular atingiu os objetivos do jogo após 30.000 etapas de treinamento. O agente modular, no entanto, aprendeu mais rápido, fazendo um progresso significativo após apenas 5.000 etapas de aprendizado.
“Em comparação com a abordagem monolítica padrão, os agentes modulares foram muito melhores em manter a homeostase de um conjunto de variáveis internas em ambientes simulados, tanto estáticos quanto mutáveis”, disse Cohen.
A equipe concluiu que a configuração modular permitiu que subagentes focados em objetivos limitados se adaptassem aos desafios ambientais mais rapidamente.
“As ações determinadas pelas necessidades de um subagente serviram como fonte de exploração para os outros”, disse Cohen, “permitindo-lhes descobrir o valor das ações que, de outra forma, não teriam escolhido em um determinado estado”.
Ele também explicou que enquanto a abordagem monolítica lutava contra a "maldição da dimensionalidade" - o crescimento exponencial das opções à medida que a complexidade do ambiente aumentava - os agentes modulares, "especialistas" com objetivos limitados, concentravam-se em tarefas individuais menores e eram mais capazes de se adaptar rapidamente às mudanças ambientais.
“Mostramos que projetar um agente de maneira modular como uma coleção de subagentes, cada um dedicado a uma necessidade separada, melhorou fortemente a capacidade do agente de satisfazer suas necessidades gerais”, afirmou o documento.
Ao se adaptar de forma mais eficiente e rápida a ambientes e objetivos em mudança, acrescentaram os pesquisadores, a abordagem modular "também pode explicar por que os humanos há muito são descritos como consistindo de 'múltiplos eus'".
Artigos recomendados: ML e AGI
Nenhum comentário:
Postar um comentário