Decrypt, 29/08/2023
Uma nova técnica combina os pontos fortes da cognição humana com a lógica algorítmica.
A gigante da tecnologia Microsoft revelou um novo método de treinamento de IA chamado “Algoritmo de Pensamentos” (AoT), projetado para tornar grandes modelos de linguagem como o ChatGPT mais eficientes e semelhantes aos humanos em suas habilidades de raciocínio.
A nova abordagem é o próximo passo natural para a empresa, que investiu pesadamente em IA, e particularmente na OpenAI – os criadores do DALL-E, ChatGPT e do poderoso modelo de linguagem GPT.
A Microsoft afirma que a técnica AoT é uma potencial virada de jogo, pois “orienta o modelo de linguagem por um caminho mais simplificado de resolução de problemas”, de acordo com um artigo de pesquisa publicado. Esta nova abordagem utiliza “aprendizado em contexto”, permitindo que o modelo explore diferentes soluções de maneira organizada e sistemática.
O resultado? Resolução de problemas mais rápida e com menos recursos.
“Nossa técnica supera os métodos anteriores de consulta única e está no mesmo nível de uma abordagem recente de múltiplas consultas, que emprega extensa pesquisa em (esquema de) árvore”, afirma o artigo. “Curiosamente, nossos resultados sugerem que instruir um modelo com um algoritmo pode levar a um desempenho que ultrapassa o próprio algoritmo.”
Os pesquisadores afirmam que o modelo ganha uma “intuição” aprimorada quando essa técnica otimiza seu processo de busca.
Um híbrido humano-algorítmico?
O método AoT aborda as limitações das técnicas atuais de aprendizagem no contexto, como a abordagem "Cadeia de Pensamento" (CoT). O CoT às vezes fornece etapas intermediárias incorretas, enquanto o AoT orienta o modelo usando exemplos algorítmicos para obter resultados mais confiáveis.
AoT se inspira em humanos e máquinas para melhorar o desempenho de um modelo generativo de IA. Embora os humanos sejam excelentes em cognição intuitiva, os algoritmos são conhecidos por sua exploração organizada e exaustiva. O artigo de pesquisa diz que o Algoritmo de Pensamentos busca “fundir essas facetas duplas para aumentar as capacidades de raciocínio dentro dos LLMs”.
A Microsoft afirma que esta técnica híbrida permite que o modelo supere as limitações da memória de trabalho humana, permitindo uma análise mais abrangente das ideias.
Ao contrário do raciocínio linear do CoT ou da técnica da "Árvore de Pensamentos" (ToT), o AoT permite a contemplação flexível de diferentes opções para subproblemas, mantendo a eficácia com o mínimo de estímulo. Ele também rivaliza com ferramentas externas de busca em árvore, equilibrando custos e cálculos de maneira eficiente.
 |
| Algoritmo de Pensamentos versus outros métodos de raciocínio de IA. Imagem: Microsoft |
No geral, o AoT representa uma mudança da aprendizagem supervisionada para a integração do próprio processo de pesquisa. Com refinamentos para acelerar a engenharia, os pesquisadores acreditam que esta abordagem pode permitir que modelos resolvam problemas complexos do mundo real de forma eficiente, ao mesmo tempo que reduzem seu impacto de carbono.
Dados seus investimentos substanciais em IA, a Microsoft parece bem posicionada para incorporar o AoT em sistemas avançados como o GPT-4. Embora desafiador, ensinar modelos linguísticos a “pensar” desta forma mais humana pode ser transformador.
Nenhum comentário:
Postar um comentário