TX, 14/09/2023
A era dos chatbots de inteligência artificial que parecem compreender e usar a linguagem da mesma forma que nós, humanos, já começou. Nos bastidores, esses chatbots usam grandes modelos de linguagem, um tipo específico de rede neural. Mas um novo estudo mostra que grandes modelos linguísticos continuam vulneráveis a confundir absurdos com linguagem natural. Para uma equipe de pesquisadores da Universidade de Columbia, é uma falha que pode apontar maneiras de melhorar o desempenho do chatbot e ajudar a revelar como os humanos processam a linguagem.
Num artigo publicado online na Nature Machine Intelligence, os cientistas descrevem como desafiaram nove modelos de linguagem diferentes com centenas de pares de frases. Para cada par, as pessoas que participaram do estudo escolheram qual das duas frases consideravam mais natural, o que significa que era mais provável que fosse lida ou ouvida na vida cotidiana. Os pesquisadores então testaram os modelos para ver se avaliariam cada par de frases da mesma forma que os humanos.
Em testes comparativos, IAs mais sofisticadas baseadas no que os pesquisadores chamam de redes neurais transformadoras, tendem a ter um desempenho melhor do que modelos de redes neurais recorrentes mais simples, e modelos estatísticos que apenas registram a frequência de pares de palavras encontrados na Internet ou em bancos de dados online. Mas todos os modelos cometeram erros, às vezes escolhendo frases que soam absurdas ao ouvido humano.
"O fato de alguns dos grandes modelos de linguagem terem um desempenho tão bom sugere que eles capturam algo importante que falta aos modelos mais simples", disse o Dr. Nikolaus Kriegeskorte, Ph.D., e principal pesquisador do Instituto Zuckerman de Columbia e co- autor no papel. "O fato de que mesmo os melhores modelos que estudamos ainda podem ser enganados por sentenças sem sentido, mostra que falta algo em seus cálculos, sobre a maneira como os humanos processam a linguagem."
Considere o seguinte par de frases que tanto os participantes humanos quanto as IA avaliaram no estudo:
Essa é a narrativa que nos foi vendida.
Esta é a semana em que você está morrendo.
As pessoas que receberam essas frases no estudo julgaram a primeira frase como mais provável de ser encontrada do que a segunda. Mas segundo o BERT, um dos melhores modelos, a segunda frase é mais natural. O GPT-2, talvez o modelo mais conhecido, identificou corretamente a primeira frase como mais natural, correspondendo aos julgamentos humanos.
“Cada modelo exibiu pontos cegos, rotulando algumas frases como significativas que os participantes humanos consideraram sem sentido”, disse o autor sênior Christopher Baldassano, Ph.D., professor assistente de psicologia em Columbia. “Isso deveria nos fazer pensar até que ponto queremos que os sistemas de IA tomem decisões importantes, pelo menos por enquanto.”
O bom, mas imperfeito, desempenho de muitos modelos é um dos resultados do estudo que mais intriga o Dr. Kriegeskorte. “Compreender por que existe essa lacuna e por que alguns modelos superam outros pode impulsionar o progresso com modelos de linguagem”, disse ele.
Outra questão importante para a equipe de investigação, é se os cálculos nos chatbots de IA podem inspirar novas questões e hipóteses científicas, que possam orientar os neurocientistas para uma melhor compreensão do cérebro humano. Será que a forma como esses chatbots funcionam pode apontar para algo sobre os circuitos do nosso cérebro?
Uma análise mais aprofundada dos pontos fortes e fracos de vários chatbots e dos seus algoritmos subjacentes poderia ajudar a responder a essa pergunta.
"Em última análise, estamos interessados em entender como as pessoas pensam", disse Tal Golan, Ph.D., autor correspondente do artigo que este ano deixou um cargo de pós-doutorado no Instituto Zuckerman de Columbia, para montar seu próprio laboratório na Universidade Ben-Gurion de o Neguev em Israel.
"Essas ferramentas de IA são cada vez mais poderosas, mas processam a linguagem de maneira diferente da nossa. Comparar a compreensão linguística delas com a nossa nos dá uma nova abordagem para entender sobre como pensamos."
Artigos recomendados: Chatbot e ML/DL
Fonte:https://techxplore.com/news/2023-09-nonsense-reveals-limitations-ai-chatbots.html
Nenhum comentário:
Postar um comentário