Cientistas usam interações de usuários reais com modelos LLMs para estudar o seu comportamento

TX, 16/10/2023 

Por Bob Yirka 

Usando um conjunto de dados em grande escala contendo um milhão de conversas do mundo real para estudar como as pessoas interagem com LLMs

Uma equipe de cientistas da computação da Universidade da Califórnia em Berkeley, trabalhando com um colega da Universidade da Califórnia em San Diego e outro da Universidade Carnegie Mellon, criou um conjunto de dados em grande escala de 1 milhão de conversas do mundo real para estudar como as pessoas interagem com modelos de linguagem grande (LLMs). Eles publicaram um artigo descrevendo seu trabalho e descobertas no servidor de pré-impressão arXiv.

Nos últimos anos, LLMs como o ChatGPT surgiram no domínio público, dando aos usuários em todo o mundo a oportunidade de interagir com chatbots apoiados por inteligência artificial. Esse acesso levou a milhões de conversas “inteligentes” entre humanos e chatbots, resultando não apenas em discussões, mas em assistência em atividades como programação, redação de textos e realização de testes.

Neste novo estudo, a equipe de pesquisa queria saber que tipos de interações estão ocorrendo com chatbots de IA por porcentagens de categoria, por exemplo, que porcentagem dessas conversas são sobre programação ou um tópico relacionado. Para descobrir, obtiveram os textos de mais de 1 milhão de conversas no mundo real entre pessoas e os seus chatbots de IA (25 deles) e depois analisaram-nos por tipo de assunto.

As conversas foram de natureza global, envolvendo pessoas e seus chatbots falando 150 idiomas. Para saber mais sobre a natureza dessas conversas, os pesquisadores usaram um programa para escolher aleatoriamente 100 mil delas para estudo.

A equipe de pesquisa descobriu que cerca de metade de todas as conversas do chatbot de IA estavam centradas no que descrevem como tópicos “seguros”, como programação de computadores, pedidos de ajuda para escrever textos ou mesmo jardinagem – o tópico mais popular envolvia a resolução de erros de software e soluções.

Eles também descobriram que aproximadamente 10% dessas conversas envolviam o que a equipe descreve como tópicos “inseguros” – aqueles com conteúdo sexual ou violento. Encontraram, por exemplo, muitos exemplos de pessoas que pediram ao seu chatbot que lhes contasse histórias eróticas ou que se envolvessem com elas em dramatizações sexuais.

Os pesquisadores sugerem que o estudo de conversas LLM/humanas do mundo real pode ajudar os fabricantes de tais sistemas a definir a maneira como desejam que seus produtos sejam usados, ​​e também a descobrir como estão funcionando os controles eficazes projetados para evitar o uso "inseguro" de tais produtos.

Artigos recomendados: LLMs e Chatbot

Fonte:https://techxplore.com/news/2023-10-large-scale-dataset-million-real-world-conversations.html