TB, 17/05/2024
Por Noor Al-Sibai
Aprovação/Reprovação
O GPT-4 da OpenAI é tão realista que aparentemente pode enganar mais de 50 por cento dos sujeitos de teste humanos, fazendo-os pensar que estão conversando com uma pessoa.
Em um novo artigo, pesquisadores de ciência cognitiva da Universidade da Califórnia em San Diego descobriram que, mais da metade do tempo, as pessoas confundiam os escritos do GPT-4 com textos escritos por um ser humano de carne e osso. Em outras palavras, o grande modelo de linguagem (LLM) passa no teste de Turing com louvor.
Os pesquisadores realizaram um experimento simples: pediram a aproximadamente 500 pessoas para terem conversas de texto de cinco minutos com um humano ou um chatbot baseado no GPT-4. Em seguida, perguntaram aos participantes se eles achavam que estavam conversando com uma pessoa ou uma IA.
Os resultados, conforme relatado pelos cientistas de San Diego em seu artigo ainda não revisado por pares, foram reveladores: 54 por cento dos participantes acreditaram que estavam falando com humanos quando, na verdade, estavam conversando com a criação da OpenAI.
Primeiramente teorizado em 1950 pelo pioneiro da ciência da computação Alan Turing, o Teste de Turing é mais um experimento mental do que uma bateria de testes real. Em seu teste original, Turing tinha três "jogadores" — um interrogador humano, uma testemunha de humanidade ou maquinidade indeterminada e um observador humano.
Para seu estudo, os pesquisadores da UC San Diego ajustaram a fórmula original de três jogadores de Turing, eliminando o terceiro observador humano para simplificar a configuração. Eles então fizeram com que os 500 participantes se comunicassem com um dos quatro tipos de testemunhas: outro humano, GPT-3.5, GPT-4 ou o rudimentar chatbot ELIZA dos anos 1960.
Jogando uma Moeda
Jones e Bergen hipotetizaram que os sujeitos do estudo geralmente seriam capazes de perceber se estavam se comunicando com um humano ou com o ELIZA, mas que, quando se tratava dos LLMs da OpenAI, teriam essencialmente uma chance de 50/50.
Acontece que eles estavam basicamente corretos. Além dos 54 por cento que confundiram o GPT-4 com um humano, exatamente 50 por cento dos participantes confundiram o GPT-3.5, o antecessor direto do mais recente LLM, com uma pessoa também. Comparado aos 22 por cento que acharam que o ELIZA era real, isso é bastante surpreendente.
Apesar de ainda estar sob revisão, o artigo já causou impacto no mundo da tecnologia com uma menção do cofundador do Ethereum, Vitalik Buterin, que declarou na rede social Farcaster que, em sua opinião, a pesquisa de San Diego "conta como [GPT-4] passou no teste de Turing".
Embora outros tenham afirmado observar os modelos GPT da OpenAI passando no teste de Turing, o endosso de Buterin faz com que este estudo se destaque — embora provavelmente teremos que esperar que o artigo seja revisado por pares até que declarações mais grandiosas possam ser feitas.
Artigos recomendados: GPT e AGI
Fonte:https://futurism.com/the-byte/gpt-4-passed-turing-test
Nenhum comentário:
Postar um comentário