ChatGPT (quase) passou nos exames de pós-graduação em negócios e direito

EDT, 26/01/2023 

Por Jon Fingas 

A IA não está prestes a conseguir uma bolsa de estudos.

Há muita preocupação de que o ChatGPT da OpenAI possa ajudar os alunos a colar nos testes, mas quão bem o chatbot se sairia se você pedisse para escrever um exame de pós-graduação? Ele passaria – tentaria pelo menos. Em um estudo recém-publicado, professores de direito da Universidade de Minnesota fizeram com que o ChatGPT produzisse respostas para exames de pós-graduação em quatro cursos de sua escola. A IA passou em todos os quatro, mas com nota média de C+. Em outro artigo recente, o professor da Wharton School of Business, Christian Terwiesch, descobriu que o ChatGPT foi aprovado em um exame de gerenciamento de negócios com notas de B a B. Você não gostaria de usar a tecnologia para impressionar os acadêmicos, então.

As equipes de pesquisa descobriram que a IA era inconsistente, para dizer o mínimo. O grupo da Universidade de Minnesota observou que o ChatGPT era bom em abordar "regras legais básicas" e resumir doutrinas, mas tropeçava ao tentar identificar questões relevantes para um caso. Terwiesch disse que o gerador era "incrível" com gerenciamento de operações simples e questões de análise de processo, mas não conseguia lidar com questões de processo avançado. Ele até cometeu erros de matemática da 6ª série.

Há espaço para melhorias. Os professores de Minnesota disseram que não adaptaram os prompts de geração de texto para cursos ou questões específicas e acreditavam que os alunos poderiam obter melhores resultados com a personalização. Na Wharton, Terwiesch disse que o bot era especialista em mudar as respostas em resposta ao treinamento humano. O ChatGPT pode não ser aprovado em um exame ou redação por si só, mas um trapaceiro pode fazer com que o sistema gere respostas aproximadas e as refine.

Ambos os campos alertaram que as escolas deveriam limitar o uso de tecnologia para evitar trapaças baseadas no ChatGPT. Eles também recomendaram alterar as perguntas para desencorajar o uso de IA (como focar na análise em vez de recitar regras) ou aumentar a dificuldade para as pessoas que se apoiam na IA. Os alunos ainda precisam aprender "habilidades fundamentais" em vez de depender de um bot para obter ajuda, disse a Universidade de Minnesota.

Os grupos de estudo ainda acreditavam que o ChatGPT poderia ter um lugar na sala de aula. Os professores poderiam ensinar os alunos a confiar na IA no local de trabalho, ou até mesmo usá-la para escrever e avaliar exames. A tecnologia poderia economizar tempo que poderia ser gasto com os alunos, explica Terwiesch, como mais reuniões de alunos e novos materiais de curso.

Artigos recomendados: IA e Comportamento

Fonte:https://www.engadget.com/chatgpt-passes-graduate-law-business-exams-210146640.html