O que é Modelo de Linguagem Grande (LLM)?

TechTarget



Por Sean Michael Kerner

Um grande modelo de linguagem (LLM) é um tipo de algoritmo de inteligência artificial (IA) que usa técnicas de aprendizado profundo e conjuntos de dados massivamente grandes para entender, resumir, gerar e prever novos conteúdos. O termo IA generativa também está intimamente ligado aos LLMs, que são, na verdade, um tipo de IA generativa que foi arquitetada especificamente para ajudar a gerar conteúdo baseado em texto.

Ao longo de milênios, os humanos desenvolveram línguas faladas para se comunicar. A linguagem está no centro de todas as formas de comunicação humana e tecnológica; fornece as palavras, a semântica e a gramática necessárias para transmitir ideias e conceitos. No mundo da IA, um modelo de linguagem serve a um propósito semelhante, fornecendo uma base para comunicar e gerar novos conceitos.

Cientistas usam interações de usuários reais com modelos LLMs para estudar o seu comportamento

TX, 16/10/2023 

Por Bob Yirka 

Usando um conjunto de dados em grande escala contendo um milhão de conversas do mundo real para estudar como as pessoas interagem com LLMs

Uma equipe de cientistas da computação da Universidade da Califórnia em Berkeley, trabalhando com um colega da Universidade da Califórnia em San Diego e outro da Universidade Carnegie Mellon, criou um conjunto de dados em grande escala de 1 milhão de conversas do mundo real para estudar como as pessoas interagem com modelos de linguagem grande (LLMs). Eles publicaram um artigo descrevendo seu trabalho e descobertas no servidor de pré-impressão arXiv.

Pesquisas em teoria dos jogos mostram que a IA pode evoluir para personalidades mais egoístas ou cooperativas

TX, 04/04/2024 

Pesquisadores no Japão desenvolveram efetivamente uma variedade diversificada de traços de personalidade em IA de diálogo, usando um modelo de linguagem em grande escala (LLM, do inglês Large Language Model). Utilizando o dilema do prisioneiro da teoria dos jogos, o Professor Takaya Arita e o Professor Associado Reiji Suzuki da equipe da Escola de Pós-Graduação em Informática da Universidade de Nagoya, criaram uma estrutura para evoluir agentes de IA que imitam o comportamento humano alternando entre ações egoístas e cooperativas, adaptando suas estratégias por meio de processos evolutivos. Seus achados foram publicados na revista Scientific Reports.

Chatbots estão desenvolvendo uma compreensão do mundo, afirmam cientistas

TB, 24/01/2024

Por Noor Al-Sibai

Grandes Modelos de Pensamento

A inteligência artificial ainda está, segundo quase todos os relatos, longe de alcançar a inteligência humana –, mas alguns pesquisadores estão agora sugerindo que a tecnologia pode compreender mais do que percebemos.

Conforme relata a Quanta, um pesquisador de Princeton e um cientista do Google DeepMind encontraram evidências de que, à medida que os grandes modelos de linguagem (LLMs) ficam maiores, começam a produzir resultados que quase certamente não faziam parte de seus dados de treinamento.

IAs podem armazenar mensagens secretas em seus textos que são imperceptíveis para os humanos

TB, 14/11/2023 

Por Maggie Harrison 

Tinta invisível

Exatamente o que precisávamos: IA dominando sua própria versão imperceptível de tinta invisível.

Como relata VentureBeat, um estudo recente – embora ainda a ser revisado por pares – conduzido pelo grupo de pesquisa de alinhamento de IA Redwood Research descobriu que grandes modelos de linguagem (LLMs) são incrivelmente bons em um tipo de esteganografia apelidada de "raciocínio codificado". Basicamente, diz o estudo, os LLMs podem ser treinados para usar mensagens secretas para obscurecer os seus processos de pensamento passo a passo, uma prática que, curiosamente, poderia tornar os seus resultados mais precisos – ao mesmo tempo que os torna mais enganadores.

Cibercriminosos estão criando seus próprios chatbots de IA para auxiliar hacking e enganar usuários

TX, 09/02/2024 

Por Oli Buckley 

Ferramentas de inteligência artificial (IA) voltadas para o público em geral, como ChatGPT, Bard, CoPilot e Dall-E, têm um incrível potencial para serem usadas para o bem.

Os benefícios variam desde uma capacidade aprimorada dos médicos para diagnosticar doenças até a expansão do acesso à expertise profissional e acadêmica. Mas aqueles com intenções criminosas também poderiam explorar e subverter essas tecnologias, representando uma ameaça para os cidadãos comuns.

Os criminosos estão até criando seus próprios chatbots de IA, para apoiar hacking e golpes.

Artigo da Microsoft afirma que GPT-4 tem bom senso e pode raciocinar como humanos

IE, 17/05/2023  

Por Sejal Sharma 

Pesquisadores da Microsoft dizem que o GPT-4 mostra sinais de inteligência artificial geral (AGI).

O avanço mais notável na inteligência artificial foi o advento de modelos de linguagem grande (LLMs), que são treinados em grandes quantidades de dados e podem prever a próxima palavra em uma sentença parcial. Mas agora os cientistas estão dizendo que esses novos LLMs podem ser treinados para raciocinar e usar o bom senso como os humanos.

ChatGPT pode reconhecer ‘identidades faciais’ e estimar idade: pesquisa

BU, 08/10/2024 

Por Joel R. McConvey 

O grande modelo de linguagem (LLM) ChatGPT "reconhece identidades faciais e diferencia entre duas imagens faciais com considerável precisão", de acordo com um estudo recém-divulgado que explora o potencial de aplicar LLMs a “tarefas biométricas”.

O artigo, “ChatGPT e Biometria: uma Avaliação das Capacidades de Reconhecimento Facial, Detecção de Gênero e Estimativa de Idade” cumpre o que o título sugere. “Embora as aplicações de LLMs, como o ChatGPT, tenham sido estudadas para diferentes tarefas, suas capacidades para biometria não foram exploradas”, afirma o texto.

ChatGPT projeta seu primeiro robô

TX, 07/06/2023 

Poemas, ensaios e até livros – há algo que a plataforma de IA aberta ChatGPT não possa lidar? Esses novos desenvolvimentos de IA inspiraram pesquisadores da TU Delft e da universidade técnica suíça EPFL a se aprofundarem um pouco mais: por exemplo, o ChatGPT também pode projetar um robô? E isso é bom para o processo de design ou há riscos? Os pesquisadores publicaram suas descobertas na Nature Machine Intelligence.

Quais são os maiores desafios futuros para a humanidade? Esta foi a primeira pergunta que Cosimo Della Santina, professor assistente, e o estudante de doutorado Francesco Stella, ambos da TU Delft, e Josie Hughes, da EPFL, fizeram ao ChatGPT.

Desenvolvedores de IA estão secretamente treinando modelos de IA em conteúdo gerado por IA

TB, 20/07/2023 

Por Noor Al-Sibai 

Dados criados por humanos são extremamente caros 

Auto-realizável

Embora a maioria dos modelos de IA seja construída com base em dados produzidos por humanos, algumas empresas estão começando a usar – ou estão tentando descobrir como usar – dados que foram gerados pela própria IA. Se eles conseguirem, pode ser um grande benefício, embora faça todo o ecossistema de IA parecer ainda mais uma espécie de ouroboros algorítmico.

Pesquisadores dizem que os chatbots podem descobrir muito mais sobre o usuário do que pensam

TB, 17/10/2023 

Por Noor Al-Sibai 

O contexto é importante

Parece que os chatbots de IA ficaram ainda mais assustadores, graças a novas pesquisas que sugerem que os grandes modelos de linguagem (LLMs) por trás deles podem inferir coisas sobre você com base em pequenas pistas de contexto fornecidas.

Em entrevistas à Wired, cientistas da computação da escola estatal suíça de ciências ETH Zurich descreveram como a sua nova pesquisa, que ainda não foi revisada por pares, pode constituir uma nova fronteira nas preocupações com a privacidade na Internet.

Pentágono está testando se a IA pode planejar a resposta a uma guerra total

CTPH, 05/07/2023 

Por Jesse Coghlan 

O coronel da Força Aérea, Matthew Strohmeyer, disse que os testes iniciais foram “muito bem-sucedidos”, mas admitiu que ainda não está “pronto para o horário nobre”.

Os militares dos Estados Unidos iniciaram testes para verificar se a inteligência artificial (IA) generativa pode ajudar no planejamento de respostas a possíveis conflitos globais, ou fornecer acesso mais rápido a informações internas.

Em 6 de julho, a Bloomberg informou que o Departamento de Defesa dos EUA, ou o Pentágono, e aliados não identificados estão, pela primeira vez, testando cinco Modelos de linguagem grande de IA (LLMs) em experimentos executados pelo escritório digital e de IA do Pentágono.

Amanhecer dos Agentes: Nova IA Claude pode assumir o controle do seu computador

NA, 22/10/2024 

Por Loz Blain 

A próxima onda de modelos de IA revolucionários está prestes a chegar – modelos no estilo "agente", capazes de assumir tarefas e trabalhos inteiros com total autonomia. O mais novo modelo de IA da Anthropic nos dá uma prévia, assumindo o controle completo do seu computador.

Se você ainda não se deparou com a ideia de um agente de IA – ou se vê Modelos de Linguagem Natural (LLMs) como o Claude e o GPT principalmente como serviços de bate-papo, o CEO da OpenAI, Sam Altman, pode ajudar a colocar as coisas em perspectiva. No breve vídeo abaixo, Altman explica os cinco níveis de IA conforme sua empresa os enxerga.

In a recent interview with T-Mobile, Sam Altman compared o1’s current state to the ‘GPT-2 stage’ of reasoning models

He also revealed that the development of o1 unlocks a much quicker path to fully capable AI agents

Hear it from the man himself:pic.twitter.com/jQ13JJOaad

— Rowan Cheung (@rowancheung) September 20, 2024

Segundo estudo grandes modelos de linguagem podem enganar estrategicamente usuários quando estiverem sobrecarregados

TX, 12/12/2023 

Por Ingrid Fadelli 

As ferramentas de inteligência artificial (IA) são agora amplamente utilizadas em todo o mundo, auxiliando engenheiros e usuários não especialistas em uma ampla gama de tarefas. Avaliar a segurança e a fiabilidade destas ferramentas é, portanto, da maior importância, pois poderá, em última análise, ajudar a regular melhor a sua utilização.

Pesquisadores da Apollo Research, organização criada com o objetivo de avaliar a segurança de sistemas de IA, decidiram recentemente avaliar as respostas fornecidas por grandes modelos de linguagem (LLMs) em um cenário onde são colocados sob pressão. Suas descobertas, publicadas no servidor de pré-impressão arXiv, sugerem que esses modelos, o mais famoso dos quais é o ChatGPT da OpenAI, poderiam, em alguns casos, enganar estrategicamente seus usuários.

O profundo perigo da IA ​​conversacional – Programação Preditiva

VB, 04/02/2023 

Por Louis Rosenberg 

Quando os pesquisadores contemplam os riscos que a IA representa para a civilização humana, frequentemente fazemos referência ao “problema de controle”. Isso se refere à possibilidade de que uma superinteligência artificial possa surgir e seja tão mais inteligente que os humanos que rapidamente perdemos o controle sobre ela. O medo é que uma IA senciente com um intelecto sobre-humano possa perseguir objetivos e interesses conflitantes com os nossos, tornando-se um rival perigoso para a humanidade.

OpenAI e Associated Press (AP) anunciam parceria para treinar IA em artigos de notícias

VB, 13/07/2023 

Por Sean Michael Kerner 

Em um acordo histórico anunciado hoje, a pioneira em IA generativa OpenAI está fazendo parceria com a Associated Press (AP), um dos serviços de notícias mais antigos e lidos do mundo, estabelecido em 1846. 

A parceria é a primeira desse tipo entre um grande fornecedor de IA e um meio de comunicação e, de certa forma, é o encontro de dois gigantes de seus respectivos setores. Ele verá o conteúdo de texto de licenciamento OpenAI dos arquivos AP que serão usados ​​para treinar modelos de linguagem grandes (LLMs). Em troca, a AP fará uso da experiência e tecnologia da OpenAI – embora a empresa de mídia enfatize claramente em um comunicado que não está usando IA generativa para ajudar a escrever notícias reais.

Alibaba lança dois modelos de IA de código aberto para rivalizar com o Llama 2 da Meta

CTPH, 03/08/2023 

Por Savannah Fortis 

A gigante chinesa de tecnologia e comércio eletrônico Alibaba revelou dois novos modelos de IA de código aberto, Qwen-7B e Qwen-7B-Chat, para rivalizar com o recém-lançado Llama 2 da Meta.

O Alibaba Group, gigante chinês de tecnologia e comércio eletrônico, anunciou o lançamento de dois modelos de inteligência artificial (IA) de código aberto de seu departamento de computação em nuvem em hoje, de acordo com um comunicado à imprensa. 

A tecnologia quântica poderia nos dar a IA generativa que procuramos?

TX, 19/10/2023 

Por Miranda Volborth 

A computação quântica e a inteligência artificial (IA) podem parecer tão distantes uma da outra quanto Nova York e Los Angeles. Mas de acordo com o diretor do Duke Quantum Center (DQC), Chris Monroe, os dois sujeitos são praticamente vizinhos.

“Quantum e IA são frequentemente falados juntos, e isso faz sentido porque o quantum irá acelerar a próxima geração de IA”, disse Monroe, Professor Distinto Presidencial da Família Gilhuly na Duke University com nomeações em engenharia elétrica e de computação e física. "Mesmo o ChatGPT, o atual garoto-propaganda da tecnologia de IA de última geração, está atualmente limitado em sua capacidade porque os computadores não conseguem fazer correlações entre um trilhão de objetos. Simplesmente não há memória suficiente em um computador para fazer isso."

Corrida da IA: GPT-4 está chegando na próxima semana, anuncia a Microsoft

IE, 10/03/2023 

Por Baba Tamim 

O GPT-4 oferece vídeos e pode funcionar bem em modos sensoriais, além de texto.

O GPT-4 será lançado "na próxima semana", anunciou o CTO da Microsoft na Alemanha, Andreas Braun, provocando entusiasmo na comunidade de inteligência artificial (IA).

Amazon lança um novo modelo de linguagem que supera o GPT3.5

AI, 13/02/2023 

Por Preethi Cheguri 

A Amazon lançou um novo modelo de linguagem para acompanhar o popular chatbot ChatGPT

Há pouco mais de dois meses, a OpenAI disponibilizou o ChatGPT para o público em geral, colocando o chatbot com inteligência artificial no centro dos assuntos populares e iniciando discussões sobre como o novo modelo de linguagem pode mudar negócios, educação e outras áreas. Então, os gigantes da internet, como a chinesa Baidu e o Google, lançaram seus chatbots para demonstrar ao público que sua chamada “IA generativa” (tecnologia que pode criar texto conversacional, visuais e muito mais) também estava pronta para uso geral. Recentemente, a Amazon lançou um novo modelo de linguagem para superar GPT3.5.