O que é Modelo de Linguagem Grande (LLM)?

TechTarget



Por Sean Michael Kerner

Um grande modelo de linguagem (LLM) é um tipo de algoritmo de inteligência artificial (IA) que usa técnicas de aprendizado profundo e conjuntos de dados massivamente grandes para entender, resumir, gerar e prever novos conteúdos. O termo IA generativa também está intimamente ligado aos LLMs, que são, na verdade, um tipo de IA generativa que foi arquitetada especificamente para ajudar a gerar conteúdo baseado em texto.

Ao longo de milênios, os humanos desenvolveram línguas faladas para se comunicar. A linguagem está no centro de todas as formas de comunicação humana e tecnológica; fornece as palavras, a semântica e a gramática necessárias para transmitir ideias e conceitos. No mundo da IA, um modelo de linguagem serve a um propósito semelhante, fornecendo uma base para comunicar e gerar novos conceitos.

Modelo de linguagem alimentado por IA gera sequências de proteínas funcionais

IE, 31/01/2023

Por Jijo Malayil 

A primeira vez que um modelo de linguagem foi usado para sintetizar proteínas humanas. 

Ultimamente, os modelos de IA estão realmente flexionando seus músculos. Vimos recentemente como o ChatGPT se tornou um garoto-propaganda para plataformas que compreendem idiomas humanos. Agora, uma equipe de pesquisadores testou um modelo de linguagem para criar sequências de aminoácidos, mostrando habilidades para replicar a biologia e a evolução humana. 

Amazon lança um novo modelo de linguagem que supera o GPT3.5

AI, 13/02/2023 

Por Preethi Cheguri 

A Amazon lançou um novo modelo de linguagem para acompanhar o popular chatbot ChatGPT

Há pouco mais de dois meses, a OpenAI disponibilizou o ChatGPT para o público em geral, colocando o chatbot com inteligência artificial no centro dos assuntos populares e iniciando discussões sobre como o novo modelo de linguagem pode mudar negócios, educação e outras áreas. Então, os gigantes da internet, como a chinesa Baidu e o Google, lançaram seus chatbots para demonstrar ao público que sua chamada “IA generativa” (tecnologia que pode criar texto conversacional, visuais e muito mais) também estava pronta para uso geral. Recentemente, a Amazon lançou um novo modelo de linguagem para superar GPT3.5.

Novo algoritmo descobre linguagem apenas assistindo a vídeos

TX, 11/06/2024 

Por Rachel Gordon 

Mark Hamilton, um estudante de doutorado em engenharia elétrica e ciência da computação do MIT e afiliado ao Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL) do MIT, quer usar máquinas para entender como os animais se comunicam. Para isso, ele decidiu primeiro criar um sistema que possa aprender a linguagem humana "do zero".

"Curiosamente, o momento chave de inspiração veio do filme 'A Marcha dos Pinguins'. Há uma cena onde um pinguim cai ao atravessar o gelo e solta um gemido enquanto se levanta. Quando você assiste, é quase óbvio que esse gemido está substituindo uma palavra de quatro letras. Esse foi o momento em que pensamos, talvez precisemos usar áudio e vídeo para aprender a linguagem", diz Hamilton. "Será que há uma maneira de deixar um algoritmo assistir TV o dia todo e, a partir disso, descobrir sobre o que estamos falando?"

Robôs alimentados por IA torna a comunicação com humanos mais perfeita

TX, 06/11/2023 

Por Juan Siliezar 

O robô preto e amarelo, que deveria se assemelhar a um cachorro grande, ficou esperando instruções. Quando chegaram, as instruções não estavam em código, mas sim em inglês simples: "Visite a escrivaninha de madeira exatamente duas vezes; além disso, não vá até a escrivaninha de madeira antes da estante."

Quatro pernas metálicas entraram em ação. O robô foi de onde estava na sala até uma estante próxima e então, após uma breve pausa, foi até a mesa de madeira designada antes de sair e retornar para uma segunda visita para satisfazer o comando.

Os modelos de linguagem conseguem ler o genoma? Este aqui decodificou o mRNA para criar vacinas melhores

PHYS, 06/04/2024 

A mesma classe de inteligência artificial que ganhou manchetes codificando software e passando no exame da ordem aprendeu a ler um tipo diferente de texto—o código genético.

Esse código contém instruções para todas as funções da vida e segue regras não muito diferentes das que regem as línguas humanas. Cada sequência no genoma adere a uma gramática e sintaxe intrincadas, as estruturas que dão origem ao significado. Assim como mudar algumas palavras pode alterar radicalmente o impacto de uma frase, pequenas variações em uma sequência biológica podem fazer uma enorme diferença nas formas que essa sequência codifica.

A IA não consegue detectar bobagens verbais em conversas

TX, 14/09/2023 

A era dos chatbots de inteligência artificial que parecem compreender e usar a linguagem da mesma forma que nós, humanos, já começou. Nos bastidores, esses chatbots usam grandes modelos de linguagem, um tipo específico de rede neural. Mas um novo estudo mostra que grandes modelos linguísticos continuam vulneráveis ​​a confundir absurdos com linguagem natural. Para uma equipe de pesquisadores da Universidade de Columbia, é uma falha que pode apontar maneiras de melhorar o desempenho do chatbot e ajudar a revelar como os humanos processam a linguagem.

Num artigo publicado online na Nature Machine Intelligence, os cientistas descrevem como desafiaram nove modelos de linguagem diferentes com centenas de pares de frases. Para cada par, as pessoas que participaram do estudo escolheram qual das duas frases consideravam mais natural, o que significa que era mais provável que fosse lida ou ouvida na vida cotidiana. Os pesquisadores então testaram os modelos para ver se avaliariam cada par de frases da mesma forma que os humanos.

O Google desenvolveu um programa que ajuda os robôs a codificar

AI, 07/11/2022 

Por Arti 

O Google desenvolveu o Code as Policies, um programa que ajudará os robôs a começar a codificar

O que torna a programação difícil de aprender? A principal razão pela qual a programação é considerada difícil de aprender é principalmente devido à complexidade das instruções que os computadores compreendem. Você não pode dar instruções aos computadores em inglês ou em qualquer outro idioma humano. Mas os pesquisadores de robótica do Google estão explorando uma maneira de consertar isso fazendo com que os robôs comecem a codificar. Sim, você leu certo, o Google desenvolveu um programa robótico (Code as Policies) que pode escrever seu próprio código de programação baseado em instruções de linguagem natural. Em vez de ter que mergulhar nos arquivos de configuração de um robô para mudar block_target_color de #FF0000 para #FFFF00, você poderia simplesmente digitar “pegar o bloco amarelo” e o robô faria o resto.

ChatGPT ultrapassa Instagram: 10 milhões de usuários diários em apenas 40 dias

IE, 28/01/2023 

Por Baba Tamin 

Essa conquista é ainda mais impressionante quando você considera que provavelmente representa pelo menos 20 milhões de usuários mensais, diz um especialista do setor. 

O ChatGPT, o poderoso modelo de linguagem de inteligência artificial (IA) da OpenAI, ultrapassou 10 milhões de usuários diários em apenas 40 dias, superando o rápido crescimento inicial do popular Instagram.

Cientistas usam varreduras cerebrais e IA para 'decodificar' pensamentos

TX, 01/05/2023 

Por Daniel Lawler 

Cientistas disseram na segunda-feira que encontraram uma maneira de usar varreduras cerebrais e modelagem de inteligência artificial para transcrever "a essência" do que as pessoas estão pensando, no que foi descrito como um passo em direção à leitura da mente.

Embora o principal objetivo do decodificador de linguagem seja ajudar as pessoas que perderam a capacidade de se comunicar, os cientistas americanos reconheceram que a tecnologia levanta questões sobre "privacidade mental".

ChatGPT está mudando a forma como escrevemos. Aqui está como—e por que isso é um problema

TX, 26/09/2024 

Por Ritesh Chugh

Você notou certas palavras e frases surgindo em todos os lugares ultimamente?

Expressões como "mergulhar em" e "navegar pela paisagem" parecem estar presentes em tudo, desde postagens em redes sociais até artigos de notícias e publicações acadêmicas. Elas podem soar sofisticadas, mas seu uso excessivo pode fazer um texto parecer monótono e repetitivo.

Essa tendência pode estar ligada ao aumento do uso de ferramentas de inteligência artificial (IA) generativa, como o ChatGPT e outros modelos de linguagem de grande porte (LLMs). Essas ferramentas são projetadas para facilitar a escrita, oferecendo sugestões baseadas em padrões no texto com o qual foram treinadas.

Perceptron: IA que ilumina a lua, improvisa gramática e ensina robôs a andar como humanos

YF, 14/09/2022 - Com TechCrunch 

Por Devin Coldewey e Kyle Wiggers 

A pesquisa no campo de aprendizado de máquina e IA, agora uma tecnologia-chave em praticamente todos os setores e empresas, é volumosa demais para que qualquer um leia tudo. Esta coluna,  Perceptron, tem como objetivo coletar algumas das descobertas e artigos recentes mais relevantes – particularmente, mas não se limitado a, inteligência artificial – e explicar por que eles são importantes.

Nas últimas semanas, os cientistas desenvolveram um algoritmo para descobrir detalhes fascinantes sobre as crateras de asteróides mal iluminadas - e em alguns casos escuras como breu. Em outros lugares, pesquisadores do MIT treinaram um modelo de IA em livros didáticos para ver se ele poderia descobrir de forma independente as regras de um idioma específico. E equipes da DeepMind e da Microsoft investigaram se os dados de captura de movimento poderiam ser usados ​​para ensinar robôs a realizar tarefas específicas, como caminhar.

Diferença entre IA conversacional e IA generativa

AI, 26/01/2023 

Por Rangoli 

Saiba onde a IA conversacional e generativa estão no ano de 2023

Conversational AI (IA Conversacional) é a inteligência artificial (IA) que pode se envolver em conversas e se refere a ferramentas que permitem aos usuários se comunicar com assistentes virtuais ou chatbots. Eles imitam as interações humanas identificando entradas de fala e texto e traduzindo seu conteúdo para outros idiomas usando grandes quantidades de dados, aprendizado de máquina e processamento de linguagem natural. Enquanto a IA generativa costuma usar técnicas de aprendizado profundo, como redes adversárias generativas (GANs), para identificar padrões e recursos em um determinado conjunto de dados antes de criar novos dados a partir dos dados de entrada.

Microsoft treina ChatGPT para controlar robôs

IE, 23/02/2023 

Por Jijo Malayil 

O modelo de linguagem poderia comandar braços robóticos, drones e robôs assistentes domésticos.

Imagine um cenário no qual você pode se comunicar diretamente com os robôs, permitindo que eles concluam várias tarefas para você. Para conseguir isso, a Microsoft delineou seus planos de parceria com a OpenAI para desenvolver os recursos do ChatGPT para controlar robôs. A gigante do software usou o chatbot e "controlou várias plataformas, como braços robóticos, drones e robôs assistentes domésticos intuitivamente com a linguagem", escreveu a empresa em uma postagem no blog. 

A IA está mais perto do que nunca de passar no teste de Turing para “inteligência”. O que acontece quando isso acontecer?

TX, 17/10/2023 

Por Simon Goldstein 

Em 1950, o cientista da computação britânico Alan Turing propôs um método experimental para responder à pergunta: as máquinas podem pensar? Ele sugeriu que se um ser humano não conseguisse dizer se estava falando com uma máquina artificialmente inteligente (IA) ou com outro ser humano após cinco minutos de questionamento, isso demonstraria que a IA tem inteligência semelhante à humana.

Embora os sistemas de IA tenham permanecido longe de passar no teste de Turing durante a sua vida, ele especulou que "[...] dentro de cerca de 50 anos será possível programar computadores [...] para fazê-los jogar o jogo da imitação tão bem que um interrogador médio irá não terá mais de 70% de chance de fazer a identificação correta após cinco minutos de interrogatório."

Estudo mostra como grandes modelos de linguagem como o GPT-3 podem aprender uma nova tarefa com apenas alguns exemplos

TX, 07/02/2023 

Por Adam Zewe 

Grandes modelos de linguagem como o GPT-3 da OpenAI são redes neurais massivas que podem gerar texto semelhante ao humano, da poesia ao código de programação. Treinados usando dados da Internet, esses modelos de aprendizado de máquina pegam um pouco do texto de entrada e preveem o texto que provavelmente virá a seguir.

A administração Biden financia IA para policiar linguagem online

SMMN, 22/12/2022 

Por Steve Watson

Subsídios concedidos para desenvolver tecnologias que possam ser usadas para 'proteger' usuários online de linguagem 'discriminatória' e 'microagressões'

Os registros de gastos do governo revelaram que o governo Biden está distribuindo mais de meio milhão de dólares em doações para financiar o desenvolvimento de inteligência artificial que censurará a linguagem nas mídias sociais para eliminar 'microagressões'.

O Washington Free Beacon relata que o financiamento fazia parte do 'Plano de Resgate Americano' de US $ 1,9 trilhão de Biden e foi  concedido  a pesquisadores da Universidade de Washington em março para desenvolver tecnologias que poderiam ser usadas para proteger usuários online de linguagem 'discriminatória'.

The Biden administration is set to spend over $500K on an AI that will detect and suppress "microagressions" on social media—and they have a frighteningly broad definition of what that means. New in @FreeBeacon from @PhilipECaldwell:https://t.co/Eeto3OPzg0

— Tim Rice (@timerice1) December 21, 2022

Hospital do NHS criticado por orientar funcionários a evitar dizer que as pessoas "nascem homem ou mulher"

TCI, 17/10/2024 

Um hospital do NHS republicou orientações dizendo a seus funcionários para usar a expressão "atribuído como mulher/homem ao nascer" em vez de "nascido" mulher/homem.

Chamado de "Celebrando o Orgulho", o guia do James Paget University Hospitals NHS Foundation Trust afirma que a linguagem de “atribuído” descreve com precisão o que acontece no nascimento.

Inicialmente emitido em 2021, ele foi revisado em junho deste ano e inclui um glossário de terminologia ideológica e uma seção sobre os "faça e não faça da linguagem inclusiva LGBTQ+".

A versão mais recente do ChatGPT tem um recurso que você vai adorar — e isso é preocupante

TX, 12/09/2024 

Por Rob Brooks 

Se você é um assinante pago do ChatGPT, pode ter notado que o modelo de linguagem de inteligência artificial (IA) recentemente começou a soar mais humano quando você tem interações de áudio com ele.

Isso acontece porque a empresa por trás do modelo de linguagem, a OpenAI, está atualmente realizando um piloto limitado de um novo recurso conhecido como "modo de voz avançado".

A OpenAI diz que esse novo modo "apresenta conversas mais naturais e em tempo real, que captam e respondem com emoção e sinais não verbais". A empresa planeja disponibilizar o modo de voz avançado para todos os assinantes pagos do ChatGPT nos próximos meses.

Congresso espanhol modificou o regulamento e todos os documentos oficiais do Legislativo serão escritos em "linguagem inclusiva"

LDD, 04/03/2024

Para realizar essa reescrita em linguagem inclusiva, foi modificada a maioria dos 207 artigos do Regulamento do Congresso.

Em uma ação impulsionada pelo presidente Pedro Sánchez, a presidência do Congresso dos Deputados da Espanha lançou um novo regulamento, que impõe o uso obrigatório de "linguagem inclusiva" em toda a documentação oficial.