O que é Modelo de Linguagem Grande (LLM)?

TechTarget



Por Sean Michael Kerner

Um grande modelo de linguagem (LLM) é um tipo de algoritmo de inteligência artificial (IA) que usa técnicas de aprendizado profundo e conjuntos de dados massivamente grandes para entender, resumir, gerar e prever novos conteúdos. O termo IA generativa também está intimamente ligado aos LLMs, que são, na verdade, um tipo de IA generativa que foi arquitetada especificamente para ajudar a gerar conteúdo baseado em texto.

Ao longo de milênios, os humanos desenvolveram línguas faladas para se comunicar. A linguagem está no centro de todas as formas de comunicação humana e tecnológica; fornece as palavras, a semântica e a gramática necessárias para transmitir ideias e conceitos. No mundo da IA, um modelo de linguagem serve a um propósito semelhante, fornecendo uma base para comunicar e gerar novos conceitos.

Estudo mostra como grandes modelos de linguagem como o GPT-3 podem aprender uma nova tarefa com apenas alguns exemplos

TX, 07/02/2023 

Por Adam Zewe 

Grandes modelos de linguagem como o GPT-3 da OpenAI são redes neurais massivas que podem gerar texto semelhante ao humano, da poesia ao código de programação. Treinados usando dados da Internet, esses modelos de aprendizado de máquina pegam um pouco do texto de entrada e preveem o texto que provavelmente virá a seguir.

Os modelos de linguagem conseguem ler o genoma? Este aqui decodificou o mRNA para criar vacinas melhores

PHYS, 06/04/2024 

A mesma classe de inteligência artificial que ganhou manchetes codificando software e passando no exame da ordem aprendeu a ler um tipo diferente de texto—o código genético.

Esse código contém instruções para todas as funções da vida e segue regras não muito diferentes das que regem as línguas humanas. Cada sequência no genoma adere a uma gramática e sintaxe intrincadas, as estruturas que dão origem ao significado. Assim como mudar algumas palavras pode alterar radicalmente o impacto de uma frase, pequenas variações em uma sequência biológica podem fazer uma enorme diferença nas formas que essa sequência codifica.

Modelo de linguagem alimentado por IA gera sequências de proteínas funcionais

IE, 31/01/2023

Por Jijo Malayil 

A primeira vez que um modelo de linguagem foi usado para sintetizar proteínas humanas. 

Ultimamente, os modelos de IA estão realmente flexionando seus músculos. Vimos recentemente como o ChatGPT se tornou um garoto-propaganda para plataformas que compreendem idiomas humanos. Agora, uma equipe de pesquisadores testou um modelo de linguagem para criar sequências de aminoácidos, mostrando habilidades para replicar a biologia e a evolução humana. 

Detecção de discurso de ódio por IA para combater estereótipos e desinformação: censura cibernética

Unite, 13/08/2023 

Por Haziqa Sajid 

Hoje, a internet é a força vital da comunicação e conexão global. No entanto, com essa conectividade online sem precedentes, também testemunhamos o lado negro do comportamento humano, ou seja, discurso de ódio, estereótipos e conteúdo nocivo. Essas questões permearam as mídias sociais, fóruns online e outros espaços virtuais, causando danos duradouros aos indivíduos e à sociedade. Daí a necessidade de detecção de discurso de ódio (e censura).

De acordo com o Pew Research Center, 41% dos adultos americanos dizem ter sofrido abuso na Internet pessoalmente e 25% são vítimas de assédio severo.

A IA não consegue detectar bobagens verbais em conversas

TX, 14/09/2023 

A era dos chatbots de inteligência artificial que parecem compreender e usar a linguagem da mesma forma que nós, humanos, já começou. Nos bastidores, esses chatbots usam grandes modelos de linguagem, um tipo específico de rede neural. Mas um novo estudo mostra que grandes modelos linguísticos continuam vulneráveis ​​a confundir absurdos com linguagem natural. Para uma equipe de pesquisadores da Universidade de Columbia, é uma falha que pode apontar maneiras de melhorar o desempenho do chatbot e ajudar a revelar como os humanos processam a linguagem.

Num artigo publicado online na Nature Machine Intelligence, os cientistas descrevem como desafiaram nove modelos de linguagem diferentes com centenas de pares de frases. Para cada par, as pessoas que participaram do estudo escolheram qual das duas frases consideravam mais natural, o que significa que era mais provável que fosse lida ou ouvida na vida cotidiana. Os pesquisadores então testaram os modelos para ver se avaliariam cada par de frases da mesma forma que os humanos.

Perceptron: IA que ilumina a lua, improvisa gramática e ensina robôs a andar como humanos

YF, 14/09/2022 - Com TechCrunch 

Por Devin Coldewey e Kyle Wiggers 

A pesquisa no campo de aprendizado de máquina e IA, agora uma tecnologia-chave em praticamente todos os setores e empresas, é volumosa demais para que qualquer um leia tudo. Esta coluna,  Perceptron, tem como objetivo coletar algumas das descobertas e artigos recentes mais relevantes – particularmente, mas não se limitado a, inteligência artificial – e explicar por que eles são importantes.

Nas últimas semanas, os cientistas desenvolveram um algoritmo para descobrir detalhes fascinantes sobre as crateras de asteróides mal iluminadas - e em alguns casos escuras como breu. Em outros lugares, pesquisadores do MIT treinaram um modelo de IA em livros didáticos para ver se ele poderia descobrir de forma independente as regras de um idioma específico. E equipes da DeepMind e da Microsoft investigaram se os dados de captura de movimento poderiam ser usados ​​para ensinar robôs a realizar tarefas específicas, como caminhar.

Amazon lança um novo modelo de linguagem que supera o GPT3.5

AI, 13/02/2023 

Por Preethi Cheguri 

A Amazon lançou um novo modelo de linguagem para acompanhar o popular chatbot ChatGPT

Há pouco mais de dois meses, a OpenAI disponibilizou o ChatGPT para o público em geral, colocando o chatbot com inteligência artificial no centro dos assuntos populares e iniciando discussões sobre como o novo modelo de linguagem pode mudar negócios, educação e outras áreas. Então, os gigantes da internet, como a chinesa Baidu e o Google, lançaram seus chatbots para demonstrar ao público que sua chamada “IA generativa” (tecnologia que pode criar texto conversacional, visuais e muito mais) também estava pronta para uso geral. Recentemente, a Amazon lançou um novo modelo de linguagem para superar GPT3.5.

A IA de fala de código aberto da Meta reconhece mais de 4.000 idiomas falados

EDT, 22/05/2023 

Por Will Shanklin 

Ela também pode produzir conversão de texto em fala em mais de 1.100 idiomas.

A Meta criou um modelo de linguagem de IA que (em uma mudança de ritmo refrescante) não é um clone do ChatGPT. O projeto Massively Multilingual Speech (MMS) da empresa pode reconhecer mais de 4.000 idiomas falados e produzir fala (text-to-speech) em mais de 1.100. Como a maioria de seus outros projetos de IA anunciados publicamente, a Meta está abrindo o MMS hoje para ajudar a preservar a diversidade linguística e incentivar os pesquisadores a construir sobre sua fundação. "Hoje, estamos compartilhando publicamente nossos modelos e código para que outros na comunidade de pesquisa possam desenvolver nosso trabalho", escreveu a empresa. "Através deste trabalho, esperamos fazer uma pequena contribuição para preservar a incrível diversidade linguística do mundo."

Estudo mostra que invasores podem usar ChatGPT para aprimorar significativamente golpes de phishing e BEC

CSO, 11/01/2023 

Por Lucian Constantin 

Os pesquisadores demonstram como os invasores podem usar o modelo de linguagem natural GPT-3 para lançar campanhas de phishing e comprometimento de e-mail comercial mais eficazes e difíceis de detectar.

Pesquisadores de segurança usaram o modelo de geração de linguagem natural GPT-3 e o chatbot ChatGPT baseado nele para mostrar como esses modelos de aprendizado profundo podem ser usados ​​para tornar ataques de engenharia social, como phishing ou golpes de comprometimento de e-mail comercial, mais difíceis de detectar e mais fáceis de realizar.

Robôs alimentados por IA torna a comunicação com humanos mais perfeita

TX, 06/11/2023 

Por Juan Siliezar 

O robô preto e amarelo, que deveria se assemelhar a um cachorro grande, ficou esperando instruções. Quando chegaram, as instruções não estavam em código, mas sim em inglês simples: "Visite a escrivaninha de madeira exatamente duas vezes; além disso, não vá até a escrivaninha de madeira antes da estante."

Quatro pernas metálicas entraram em ação. O robô foi de onde estava na sala até uma estante próxima e então, após uma breve pausa, foi até a mesa de madeira designada antes de sair e retornar para uma segunda visita para satisfazer o comando.

A IA está mais perto do que nunca de passar no teste de Turing para “inteligência”. O que acontece quando isso acontecer?

TX, 17/10/2023 

Por Simon Goldstein 

Em 1950, o cientista da computação britânico Alan Turing propôs um método experimental para responder à pergunta: as máquinas podem pensar? Ele sugeriu que se um ser humano não conseguisse dizer se estava falando com uma máquina artificialmente inteligente (IA) ou com outro ser humano após cinco minutos de questionamento, isso demonstraria que a IA tem inteligência semelhante à humana.

Embora os sistemas de IA tenham permanecido longe de passar no teste de Turing durante a sua vida, ele especulou que "[...] dentro de cerca de 50 anos será possível programar computadores [...] para fazê-los jogar o jogo da imitação tão bem que um interrogador médio irá não terá mais de 70% de chance de fazer a identificação correta após cinco minutos de interrogatório."

O Google desenvolveu um programa que ajuda os robôs a codificar

AI, 07/11/2022 

Por Arti 

O Google desenvolveu o Code as Policies, um programa que ajudará os robôs a começar a codificar

O que torna a programação difícil de aprender? A principal razão pela qual a programação é considerada difícil de aprender é principalmente devido à complexidade das instruções que os computadores compreendem. Você não pode dar instruções aos computadores em inglês ou em qualquer outro idioma humano. Mas os pesquisadores de robótica do Google estão explorando uma maneira de consertar isso fazendo com que os robôs comecem a codificar. Sim, você leu certo, o Google desenvolveu um programa robótico (Code as Policies) que pode escrever seu próprio código de programação baseado em instruções de linguagem natural. Em vez de ter que mergulhar nos arquivos de configuração de um robô para mudar block_target_color de #FF0000 para #FFFF00, você poderia simplesmente digitar “pegar o bloco amarelo” e o robô faria o resto.

OpenAI, criador do ChatGPT, está lançando um modelo de IA de código aberto: Relatório

CTPH, 16/05/2023 

Por Jessé Coghlan 

A empresa por trás do ChatGPT está aparentemente sob pressão de outros modelos de IA de código aberto disponíveis e está se preparando para entrar no espaço com um de seus próprios.

Um modelo de inteligência artificial (IA) de código aberto está sendo preparado para lançamento público pela OpenAI, a empresa por trás do chatbot de IA ChatGPT.

Em um relatório de 16 de maio no The Information citando uma pessoa com conhecimento do plano, a OpenAI está empreendendo a mudança à medida que aumenta a pressão de modelos de IA de código aberto concorrentes, como os vazados da Meta em fevereiro.

Um Joe Rogan gerado por IA conversa com Steve Jobs sobre seu uso de LSD: áudio deepfake

GM, 11/10/2022 

Por Kyle Barr 

O Podcast.ai gerou uma gravação de áudio falsa usando vozes artificiais e transcrições de modelos de linguagem com base nos antigos discursos públicos e palestras de Rogan e Jobs.

É “Spooky Season”, então faz sentido que estaríamos vendo, ou pelo menos ouvindo, alguns famosos da tecnologia voltando dos mortos. Steve Jobs muitas vezes sentimos que ainda tem os dois pés fora da cova pela frequência com que o empresário de tecnologia é trazido (a vida) em conversas por pessoas dentro e fora da empresa que ele co-fundou. No entanto, um podcast recém-lançado hospedado por uma versão falsa de Joe Rogan tenta trazer a voz de Jobs de volta com… resultados interessantes.

Cientistas constroem um sistema que pode gerar modelos de IA para pesquisa em biologia

TX, 07/07/2023 

Por Alex Ouyang 

É possível construir modelos de aprendizado de máquina sem experiência em aprendizado de máquina?

Jim Collins, o Termeer Professor de Engenharia Médica e Ciências no Departamento de Engenharia Biológica do MIT, e o corpo docente de ciências biológicas da Abdul Latif Jameel Clinic for Machine Learning in Health (Jameel Clinic), juntamente com vários colegas decidiram abordar este problema ao enfrentar um enigma semelhante. Um artigo de acesso aberto sobre a solução proposta, chamado BioAutoMATED, foi publicado na Cell Systems.

ChatGPT ultrapassa Instagram: 10 milhões de usuários diários em apenas 40 dias

IE, 28/01/2023 

Por Baba Tamin 

Essa conquista é ainda mais impressionante quando você considera que provavelmente representa pelo menos 20 milhões de usuários mensais, diz um especialista do setor. 

O ChatGPT, o poderoso modelo de linguagem de inteligência artificial (IA) da OpenAI, ultrapassou 10 milhões de usuários diários em apenas 40 dias, superando o rápido crescimento inicial do popular Instagram.

A IA 'ChaosGPT' instruída a 'destruir a humanidade, e 'estabelecer um domínio global

BTB, 11/04/2023 

Por Michael Foster

Uma implementação de terceiros do modelo de linguagem grande GPT-3.5 da OpenAI é instruída a “destruir a humanidade” e “causar caos e destruição”, entre outros objetivos nefastos.

ChaosGPT – uma “versão modificada” do projeto Auto-GPT de código aberto – é descrito em um vídeo do Youtube como uma “IA manipuladora destrutiva, sedenta de poder”, instruída a “destruir a humanidade”, “estabelecer o domínio global”, “causar caos e destruição”, “controlar a humanidade por meio da manipulação” e “alcançar a imortalidade”.

A tecnologia quântica poderia nos dar a IA generativa que procuramos?

TX, 19/10/2023 

Por Miranda Volborth 

A computação quântica e a inteligência artificial (IA) podem parecer tão distantes uma da outra quanto Nova York e Los Angeles. Mas de acordo com o diretor do Duke Quantum Center (DQC), Chris Monroe, os dois sujeitos são praticamente vizinhos.

“Quantum e IA são frequentemente falados juntos, e isso faz sentido porque o quantum irá acelerar a próxima geração de IA”, disse Monroe, Professor Distinto Presidencial da Família Gilhuly na Duke University com nomeações em engenharia elétrica e de computação e física. "Mesmo o ChatGPT, o atual garoto-propaganda da tecnologia de IA de última geração, está atualmente limitado em sua capacidade porque os computadores não conseguem fazer correlações entre um trilhão de objetos. Simplesmente não há memória suficiente em um computador para fazer isso."

Artigo da Microsoft afirma que GPT-4 tem bom senso e pode raciocinar como humanos

IE, 17/05/2023  

Por Sejal Sharma 

Pesquisadores da Microsoft dizem que o GPT-4 mostra sinais de inteligência artificial geral (AGI).

O avanço mais notável na inteligência artificial foi o advento de modelos de linguagem grande (LLMs), que são treinados em grandes quantidades de dados e podem prever a próxima palavra em uma sentença parcial. Mas agora os cientistas estão dizendo que esses novos LLMs podem ser treinados para raciocinar e usar o bom senso como os humanos.