VB, 23/09/2022
Por Dean Takahashi
São necessários tipos de IA para criar um mundo virtual. O CEO da Nvidia, Jensen Huang, disse esta semana durante uma sessão de perguntas e respostas no evento online GTC22 que a IA preencherá automaticamente as imagens 3D do metaverso.
Ele acredita que a IA dará o primeiro passo na criação dos objetos 3D que povoam os vastos mundos virtuais do metaverso – e então os criadores humanos assumirão o controle e os refinarão ao seu gosto. E embora essa seja uma afirmação muito grande sobre o quão inteligente a IA será, a Nvidia tem pesquisas para apoiá-la.
A Nvidia Research está anunciando esta manhã que um novo modelo de IA pode ajudar a contribuir para que os enormes mundos virtuais criados por um número crescente de empresas e criadores possam ser mais facilmente preenchidos com uma variedade diversificada de edifícios 3D, veículos, personagens e muito mais.
Esse tipo de imagem mundana representa uma enorme quantidade de trabalho tedioso. A Nvidia disse que o mundo real é cheio de variedade: as ruas são repletas de prédios únicos, com diferentes veículos passando zunindo e diversas multidões passando. A modelagem manual de um mundo virtual 3D que reflete isso consome muito tempo, dificultando o preenchimento de um ambiente digital detalhado.
Esse tipo de tarefa é o que a Nvidia quer facilitar com suas ferramentas Omniverse e serviço em nuvem. Ele espera facilitar a vida dos desenvolvedores quando se trata de criar aplicativos metaversos. E arte de geração automática – como vimos acontecer com DALL-E e outros modelos de IA este ano – é uma maneira de aliviar o fardo de construir um universo de mundos virtuais como em Snow Crash ou Ready Player One.
Perguntei a Huang em uma sessão de perguntas e respostas da imprensa no início desta semana o que poderia fazer o metaverso vir mais rápido. Ele fez alusão ao trabalho da Nvidia Research, embora a empresa não tenha falado nada até hoje.
“Primeiro de tudo, como você sabe, o metaverso é criado pelos usuários. E é criado por nós à mão ou é criado por nós com a ajuda da IA”, disse Huang. “E, e no futuro, é muito provável que descrevamos alguma característica de uma casa ou característica de uma cidade ou algo assim. E é como esta cidade, ou é como Toronto, ou é como Nova York, e cria uma nova cidade para nós. E talvez não gostemos. Podemos dar-lhe avisos adicionais. Ou podemos continuar pressionando “enter” até que ele gere automaticamente uma que gostaríamos de começar. E depois disso, desse mundo, vamos modificá-lo. E então acho que a questão da IA criando mundos virtuais está acontecendo agora, bem enquanto falamos.”
Detalhes GET3D
Treinado usando apenas imagens 2D, o Nvidia GET3D gera formas 3D com texturas de alta fidelidade e detalhes geométricos complexos. Esses objetos 3D são criados no mesmo formato usado por aplicativos de software gráfico populares, permitindo que os usuários importem imediatamente suas formas para renderizadores 3D e mecanismos de jogo para edição posterior.
Os objetos gerados podem ser usados em representações 3D de edifícios, espaços ao ar livre ou cidades inteiras, projetados para indústrias como jogos, robótica, arquitetura e mídias sociais.
O GET3D pode gerar um número virtualmente ilimitado de formas 3D com base nos dados em que é treinado. Como um artista que transforma um pedaço de barro em uma escultura detalhada, o modelo transforma números em formas 3D complexas.
“No centro disso está precisamente a tecnologia sobre a qual eu estava falando há um segundo, chamada de modelos de linguagem grande”, disse ele. “Ser capaz de aprender com todas as criações da humanidade e ser capaz de imaginar um mundo 3D. E assim das palavras, através de um grande modelo de linguagem, sairão algum dia, triângulos, geometria, texturas e materiais. E então a partir disso, nós o modificaríamos. E, porque nada disso é pré-fabricado, e nada disso é pré-renderizado, toda essa simulação da física e toda a simulação da luz tem que ser feita em tempo real. E essa é a razão pela qual as tecnologias mais recentes que estamos criando em relação à renderização neuro RTX são tão importantes. Porque não podemos fazer isso com força bruta. Precisamos da ajuda da inteligência artificial para fazer isso.”
Com um conjunto de dados de treinamento de imagens de carros 2D, por exemplo, ele cria uma coleção de sedãs, caminhões, carros de corrida e vans. Quando treinado em imagens de animais, cria criaturas como raposas, rinocerontes, cavalos e ursos. Dadas as cadeiras (modelos), o modelo gera diversas cadeiras giratórias, cadeiras de jantar e poltronas reclináveis.
“O GET3D nos aproxima da democratização da criação de conteúdo 3D com tecnologia de IA”, disse Sanja Fidler, vice-presidente de pesquisa de IA da Nvidia e líder do laboratório de IA de Toronto que criou a ferramenta. “Sua capacidade de gerar instantaneamente formas 3D texturizadas pode ser um divisor de águas para os desenvolvedores, ajudando-os a preencher rapidamente mundos virtuais com objetos variados e interessantes.”
O GET3D é um dos mais de 20 trabalhos e workshops de autoria da Nvidia aceitos na conferência NeurIPS AI, que acontecerá em Nova Orleans e virtualmente, de 26 de novembro a dezembro. 4.
A Nvidia disse que, embora mais rápidos que os métodos manuais, os modelos anteriores de IA generativa em 3D eram limitados no nível de detalhes que podiam produzir. Mesmo métodos recentes de renderização inversa só podem gerar objetos 3D com base em imagens 2D tiradas de vários ângulos, exigindo que os desenvolvedores construam uma forma 3D de cada vez.
O GET3D pode, em vez disso, produzir cerca de 20 formas por segundo ao executar inferência em uma única unidade de processamento gráfico (GPU) da Nvidia - funcionando como uma rede adversária generativa para imagens 2D, enquanto gera objetos 3D. Quanto maior e mais diversificado for o conjunto de dados de treinamento com o qual ele aprendeu, mais variada e
detalhada será a saída.
Os pesquisadores da Nvidia treinaram o GET3D em dados sintéticos que consistem em imagens 2D de formas 3D capturadas de diferentes ângulos de câmera. A equipe levou apenas dois dias para treinar o modelo em cerca de um milhão de imagens usando GPUs Nvidia A100 Tensor Core.
GET3D recebe o nome de sua capacidade de gerar malhas 3D texturizadas explícitas - o que significa que as formas que ele cria estão na forma de uma malha triangular, como um modelo de papel machê, coberto com um material texturizado. Isso permite que os usuários importem facilmente os objetos para mecanismos de jogos, modeladores 3D e renderizadores de filmes — e os editem.
Depois que os criadores exportam formas geradas por GET3D para um aplicativo gráfico, eles podem aplicar efeitos de iluminação realistas à medida que o objeto se move ou gira em uma cena. Ao incorporar outra ferramenta de IA da NVIDIA Research, StyleGAN-NADA, os desenvolvedores podem usar prompts de texto para adicionar um estilo específico a uma imagem, como modificar um carro renderizado para se tornar um carro queimado ou um táxi, ou transformar uma casa comum em uma casa assombrada.
Os pesquisadores observam que uma versão futura do GET3D pode usar técnicas de estimativa de pose de câmera para permitir que os desenvolvedores treinem o modelo em dados do mundo real em vez de conjuntos de dados sintéticos. Ele também pode ser melhorado para suportar a geração universal – o que significa que os desenvolvedores podem treinar GET3D em todos os tipos de formas 3D de uma só vez, em vez de precisar treiná-lo em uma categoria de objeto por vez.
Portanto, a IA gerará mundos, disse Huang. Esses mundos serão simulações, não apenas animações. E para executar tudo isso, Huang prevê a necessidade de criar um “novo tipo de datacenter ao redor do mundo”. Chama-se GDN, não CDN. É uma rede de entrega de gráficos, testada em batalha através do serviço de jogos em nuvem GeForce Now da Nvidia. A Nvidia pegou esse serviço e o usou para criar o Omniverse Cloud, um conjunto de ferramentas que podem ser usadas para criar aplicativos Omniverse, a qualquer hora e em qualquer lugar. A GDN hospedará jogos em nuvem, bem como as ferramentas de metaverso do Omniverse Cloud.
Esse tipo de rede pode fornecer computação em tempo real necessária para o metaverso.
“Isso é interatividade que é essencialmente instantânea”, disse Huang.
Algum desenvolvedor de jogos está pedindo isso? Bem, na verdade, eu conheço um que é. Brendan Greene, criador do jogo de battle royale PlayerUnknown's Productions, pediu esse tipo de tecnologia este ano quando anunciou Prologue e depois revelou o Projeto Artemis, uma tentativa de criar um mundo virtual do tamanho da Terra. Ele disse que só poderia ser construído com uma combinação de design de jogos, conteúdo gerado pelo usuário e IA.
Bem, puta merda.
Artigos recomendados: IA e Metaverso
Nenhum comentário:
Postar um comentário