Google cria IA que transforma texto em objetos 3D

TB, 03/10/2022 - Futurism 

Por Maggie Harrison 

DreamFusion

DreamFusion, o gerador de texto para imagem 3D de última geração do Google com inteligência artificial, está aqui.

Bem, mais ou menos. Um esboço de prova de conceito está aqui, pelo menos. DreamFusion é uma evolução do Dream Fields, um gerador de texto para imagem 3D revelado pelo Google em 2021. E, assim como o Dream Fields, o DreamFusion cria suas imagens 3D combinando um Neural Radiance Field (NeRF) — ou uma rede neural que pode criar cenas 3D sintéticas usando conjuntos de dados 2D parciais — com um modelo de prompt de texto para imagem pré-treinado.

É uma reviravolta? Ao contrário do Dream Fields, que utilizou a tecnologia CLIP da OpenAI como este último modelo pré-treinado, o DreamFusion agora usa o seu próprio: Imagen, a tecnologia do Google concorrente do DALL-E 2.

Assim, basicamente, o Google inicializou a tecnologia OpenAI de Elon Musk e descobriu como usar a sua própria. Mantendo as coisas internamente – inteligente.

"Fico feliz em anunciar DreamFusion, nosso novo método para Text-to-3D!" Ben Poole, pesquisador do Google Brain e coautor do artigo de prova de conceito, escrevendo no Twitter. "Otimizamos um NeRF do zero usando um modelo de difusão de texto para imagem pré-treinado. Não são necessários dados 3D!"

Fantasma comendo um hambúrguer

Embora os modelos do DreamFusion não sejam totalmente realistas, eles são bastante impressionantes - como seus criadores explicam no artigo, as formas (3D) geradas por IA que são exibidas em seu site são "coerentes, com  as naturais de alta qualidade, geometria de superfície e profundidade, e são relightable com um modelo de sombreamento Lambertiano."

Em outras palavras, embora possam não ser tão convincentemente realistas quanto algumas dessas imagens fotorrealistas do DALL-E 2 (ainda), elas têm todos os elementos certos. As proporções estão certas, a profundidade é coerente, e assim por diante. E obviamente isso não supera o OpenAI, mas esta próxima versão da tecnologia é certamente uma melhoria visual de sua primeira iteração.

Não está claro quando o DreamFusion - ou o que vier a seguir - estará disponível ao público, embora já possamos ver vários aplicativos. Basta pensar no quão imprescindível será para os desenvolvedores de jogos independentes! E de acordo com o Twitter, já foi usado para imprimir em 3D um fantasma comendo um hambúrguer, por isso, viva!

Artigos recomendados: IA e Google

Fonte:https://futurism.com/the-byte/google-ai-text-into-3d-objects