MITTR, 06/02/2023
O novo modelo da Runway, chamado Gen-1, pode mudar o estilo visual de vídeos e filmes existentes.
Runway, a startup de IA generativa que co-criou o modelo Stable Diffusion de texto para imagem do ano passado, lançou um modelo de IA, chamado Gen-1, que pode transformar vídeos existentes em novos, aplicando qualquer estilo especificado por um prompt de texto ou imagem de referência.
Em um demo reel publicado em seu site, a Runway mostra como seu software pode transformar as pessoas em uma rua em fantoches de argila e livros empilhados em uma mesa em uma paisagem urbana à noite. A Runway espera que o Gen-1 faça para o vídeo o que o Stable Diffusion fez para as imagens. “Vimos uma grande explosão nos modelos de geração de imagens”, diz o CEO e cofundador da Runway, Cristóbal Valenzuela. “Eu realmente acredito que 2023 será o ano do vídeo.”
Criada em 2018, a Runway desenvolve software de edição de vídeo com inteligência artificial há vários anos. Suas ferramentas são usadas por TikTokers e YouTubers, bem como pelos principais estúdios de cinema e TV. Os criadores de The Late Show with Stephen Colbert usaram o software Runway para editar os gráficos do programa; a equipe de efeitos visuais por trás do filme de sucesso Everything Everywhere All at Once usou a tecnologia da empresa para ajudar a criar certas cenas.
Em 2021, a Runway colaborou com pesquisadores da Universidade de Munique para construir a primeira versão do Stable Diffusion. A Stability AI, uma startup sediada no Reino Unido, entrou em cena para pagar os custos de computação necessários para treinar o modelo em muito mais dados. Em 2022, a Stability AI tornou o Stable Diffusion mainstream, transformando-o de um projeto de pesquisa em um fenômeno global.
Mas as duas empresas não colaboram mais. A Getty agora está entrando com uma ação legal contra a Stability AI – alegando que a empresa usou as imagens da Getty, que aparecem nos dados de treinamento da Stable Diffusion, sem permissão – e a Runway está empenhada em manter distância.
Gen-1 representa um novo começo para Runway. Ele segue um punhado de modelos de texto para vídeo revelados no final do ano passado, incluindo Make-a-Video da Meta e Phenaki do Google, os quais podem gerar videoclipes muito curtos do zero. Também é semelhante ao Dreamix, uma IA generativa do Google revelada na semana passada, que pode criar novos vídeos a partir dos existentes, aplicando estilos específicos. Mas, pelo menos, a julgar pelo demo reel da Runway, o Gen-1 parece ser um avanço na qualidade do vídeo. Por transformar a filmagem existente, também pode produzir vídeos muito mais longos do que a maioria dos modelos anteriores. (A empresa diz que publicará detalhes técnicos sobre o Gen-1 em seu site nos próximos dias.)
Ao contrário da Meta e do Google, a Runway construiu seu modelo pensando nos clientes. “Este é um dos primeiros modelos a ser desenvolvido de forma muito próxima a uma comunidade de criadores de vídeo”, diz Valenzuela. “Ele vem com anos de conhecimento sobre como os cineastas e editores de efeitos visuais realmente trabalham na pós-produção.”
O Gen-1, que roda na nuvem por meio do site da Runway, está sendo disponibilizado para um punhado de usuários convidados hoje e será lançado para todos na lista de espera em algumas semanas.
A explosão do ano passado em IA generativa foi alimentada por milhões de pessoas que colocaram as mãos em poderosas ferramentas criativas pela primeira vez e compartilharam o que fizeram com elas. Valenzuela espera que colocar o Gen-1 nas mãos de profissionais criativos logo terá um impacto semelhante no vídeo.
“Estamos muito perto de ter filmes completos sendo gerados”, diz ele. “Estamos perto de um lugar onde a maior parte do conteúdo que você verá online será gerada por Inteligência Artificial.” (ênfase adicionada).
Artigos recomendados: IA e Tech
Nenhum comentário:
Postar um comentário