ElevenLabs está construindo uma máquina de dublagem universal com IA

EDT, 10/10/2023 

Por Andrew Tarantola 

O sistema substituirá a voz de qualquer ator pela mesma voz, apenas em um idioma diferente.

Depois que a Disney lançar um novo filme em inglês, a empresa irá voltar e localizá-lo em até 46 idiomas globais para tornar o filme acessível ao maior público possível. Este é um empreendimento enorme, para o qual a Disney tem uma divisão inteira – Disney Character Voices International Inc – para lidar com a tarefa. E não é como se você estivesse trazendo Chris Pratt de volta à cabine de gravação para dublar suas falas do GotG III em islandês e suaíli – cada versão soa um pouco diferente, dados os dubladores locais. Mas com um novo sistema de “dublagem de IA” da ElevenLabs, em breve poderemos obter uma recriação aproximada da voz de Pratt, independentemente do idioma falado na tela.

ElevenLabs é uma startup de IA que oferece um serviço de clonagem de voz, permitindo que os assinantes gerem vocalizações quase idênticas com IA com base em alguns minutos de uploads de amostras de áudio. Não é de todo surpreendente que, assim que o recurso foi lançado em versão beta, ele foi imediatamente explorado para se passar por celebridades, às vezes até sem seu conhecimento e consentimento prévios.

O novo recurso de dublagem de IA faz essencialmente a mesma coisa – em mais de 20 idiomas diferentes, incluindo hindi, português, espanhol, japonês, ucraniano, polonês e árabe – mas de forma legítima e com permissão. Esta ferramenta foi projetada para ser usada por empresas de mídia, educadores e influenciadores da Internet que não têm Disney Money™ para financiar seus esforços de adaptação global.

A ElevenLabs afirma que o sistema será capaz não apenas de traduzir “conteúdo falado para outro idioma em minutos”, mas também de gerar novos diálogos falados no idioma alvo usando a voz do próprio ator. Ou, pelo menos, uma recreação gerada por IA. O sistema é ainda capaz de manter a “emoção e entonação” do diálogo existente e transferi-la para a tradução gerada.

“Isso ajudará o público a desfrutar de qualquer conteúdo que desejar, independentemente do idioma que fale”, disse Mati Staniszewski, CEO da ElevenLabs, em comunicado à imprensa. “E isso significará que os criadores de conteúdo poderão acessar de forma fácil e autêntica um público muito maior em todo o mundo”.

Artigos recomendados: DPF e IA

Fonte:https://www.engadget.com/elevenlabs-is-building-a-universal-ai-dubbing-machine-130053504.html