Uma nova ferramenta de voz de IA já está sendo abusada para fazer deepfake em áudios de celebridades

Imagem meramente ilustrativa 

EDT, 31/01/2023 

Por Mariella Moon 

É por isso que não podemos ter coisas boas.

Há alguns dias, a startup de IA de fala ElevenLabs lançou uma versão beta de sua plataforma que oferece aos usuários o poder de criar vozes sintéticas totalmente novas para áudio de conversão de texto em fala ou para clonar a voz de alguém. Bem, a internet levou apenas alguns dias para começar a usar o último para fins vis. A empresa revelou no Twitter que está vendo um "número crescente de casos de uso indevido de clonagem de voz" e que está pensando em uma maneira de resolver o problema "implementando proteções adicionais".

Embora o ElevenLabs não tenha elaborado o que significa "casos de uso indevido", o Motherboard encontrou postagens no 4chan com clipes com vozes geradas parecidas com as de celebridades lendo ou dizendo algo questionável. Um clipe, por exemplo, apresentava uma voz que parecia a de Emma Watson lendo uma parte de Mein Kampf. Os usuários também postaram clipes de voz que apresentam sentimentos homofóbicos, transfóbicos, violentos e racistas. Não está totalmente claro se todos os clipes usaram a tecnologia do ElevenLab, mas um post com uma ampla coleção de arquivos de voz no 4chan incluiu um link para a plataforma da startup. 

Talvez esse surgimento de clipes de áudio "deepfake" não deva ser uma surpresa, já que alguns anos atrás, vimos um fenômeno semelhante acontecer. Avanços em IA e aprendizado de máquina levaram a um aumento de vídeos deepfake, especificamente pornografia deepfake, em que materiais pornográficos existentes são alterados para usar rostos de celebridades. E, sim, as pessoas usaram o rosto de Emma Watson em alguns desses vídeos.

A ElevenLabs agora está reunindo feedback sobre como impedir que os usuários abusem de sua tecnologia. No momento, suas ideias atuais incluem adicionar mais camadas à verificação da conta para permitir a clonagem de voz, como exigir que os usuários insiram informações de pagamento ou um ID. Também está considerando que os usuários verifiquem a propriedade dos direitos autorais da voz que desejam clonar, como fazer com que eles enviem uma amostra com o texto solicitado. Por fim, a empresa está pensando em abandonar completamente sua ferramenta Voice Lab e fazer com que os usuários enviem solicitações de clonagem de voz que devem ser verificadas manualmente. 

Crazy weekend - thank you to everyone for trying out our Beta platform. While we see our tech being overwhelmingly applied to positive use, we also see an increasing number of voice cloning misuse cases. We want to reach out to Twitter community for thoughts and feedback!

— ElevenLabs (@elevenlabsio) January 30, 2023

Artigos recomendados: DPF e IA

Fonte:https://www.engadget.com/ai-voice-tool-deepfake-celebrity-audio-clips-094648743.html