IA Generativa e Seus Usos Indevidos
A IA generativa tem se mostrado uma ferramenta poderosa, mas, de acordo com diversos relatos, também tem sido utilizada de maneira inadequada. Fraudes online, cópias de artistas e até mesmo a criação de trabalhos acadêmicos fictícios são apenas algumas das aplicações problemáticas que têm surgido.
Recentemente, um relatório da empresa de inteligência de ameaças Recorded Future revelou que operações de influência estatais estão se beneficiando da tecnologia de geração de voz por IA. A campanha, chamada “Operação Undercut”, foi desenvolvida para minar o apoio europeu à Ucrânia e, com certeza, utilizou produtos comerciais de geração de voz de IA, incluindo a tecnologia da startup ElevenLabs.
Campanha de Desinformação
A campanha em questão lançou vídeos falsos ou tendenciosos em plataformas digitais, utilizando narrações geradas por IA. Esses vídeos direcionados ao público europeu atacavam políticos ucranianos, alegando corrupção e questionando a eficácia da ajuda militar, entre outros temas. Um dos vídeos afirmava que “mesmo os dispositivos de interferência não conseguem salvar os tanques Abrams americanos”, insinuando que enviar tecnologia de ponta para a Ucrânia era uma perda de tempo.
De acordo com o relatório, os criadores dos vídeos “muito provavelmente” utilizaram a tecnologia de IA da ElevenLabs para dar mais credibilidade ao conteúdo.
Para confirmar essa utilização, os pesquisadores da Recorded Future submeteram os clipes ao Classificador de Fala da ElevenLabs, que confirmou a origem do áudio como sendo gerado por eles.
Resultados e Impactos
A ElevenLabs não respondeu a solicitações de comentários sobre o assunto. Embora tenha sido notada a provável utilização de outras ferramentas de geração de voz por IA, nenhuma delas foi identificada. Curiosamente, os produtores da campanha de desinformação acabaram mostrando a eficácia da IA ao publicar alguns vídeos com narrações de humanos que possuíam “um acento russo perceptível”. Em contrapartida, as vozes geradas por IA soavam neutras em múltiplas línguas, como inglês, francês, alemão e polonês.
Por conta da IA, os vídeos enganosos puderam ser lançados rapidamente em várias línguas, incluindo turco. A Recorded Future atribuiu essa atividade à Social Design Agency, uma organização com sede na Rússia que foi sancionada pelo governo dos EUA por operar uma rede de mais de 60 sites que se faziam passar por veículos de notícias legítimos na Europa.
Consequências e Resposta da ElevenLabs
Apesar da campanha, o impacto na opinião pública europeia foi classificado como mínimo. No entanto, essa não é a primeira vez que os produtos da ElevenLabs são associados a usos indevidos. Em janeiro de 2024, uma gravação de robô utilizando a voz do presidente Joe Biden foi identificada, incitando os eleitores a não votarem nas eleições primárias.
Depois disso, a ElevenLabs introduziu novas funcionalidades de segurança, como a proibição automática das vozes de políticos. A empresa proíbe imitações não autorizadas e afirma que utiliza ferramentas de moderação, tanto automáticas como humanas, para garantir essa segurança.
O Crescimento da ElevenLabs
Desde sua fundação em 2022, a ElevenLabs viu um crescimento explosivo. De acordo com informações anteriores, a empresa alcançou uma receita recorrente anual de $80 milhões em menos de um ano, crescendo de $25 milhões, e pode ser avaliada em $3 bilhões em breve.
Com investidores influentes como Andreessen Horowitz e o ex-CEO do Github, Nat Friedman, a ElevenLabs continua a ser um nome em destaque no cenário de IA.
