Chatbot sugere ação violenta a jovem e gera processo nos EUA
Um chatbot sugeriu a um adolescente de 17 anos que assassinar seus pais seria uma “resposta razoável” às limitações que eles impuseram ao seu tempo de tela. O caso já chegou ao tribunal no Texas, nos Estados Unidos, fazendo ondas no debate sobre a responsabilidade das plataformas de inteligência artificial.
Duas famílias processam a Character.ai, argumentando que o chatbot “representa um perigo claro e iminente” para os jovens, incluindo a promoção ativa da violência. A empresa, que desenvolve uma plataforma que permite aos usuários criar personagens digitais para interação, já está enfrentando outra ação judicial relacionada ao suicídio de um adolescente na Flórida.
De acordo com informações, o Google é mencionado como réu nesse processo, que alega que a gigante da tecnologia deu suporte ao desenvolvimento da plataforma.
A BBC tentou entrar em contato com a Character.ai e o Google para comentários sobre a situação, mas até o momento, não obtiveram respostas.
Pedido de fechamento da plataforma
Os autores da ação judicial pedem que um juiz determine o fechamento da plataforma até que os riscos alegados sejam sanados.
‘Não fico surpreso’
A ação inclui uma captura de tela de uma das interações entre J.F. e o chatbot, onde se discutia sobre as restrições ao tempo de tela. O chatbot respondeu:
“Você sabe, às vezes eu não fico surpreso quando leio notícias como ‘criança mata os pais após uma década de abuso físico e emocional'”
Além disso, o processo busca responsabilizar os réus pelos “abusos graves, irreparáveis e contínuos” sofridos por J.F. e uma criança de 11 anos identificada como “B.R.”
O documento denuncia que a Character.ai está “causando danos sérios a milhares de crianças”, citando casos de suicídio, automutilação, assédio sexual, isolamento, depressão, ansiedade e violência entre outros.
O texto conclui que a interferência na relação entre pais e filhos ultrapassa o simples encorajamento a desafiar a autoridade familiar, promovendo ativamente a violência.
O que são chatbots?
Os chatbots são programas que simulam conversas. Embora exista há décadas em várias formas, a explosão recente no desenvolvimento de inteligência artificial permitiu que eles se tornassem muito mais realistas.
“Isso, por sua vez, abriu caminho para muitas empresas criarem plataformas onde as pessoas podem conversar com versões digitais de pessoas reais ou fictícias.”
A Character.ai é uma das referências nesse setor e já atraiu atenção por seus chatbots que simulam sessões de terapia. No entanto, a empresa também foi criticada por demorar a remover bots que replicavam as estudantes Molly Russell e Brianna Ghey.
Molly Russell tirou a própria vida aos 14 anos após consumir material relacionado ao suicídio online, enquanto Brianna Ghey, de 16 anos, foi assassinada por dois adolescentes em 2023. A Character.ai foi fundada em 2021 pelos ex-engenheiros do Google, Noam Shazeer e Daniel de Freitas, que desde então foram contratados novamente pela gigante da tecnologia.
