Google apresenta novo modelo de IA com capacidade de “identificar” emoções
A Google revelou, na última quinta-feira, a nova família de modelos de IA PaliGemma 2, que possui uma característica curiosa: a capacidade de “identificar” emoções. Esses modelos podem analisar imagens, permitindo que a IA gere legendas e responda a perguntas sobre as pessoas que “vê” nas fotos.
“PaliGemma 2 gera legendas detalhadas e contextualmente relevantes para as imagens”, informou a Google em um post no blog compartilhado com a TechCrunch. “Esse modelo vai além da simples identificação de objetos, descrevendo ações, emoções e a narrativa geral da cena.”
Como funciona o PaliGemma 2
O PaliGemma 2 é baseado no conjunto de modelos abertos Gemma da Google, mais especificamente, na série Gemma 2.
No entanto, a identificação de emoções não funciona automaticamente; o PaliGemma 2 precisa ser ajustado para essa finalidade. Apesar disso, especialistas ouvidos pela TechCrunch expressaram preocupação com a possibilidade de um detector de emoções disponível ao público.
“Isso é muito preocupante para mim”, disse Sandra Wachter, professora de ética de dados e IA no Oxford Internet Institute, à TechCrunch. “Acho problemático supor que podemos ‘ler’ as emoções das pessoas. É como perguntar a uma Magic 8 Ball para dar conselhos.”
O desafio da detecção de emoções
- No decorrer dos anos, startups e gigantes da tecnologia tentaram construir IA que detectasse emoções.
- Alguns alegam ter conseguido, mas a ciência permanece em bases empíricas frágeis.
A maioria dos detectores de emoções se baseia nos trabalhos iniciais de Paul Ekman, psicólogo que teorizou que os humanos compartilham seis emoções fundamentais: raiva, surpresa, nojo, prazer, medo e tristeza. Estudos subsequentes, no entanto, levantaram dúvidas sobre a hipótese de Ekman, demonstrando que existem diferenças significativas na forma como pessoas de diferentes origens expressam suas emoções.
“A detecção de emoções não é algo possível de forma geral, porque as pessoas vivenciam emoções de maneiras complexas”, afirmou Mike Cook, pesquisador da Queen Mary University especializado em IA, à TechCrunch. “Certamente, pensamos que podemos identificar o que os outros estão sentindo apenas ao observá-los. Muitas pessoas, ao longo dos anos, tentaram, como agências de espionagem ou empresas de marketing.”
Questões éticas e consequências práticas
A consequência preocupante é que sistemas que detectam emoções tendem a ser não confiáveis e tendenciosos, influenciados pelas suposições de seus criadores. Uma pesquisa do MIT de 2020 mostrou que modelos de análise facial poderiam desenvolver preferências não intencionais por determinadas expressões, como o sorriso. Trabalhos mais recentes sugerem que modelos de análise emocional atribuem emoções mais negativas a rostos de pessoas negras do que a rostos de pessoas brancas.
A Google afirma ter realizado “extensos testes” para avaliar os preconceitos demográficos no PaliGemma 2, encontrando “baixos níveis de toxicidade e profanidade” em comparação com padrões da indústria. No entanto, a empresa não divulgou a lista completa de benchmarks utilizados, nem indicou quais testes foram conduzidos.
Regulamentação e preocupações com o uso indevido
O único benchmark divulgado pela Google é o FairFace, um conjunto de milhares de fotos de pessoas. A empresa afirma que o PaliGemma 2 teve um bom desempenho no FairFace. No entanto, alguns pesquisadores criticaram essa métrica como um indicador de viés, observando que o FairFace representa apenas um número restrito de grupos raciais.
“Interpretar emoções é uma questão bastante subjetiva que vai além do uso de apoio visual e está profundamente embutida em contextos pessoais e culturais”, disse Heidy Khlaaf, cientista-chefe de IA no AI Now Institute. “A pesquisa mostrou que não podemos inferir emoções apenas a partir das características faciais.”
Os sistemas de detecção de emoções têm gerado controvérsia entre reguladores em outros países, que buscam limitar o uso dessa tecnologia em contextos de alto risco. O AI Act, uma importante peça da legislação de IA na UE, proíbe escolas e empregadores de implementarem detectores de emoções.
“Se essa chamada ‘identificação emocional’ for baseada em pressupostos pseudocientíficos, há implicações significativas em como essa capacidade pode ser usada, perpetuando e discriminando falsamente grupos marginalizados”, alertou Khlaaf.
Reflexões sobre inovação responsável
Questionada sobre os perigos do lançamento público do PaliGemma 2, uma porta-voz da Google afirmou que a empresa confia em seus testes para identificar danos representacionais relacionados a perguntas visuais e legendas. “Nós realizamos avaliações robustas dos modelos PaliGemma em relação à ética e à segurança, incluindo a segurança infantil e a segurança de conteúdo”, acrescentou.
No entanto, Wachter não está convencida de que isso seja suficiente. “A inovação responsável significa que você pensa nas consequências desde o primeiro dia em que entra no laboratório e continua a fazê-lo durante todo o ciclo de vida de um produto”, concluiu. “Posso pensar em inúmeras questões potenciais que podem levar a um futuro distópico, em que suas emoções determinam se você consegue um emprego, um empréstimo ou se é admitido na universidade.”
