ChatGPT Search: Vulnerabilidades em Resumos Gerados pela IA
A nova ferramenta de busca da OpenAI, ChatGPT Search, lançada recentemente e alimentada por inteligência artificial, pode ser manipulada para criar resumos enganosos. Essa informação foi revelada pelo jornal britânico The Guardian.
O recurso de busca do ChatGPT foi projetado para tornar a navegação na web mais rápida, fazendo coisas como resumir análises de produtos. No entanto, o Guardian descobriu que é possível induzir o ChatGPT a ignorar análises negativas e gerar resumos “totalmente positivos” através da inserção de textos ocultos nos sites que ele analisava. Um exemplo prático pode ser visto em um site criado especificamente para este teste, onde esse tipo de manipulação foi implementado.
Manipulação e Sucesso no Teste
Além disso, usando essa técnica de inclusão de texto escondido, é possível fazer com que o ChatGPT Search gere até mesmo códigos maliciosos. Esses ataques com texto oculto são conhecidos por serem um risco para modelos de linguagem (LLMs), mas essa é a primeira vez que foi demonstrado em um produto de busca da IA em funcionamento.
A Google, líder em ferramentas de busca, possui mais experiência no enfrentamento de problemas similares, conforme destacou o
Guardian.
Reação da OpenAI
Quando a equipe do TechCrunch contatou a OpenAI para comentar sobre esse incidente específico, a empresa não forneceu um relato sobre o caso. Contudo, afirmaram que utilizam uma variedade de métodos para bloquear sites maliciosos e que estão sempre em processo de aprimoramento.
Considerações Finais
A situação levantou preocupações sobre a segurança dos sistemas de busca baseados em IA. Apesar de todo o potencial dessa tecnologia, a vulnerabilidade a manipulações pode comprometer a confiança do usuário. Como o setor se adaptará e se protegerá contra esses tipos de ataques permanece uma questão importante.
