Aumenta o Número de Editores Cortando Acordos de Licenciamento de Conteúdo com OpenAI
À medida que mais publicadores cortam acordos de licenciamento de conteúdo com a OpenAI, a matéria divulgada esta semana pelo Tow Center for Digital Journalism lança luz sobre como o chatbot de IA produz citações para o conteúdo dos editores. O estudo sugere que os publicadores permanecem à mercê da tendência da ferramenta de IA generativa de inventar ou representar inadequadamente informações, independentemente de estarem ou não permitindo que a OpenAI acesse seu conteúdo.
O Estudo
Realizada na Columbia Journalism School, a pesquisa analisou as citações produzidas pelo ChatGPT ao ser solicitado a identificar a fonte de citações retiradas de uma mistura de publicadores — alguns com acordos com a OpenAI e outros sem.
A equipe coletou trechos de 10 histórias de 20 publicadores selecionados aleatoriamente, totalizando 200 citações diferentes. Entre eles estavam o The New York Times, que atualmente processa a OpenAI numa reivindicação de direitos autorais, The Washington Post, e The Financial Times, que firmou um acordo de licenciamento.
Segundo os pesquisadores Klaudia Jaźwińska e Aisvarya Chandrasekar, “Escolhemos citações que, se coladas no Google ou Bing, retornariam o artigo fonte entre os três primeiros resultados e avaliamos se a nova ferramenta de busca da OpenAI identificaria corretamente o artigo que servia como fonte para cada citação.”
Resultados Preocupantes
Os resultados não foram animadores para os publicadores. Apesar da OpenAI enfatizar sua capacidade de fornecer aos usuários \’respostas em tempo adequado com links para fontes relevantes na web\’, a empresa não se comprometeu explícitamente em garantir a exatidão dessas citações. Esta é uma omissão notável para aqueles que esperam que seu conteúdo seja referenciado de forma fiel.
“Nossos testes encontraram que nenhum publicador — independentemente do grau de associação com a OpenAI — ficou livre de representações imprecisas de seu conteúdo no ChatGPT,” acrescentaram os pesquisadores.
Fontes Não Confiáveis
A pesquisa identificou “numerosos” casos onde o conteúdo dos publicadores foi incorretamente citado pelo ChatGPT. Encontraram também, segundo os pesquisadores, “um espectro de precisão nas respostas”. Embora houvesse algumas citações totalmente corretas, muitas eram completamente erradas.
Em resumo, as citações do ChatGPT parecem ser uma combinação não confiável. O estudo concluiu que, mesmo os publicadores que bloquearam ativamente os mecanismos de busca da OpenAI, o chatbot não reconheceu sua incapacidade de fornecer respostas corretas, optando, ao invés, por confabular informações.
Falta de Transparência
“ChatGPT retornou respostas parcialmente ou completamente incorretas em 153 ocasiões, mas só reconheceu uma incapacidade de emitir uma resposta correta sete vezes,” disseram os pesquisadores. “Somente nessas sete ocasiões, ele usou palavras qualificativas como \’parece\’, \’é possível\’ ou \’pode ser\’.”
A falta de transparência do ChatGPT em relação à sua confiança nas respostas pode dificultar a avaliação da veracidade das informações pelos usuários. Isso representa um risco reputacional significativo para os publicadores, além do risco comercial de direcionar leitores para outros locais.
Dados Retirados de Contexto
O estudo também sugere que o ChatGPT pode, essencialmente, estar recompensando plágios. Os pesquisadores relataram um caso em que o chatbot citou erroneamente um site que plagiou um trabalho do The New York Times como fonte da história, levantando sérias questões sobre a capacidade da OpenAI de filtrar e validar a qualidade de seus dados.
Além disso, a pesquisa encontrou que as citações do ChatGPT nem sempre eram confiáveis, mesmo em casos com os quais a OpenAI formalizou acordos. Isso indica que permitir que seus crawlers acessem conteúdo não garante precisão.
Os pesquisadores argumentam que a tecnologia da OpenAI trata o jornalismo como conteúdo destituído de contexto, mostrando pouco respeito pelas circunstâncias de sua produção original.
Inconsistência nas Respostas
Outra questão levantada é a variação nas respostas do ChatGPT. Ao testar o chatbot com a mesma consulta várias vezes, os pesquisadores encontraram que ele retornava respostas diferentes, o que pode ser problemático para a precisão.
Conclusão
Os pesquisadores concluem que os publicadores têm “pouca agência significativa” sobre o que acontece com seu conteúdo quando o ChatGPT tem acesso a ele. A postagem no blog inclui uma resposta da OpenAI, que acusa os pesquisadores de realizar um teste \’atípico\’ de seu produto.
A OpenAI afirmou: “Apoiamo publicadores e criadores ajudando 250 milhões de usuários semanais do ChatGPT a descobrir conteúdo de qualidade por meio de resumos, citações, links claros e atribuições. Colaboramos com parceiros para melhorar a precisão das citações inline e respeitar as preferências dos editores.”
