Google testa seu modelo Gemini com respostas da IA Claude da Anthropic
Os contratados que estão trabalhando para aprimorar a IA Gemini do Google têm comparado suas respostas com as produzidas pelo modelo concorrente Claude, desenvolvido pela Anthropic. Essas informações foram reveladas em correspondência interna que foi analisada pela TechCrunch.
Quando questionado pela TechCrunch, o Google não confirmou se obteve autorização para utilizar Claude em seus testes com o Gemini.
Comparação entre modelos de IA
Com a corrida das empresas de tecnologia para desenvolver modelos de IA mais eficazes, a performance desses modelos é frequentemente avaliada em relação às de seus concorrentes. Normalmente, isso é feito através de benchmarks do setor, em vez de ter os contratados comparando meticulosamente as respostas da concorrência.
Os contratados envolvidos no projeto Gemini têm a tarefa de classificar a precisão das saídas do modelo conforme diversos critérios, como veracidade e extensão das respostas. Eles disporiam de até 30 minutos para decidir qual resposta é melhor, se do Gemini ou do Claude, de acordo com a correspondência vista pela TechCrunch.
Observações sobre segurança
Recentemente, os contratados notaram referências ao Claude surgindo na plataforma interna do Google que usam para comparar o Gemini com outros modelos de IA não identificados. Um dos documentos apresentados aos contratados mencionava explicitamente: “Eu sou Claude, criado pela Anthropic.”
Uma conversa interna revelou que os contratados perceberam que as respostas do Claude pareciam enfatizar mais a segurança em comparação com as do Gemini. Um dos contratados escreveu: “As configurações de segurança do Claude são as mais rigorosas” entre os modelos de IA. Em certas situações, Claude se recusava a responder a prompts que considerava inseguros, como fazer o papel de um assistente de IA diferente. Em outro caso, Claude evitou responder, enquanto a resposta do Gemini foi marcada como uma “enorme violação de segurança” por conter “nudidade e bondage”.
Termos de serviço da Anthropic
Os termos de serviço comerciais da Anthropic proíbem os clientes de acessarem o Claude “para construir um produto ou serviço concorrente” ou “treinar modelos de IA concorrentes” sem a aprovação da Anthropic. O Google é um grande investidor na Anthropic.
Shira McNamara, porta-voz da Google DeepMind, que gerencia o Gemini, não confirmou à TechCrunch se o Google tem a aprovação da Anthropic para acessar o Claude. Antes da publicação, um porta-voz da Anthropic também não comentou.
McNamara disse que a DeepMind “compara saídas de modelos” para avaliações, mas que não treina o Gemini com base nos modelos da Anthropic. “Claro, de acordo com a prática padrão da indústria, em alguns casos comparamos saídas de modelos como parte do nosso processo de avaliação”, afirmou McNamara. “No entanto, qualquer sugestão de que usamos modelos da Anthropic para treinar o Gemini é imprecisa.”
Na semana passada, a TechCrunch informou com exclusividade que os contratados que trabalham nos produtos de IA do Google agora estão sendo forçados a avaliar as respostas de IA do Gemini em áreas que estão além de sua especialização. Correspondência interna expressou preocupações dos contratados de que o Gemini poderia gerar informações imprecisas sobre tópicos muito sensíveis, como saúde.
Você pode enviar dicas de forma segura para este repórter no Signal pelo número +1 628-282-2811.
