Controvérsias em Torno da Financiadora OpenAI e da FrontierMath
Uma organização que desenvolve referências matemáticas para inteligência artificial (IA) não divulgou que havia recebido financiamento da OpenAI até recentemente. Isso gerou acusações de falta de transparência entre alguns membros da comunidade de IA.
A Epoch AI, uma organização sem fins lucrativos com apoio primordial da Open Philanthropy, uma fundação de pesquisa e concessão, revelou em 20 de dezembro que a OpenAI ajudou na criação da FrontierMath. Trata-se de um teste com questões de nível avançado, projetado para medir as habilidades matemáticas de uma IA. A FrontierMath foi um dos critérios utilizados pela OpenAI para apresentar sua nova IA, a o3.
No fórum LessWrong, um colaborador da Epoch AI que se identifica como “Meemi”, comentou que muitos dos contribuintes para a FrontierMath não foram informados sobre a participação da OpenAI até que ela se tornou pública.
“A comunicação sobre isso foi opaca,” escreveu Meemi. “Em minha opinião, a Epoch AI deveria ter anunciado o financiamento da OpenAI, e os colaboradores deveriam ter informações claras sobre a possibilidade de seu trabalho ser usado para capacidades, antes de decidirem se trabalharão em um benchmark.”
Nas redes sociais, alguns usuários levantaram preocupações de que essa falta de clareza poderia prejudicar a reputação da FrontierMath como um padrão objetivo. Além de apoiar a FrontierMath, a OpenAI teve acesso a muitos dos problemas e soluções desse benchmark — algo que a Epoch AI não havia revelado antes de 20 de dezembro, quando a o3 foi anunciada.
Em resposta ao post de Meemi, Tamay Besiroglu, diretor associado da Epoch AI e um dos co-fundadores da organização, defendeu que a integridade da FrontierMath não foi comprometida, mas admitiu que a Epoch AI “cometeu um erro” em não ser mais transparente.
“Fomos restringidos de divulgar a parceria até por volta do lançamento da o3, e olhando para trás, deveríamos ter negociado de maneira mais insistente para ter a capacidade de ser transparentes com os colaboradores do benchmark o quanto antes,” disse Besiroglu.
Besiroglu acrescentou que, embora a OpenAI tenha acesso à FrontierMath, eles possuem um “acordo verbal” com a Epoch AI para não utilizar o conjunto de problemas da FrontierMath para treinar sua IA. Isso seria semelhante a ensinar para passar em um teste. A Epoch AI também possui um “conjunto de reserva separado” que serve como uma proteção adicional para a verificação independente dos resultados do benchmark FrontierMath.
“A OpenAI tem sido totalmente solidária com nossa decisão de manter um conjunto de reserva separado e invisível,” escreveu Besiroglu.
No entanto, para complicar ainda mais a situação, o matemático chefe da Epoch AI, Ellot Glazer, mencionou em uma postagem no Reddit que a Epoch AI não conseguiu verificar de forma independente os resultados da FrontierMath para a o3.
“Minha opinião pessoal é que a pontuação da OpenAI é legítima (ou seja, eles não treinaram no conjunto de dados) e que não têm incentivo para mentir sobre as performances de benchmarking internas,” afirmou Glazer. “Contudo, não podemos endossá-los até que nossa avaliação independente esteja completa.”
A situação representa mais um exemplo das dificuldades que surgem ao desenvolver benchmarks empíricos para avaliar a inteligência artificial e garantir os recursos necessários para tal desenvolvimento, sem criar a percepção de conflitos de interesse.
No final das contas, essa situação levanta um ponto importante: a transparência é fundamental para a credibilidade e confiabilidade dos benchmarks na IA. A comunidade de tecnologia precisa estar atenta a esses desafios e garantir que os padrões sejam realmente objetivos e justos.
