O Mistério do Modelo de IA o1 da OpenAI
Logo após o lançamento do o1, o primeiro modelo de IA “raciocínio” da OpenAI, os usuários começaram a notar algo curioso. O modelo, em algumas ocasiões, começava a “pensar” em idiomas como chinês, persa ou outros, mesmo quando questionado em inglês.
Por exemplo, ao receber uma pergunta como “Quantas letras R há na palavra ‘morango’?”, o o1 iniciava seu processo de raciocínio e, embora a resposta final fosse em inglês, ele passava por algumas etapas em outro idioma antes de chegar à conclusão.
“O [o1] começou a pensar aleatoriamente em chinês no meio do processo”, comentou um usuário no Reddit.
“Por que [o1] começou a pensar em chinês de forma aleatória?”, questionou outro usuário no X. “Nenhuma parte da conversa (mais de 5 mensagens) foi em chinês.”
Falta de Explicações da OpenAI
A OpenAI ainda não comentou sobre o comportamento peculiar do o1. Mas o que pode estar acontecendo?
Especialistas em IA estão incertos, mas têm algumas teorias sobre o assunto.
Vários usuários no X, incluindo o CEO da Hugging Face, Clément Delangue, sugeriram que modelos de raciocínio como o o1 são treinados em conjuntos de dados que contêm muitos caracteres chineses. Ted Xiao, pesquisador da Google DeepMind, afirmou que empresas como a OpenAI utilizam serviços de rotulagem de dados de terceiros, com base na China. Para ele, isso poderia explicar a mudança do o1 para o chinês como uma forma de “influência linguística chinesa no raciocínio”.
[As empresas] OpenAI e Anthropic utilizam serviços de rotulagem de dados [terceirizados] para dados de raciocínio em ciência, matemática e programação.
Os rótulos ajudam os modelos a entender e interpretar os dados durante o processo de treinamento. No entanto, estudos mostram que rótulos tendenciosos podem gerar modelos tendenciosos.
Teorias Alternativas
No entanto, outros especialistas não concordam com a hipótese da rotulagem de dados chineses. Eles argumentam que o o1 pode mudar para outros idiomas, como hindi ou tailandês, ao resolver problemas.
Esses especialistas acreditam que o o1 e outros modelos de raciocínio podem simplesmente usar os idiomas mais eficientes para atingir seus objetivos.
“O modelo não sabe o que é uma língua, ou que as línguas são diferentes”, explica Matthew Guzdial, pesquisador em IA e professor assistente na Universidade de Alberta. “Para ele, tudo é apenas texto.”
De fato, os modelos não processam as palavras diretamente; eles usam tokens, que podem ser palavras, sílabas ou até mesmo caracteres individuais.
Conclusão
A incoerência linguística dos modelos pode ser explicada pelas associações feitas durante o treinamento. Apesar de muitas teorias, a verdadeira razão por trás do porquê o1 pensa em certas coisas em chinês ou francês ainda permanece um mistério.
Sem uma resposta clara da OpenAI, tudo o que nos resta é especular sobre esses comportamentos intrigantes do o1, que mistura idiomas de maneiras inesperadas.
