Modelo o3 da OpenAI provoca novas discussões sobre escalabilidade da IA
Mês passado, fundadores e investidores de IA contaram ao TechCrunch que estamos agora na “segunda era das leis de escalabilidade”, destacando como os métodos tradicionais para melhorar modelos de IA estão mostrando retornos decrescentes. Uma nova abordagem promissora que eles sugeriram é a “escalabilidade em tempo de teste”, que parece ser o que impulsiona o desempenho do modelo o3 da OpenAI, embora traga suas próprias desvantagens.
Boa parte do mundo da IA interpretou o anúncio do modelo o3 da OpenAI como uma prova de que o progresso na escalabilidade da IA não “bateu na parede”. O modelo o3 se destacou em benchmarks, superando todos os outros modelos em um teste de habilidade geral chamado ARC-AGI, e alcançando 25% em um difícil teste matemático, onde nenhum outro modelo de IA ultrapassou 2%.
O que mudou no mundo da IA?
O co-criador da série de modelos o da OpenAI, Noam Brown, observou na sexta-feira que a startup anunciou os impressionantes ganhos do o3 apenas três meses após o anúncio do o1 – um intervalo relativamente curto para um salto de desempenho. Em um tuíte, Brown afirmou:
“Temos todas as razões para acreditar que essa trajetória continuará.”
Outra voz importante na discussão foi Jack Clark, co-fundador da Anthropic, que comentou em um post no blog que o o3 é uma evidência de que o progresso em IA “será mais rápido em 2025 do que em 2024”. É importante considerar, no entanto, que essa afirmação beneficia a Anthropic, especialmente em sua capacidade de levantar capital, mesmo que Clark esteja elogiando um concorrente.
Como funciona a escalabilidade em tempo de teste?
A escalabilidade em tempo de teste significa que a OpenAI está usando mais capacidade computacional durante a fase de inferência do ChatGPT, ou seja, o momento após clicar “enter” em um comando. Não está claro exatamente como isso acontece nos bastidores: a OpenAI pode estar usando mais chips de computador para responder a uma pergunta do usuário, utilizando chips de inferência mais potentes ou operando esses chips por mais tempo – de 10 a 15 minutos em alguns casos – antes que a IA produza uma resposta.
Embora o o3 possa gerar uma nova crença no progresso das leis de escalabilidade da IA, o novo modelo da OpenAI também utiliza um nível de computação sem precedentes, o que implica um maior custo por resposta. Clark aponta em seu blog que
“uma razão pela qual o o3 é tão superior é que custa mais para rodar em tempo de inferência”
. Isso torna os custos de execução de sistemas de IA um pouco menos previsíveis do que antes.
Desempenho do o3 e o futuro
Clark e outros destacaram o desempenho do o3 no benchmark ARC-AGI como um indicador de seu progresso. Vale notar que, de acordo com seus criadores, passar por esse teste não significa que um modelo de IA alcançou AGI, mas é uma forma de medir o progresso em direção a esse objetivo complexo. O modelo o3 superou todas as pontuações anteriores, alcançando 88% em uma de suas tentativas, enquanto o melhor modelo anterior, o o1, pontuou apenas 32%.
Entretanto, o uso de mais de $1000 em computação por cada tarefa com o o3 pode ser alarmante. O criador do benchmark, François Chollet, explicou que a OpenAI utilizou cerca de 170 vezes mais computação para alcançar a pontuação de 88% em comparação com uma versão de alta eficiência do o3 que ficou apenas 12% abaixo disso.
Desafios e futuras considerações
É cedo para se preocupar com a precificação de tudo isso – vimos os preços de modelos de IA despencarem no último ano, e a OpenAI ainda não anunciou quanto o o3 custará. Isso levanta questões sobre o que o o3 realmente oferece e quanto mais computação será necessária para fazer avanços com o o4, o o5 ou outros modelos de raciocínio que a OpenAI venha a lançar.
A grande questão que fica no ar é: os modelos como o o3 são realmente viáveis para o uso diário? Para perguntas simples, como saber se o Cleveland Browns ainda pode chegar aos playoffs de 2024, talvez não sejam a melhor escolha. Eles parecem mais adequados para perguntas profundas e estratégicas. E, como enfatiza o professor Ethan Mollick,
“O o3 parece muito caro para a maioria dos usos. Porém, em áreas como academia e finanças, pagar centenas ou até milhares de dólares por uma resposta certeira pode não ser proibitivo”
No geral, o modelo o3 representa um avanço notável no desempenho dos modelos de IA, mas também levanta perguntas importantes sobre seu uso e custos. O sucesso do o3 vai definitivamente reforçar a ideia de que a escalabilidade em tempo de teste é a próxima grande aposta da indústria de tecnologia para desenvolver modelos de IA.
