A Indústria de IA Pode Estar Mudando de Rumo
Os laboratórios de inteligência artificial (IA) que buscam desenvolver sistemas superinteligentes estão começando a perceber que podem ter que fazer um desvio em sua jornada.
Os “códigos de escalabilidade de IA”, os métodos que os laboratórios têm usado nos últimos cinco anos para aumentar as capacidades de seus modelos, agora apresentam sinais de retornos decrescentes. Essa avaliação foi compartilhada por vários investidores, fundadores e CEOs do setor durante conversas com a TechCrunch. Esses sentimentos se refletem em relatórios recentes que indicam que os modelos nos principais laboratórios de IA estão apresentando avanços mais lentos do que antes.
Atualmente, todos parecem concordar que não basta aumentar o poder computacional e a quantidade de dados durante o pré-treinamento de grandes modelos de linguagem para esperar que eles se tornem um tipo de deus digital todo-poderoso. Embora isso possa soar como uma obviedade, essas leis de escalabilidade foram um fator chave no desenvolvimento do ChatGPT e influenciaram muitos CEOs a fazer previsões ousadas sobre a chegada da AGI (Inteligência Geral Artificial) em poucos anos, conforme relatado por fontes do setor.
Novas Estratégias em Foco
O cofundador da OpenAI e Safe Super Intelligence, Ilya Sutskever, afirmou à Reuters que “todos estão em busca da próxima coisa” para escalar seus modelos de IA. No início deste mês, o cofundador da a16z, Marc Andreessen, mencionou em um podcast que os modelos de IA parecem estar convergindo para um mesmo limite de capacidades.
Contudo, logo após o surgimento dessas preocupações, executivos de IA, pesquisadores e investidores já estão afirmando que estamos entrando em uma nova era de leis de escalabilidade. A “computação em tempo de teste”, que possibilita que os modelos de IA tenham mais tempo e recursos computacionais para “pensar” antes de responder uma pergunta, é um forte candidato a ser a próxima grande inovação.
“Estamos vendo o surgimento de uma nova lei de escalabilidade”, comentou Satya Nadella, CEO da Microsoft, durante o Microsoft Ignite.
Ele não é o único a apontar para o modelo o1 da OpenAI como o futuro da IA.
O Que São as Leis de Escalabilidade de IA?
As rápidas melhorias dos modelos de IA que OpenAI, Google, Meta e Anthropic alcançaram desde 2020 podem ser atribuídas a um insight chave: usar mais recursos computacionais e mais dados durante a fase de pré-treinamento.
Durante essa fase, em que a IA identifica e armazena padrões em grandes conjuntos de dados, os modelos tendem a ter um desempenho melhor em prever a próxima palavra ou frase.
Essa primeira geração de leis de escalabilidade de IA ampliou os limites do que os computadores podiam fazer, já que os engenheiros aumentaram o número de GPUs e a quantidade de dados utilizados no treinamento.
No entanto, mesmo que essa metodologia tenha sido poderosa, está se esgotando, com especialistas alertando que não existem garantias de que as leis de escalabilidade continuarão a funcionar no mesmo ritmo. Robert Nishihara, cofundador da Anyscale, enfatizou que “se você simplesmente colocar mais computação e mais dados, os retornos são decrescentes”.
O Futuro da Escalabilidade: Computação em Tempo de Teste
Quando a OpenAI lançou uma prévia de seu modelo o1, anunciou que essa abordagem fazia parte de uma nova série de modelos, separada dos anteriores baseados em GPT.
A computação em tempo de teste está ganhando atenção crescente como o próximo método para escalar sistemas de IA. Anjney Midha, parceiro da Andreessen Horowitz, declarou que “diversos experimentos mostram que, embora as leis de escalabilidade na pré-temporada possam estar desacelerando, as leis de escalabilidade no tempo de teste podem proporcionar ganhos crescentes em desempenho”.
O modelo o1 da OpenAI se destaca ao permitir que órgãos da IA se re-prometam várias vezes, analisando um grande problema em partes menores. Essa abordagem se inspira em métodos humanos de resolução de problemas.
Ninguém Está em Pânico, Mas Mudanças São Necessárias
A maioria dos profissionais da IA não parece estar alarmada com a desaceleração das leis antigas de escalabilidade. Mesmo que a computação em tempo de teste não se prove a próxima grande onda, há um consenso de que estamos apenas arranhando a superfície das aplicações para os modelos atuais.
Novos produtos populares poderiam dar aos desenvolvedores de modelos de IA tempo para encontrar novas maneiras de aprimorar as tecnologias subjacentes. Kian Katanforoosh, CEO da startup de IA Workera, afirmou que não é necessariamente preciso ter modelos exponencialmente mais inteligentes para construir produtos melhores.
“As empresas que desenvolvem aplicações de IA, como a minha, estão explorando como aprimorar a experiência do usuário e resolver problemas existentes”, concluiu Katanforoosh.
Independentemente do futuro da pesquisa em IA, espera-se que as mudanças decorrentes dessas novas abordagens não sejam sentidas tão rapidamente pelos usuários. Contudo, as empresas de tecnologia continuarão a buscar maneiras de desenvolver modelos mais poderosos e rápidos, adaptando suas estratégias na busca contínua por inovações.
