François Chollet Lança Fundação Sem Fins Lucrativos para Avaliar Inteligência Artificial
François Chollet, um ex-engenheiro do Google e influente pesquisador na área de inteligência artificial (IA), está cofundando uma fundação sem fins lucrativos com o objetivo de desenvolver benchmarks que avaliem a inteligência em nível humano das máquinas.
A nova organização, batizada de ARC Prize Foundation, será presidida por Greg Kamradt, ex-diretor de engenharia da Salesforce e fundador do estúdio de produtos de IA, a Leverage. Kamradt também fará parte do conselho da fundação.
“Estamos evoluindo para uma verdadeira fundação sem fins lucrativos, que servirá como uma luz guia em direção à inteligência artificial geral,” escreveu Chollet em uma postagem no site da fundação.
A inteligência artificial geral é um termo um tanto nebuloso, mas geralmente se refere a IA que consegue desempenhar a maioria das tarefas que os humanos realizam. Chollet enfatizou a importância de promover o progresso na área, buscando entender e preencher a lacuna nas capacidades humanas.
Desenvolvimento do ARC-AGI
A ARC Prize Foundation dará continuidade ao ARC-AGI, um teste idealizado por Chollet para avaliar se um sistema de IA pode adquirir novas habilidades de forma eficiente, mesmo fora dos dados em que foi treinado.
Apresentado em 2019, o ARC-AGI, que significa Corpo de Raciocínio e Abstração para Inteligência Artificial Geral, propõe uma série de problemas semelhantes a quebra-cabeças. O teste foi projetado para forçar a IA a se adaptar a novos desafios que nunca viu antes.
- Problemas consistem em gerar a grade de “respostas” correta a partir de quadrados de diferentes cores.
- Até recentemente, a IA de melhor desempenho solucionava pouco menos de um terço das tarefas do ARC-AGI.
Chollet destacou que, diferente da maioria dos benchmarks de IA, o objetivo do ARC-AGI não é medir o risco da inteligência artificial com questões exageradamente complexas. “Versões futuras do benchmark irão se concentrar em diminuir a lacuna da capacidade humana até zero,” afirmou.
Desafios e Futuro da ARC Prize Foundation
No ano passado, Chollet, junto ao cofundador da Zapier, Mike Knoop, deu início a uma competição cujo objetivo é desenvolver uma IA que consiga superar o ARC-AGI. O modelo o3 da OpenAI, ainda não lançado, foi o primeiro a alcançar uma pontuação qualificada, mas com um alto custo computacional.
Chollet também deixou claro que o ARC-AGI tem falhas. Muitos modelos têm conseguido otimizar seus desempenhos com força bruta e ele não acredita que o modelo o3 possua inteligência em nível humano.
Knoop afirmou que os planos incluem o lançamento de uma segunda geração do benchmark ARC-AGI ainda este ano, junto com uma nova competição, além do desenvolvimento da terceira edição do ARC-AGI. Será interessante observar como a ARC Prize Foundation lidará com as críticas que Chollet recebeu por supostamente ter exagerado as capacidades do ARC-AGI como um benchmark na busca pela AGI.
Além disso, o CEO da OpenAI, Sam Altman, mencionou um desejo de parceria com a equipe do ARC-AGI para desenvolver benchmarks futuros. No entanto, Chollet não trouxe atualizações sobre possíveis colaborações.
Opinião
Com o crescente debate sobre a eficácia e os limites da inteligência artificial, a iniciativa de Chollet e sua nova fundação pode trazer um sopro de esperança. Como será o futuro da IA e sua real capacidade de alcançar um nível comparável ao humano? Isso só o tempo dirá.
