AI2 busca diminuir a lacuna entre inteligência artificial de código aberto e grandes empresas
Se você perguntar a qualquer membro da comunidade de IA de código aberto, eles dirão que a diferença entre eles e as grandes empresas privadas vai muito além da capacidade computacional. A AI2 está se esforçando para mudar isso, primeiramente com bancos de dados e modelos completamente de código aberto, e agora com um regime de pós-treinamento aberto e facilmente adaptável para transformar modelos de linguagem grandes, ou large language models (LLMs), “crus” em versões utilizáveis.
Ao contrário do que muitos pensam, os modelos de linguagem “foundation” não saem do processo de treinamento prontos para uso imediato. O pré-treinamento é necessário, claro, mas está longe de ser suficiente. Alguns acreditam até que o pré-treinamento pode em breve deixar de ser a parte mais importante desse processo.
Isso acontece porque o processo de pós-treinamento está se mostrando cada vez mais como o lugar onde o verdadeiro valor pode ser criado.
É nesse estágio que o modelo é moldado a partir de uma vasta rede que pode tão facilmente gerar pontos de vista negacionistas sobre o Holocausto quanto receitas de bolachas. É, portanto, um desafio que deve ser cuidadosamente considerado!
As empresas são secretivas sobre seus regimes de pós-treinamento porque, embora todos possam coletar dados da web e criar um modelo com métodos de ponta, tornar esse modelo útil para um terapeuta ou analista de pesquisa é uma tarefa completamente diferente.
A AI2 (anteriormente conhecida como Instituto Allen para IA) se manifestou sobre a falta de transparência em projetos de IA que se dizem “abertos”, como o Llama do Meta. Embora o modelo esteja disponível para qualquer um usar e modificar, as fontes e os processos de criação do modelo bruto, assim como o método de treiná-lo para uso geral, permanecem segredos cuidadosamente protegidos. Não é completamente negativo, mas também não é realmente “aberto”.
Por outro lado, a AI2 está comprometida em ser o mais aberta possível, expondo seu processo de coleta, curadoria e limpeza de dados, além dos métodos de treinamento usados para produzir LLMs como o OLMo.
A verdade simples é que poucos desenvolvedores têm as habilidades necessárias para operar seus próprios LLMs desde o início, e ainda menos podem realizar o pós-treinamento da mesma forma que empresas como Meta, OpenAI ou Anthropic — em parte porque não possuem o conhecimento, mas também porque é tecnicamente complexo e consome muito tempo.
Felizmente, a AI2 quer democratizar esse aspecto do ecossistema de IA também. É aí que entra o Tulu 3. Trata-se de uma enorme melhoria em relação ao processo anterior de pós-treinamento, conhecido como Tulu 2. Nos testes da organização sem fins lucrativos, isso resultou em pontuações comparáveis aos modelos “abertos” mais avançados disponíveis. Essa nova versão é fruto de meses de experimentação e interpretação das diretrizes que as grandes empresas estão sugerindo, além de várias rodadas de treinamento iterativo.
Basicamente, o Tulu 3 abrange tudo, desde a escolha de quais tópicos o modelo deve se concentrar — por exemplo, minimizando capacidades multilíngues, mas aumentando as habilidades em matemática e programação — seguindo um longo regime de curadoria de dados, aprendizado por reforço, ajuste fino e tuning de preferências, além de ajustes em uma série de outros meta-parâmetros e processos de treinamento que são complexos demais para descrever aqui.
A verdadeira questão aqui é tirar mais uma ferramenta do arsenal das grandes empresas. Antes, se você quisesse construir um LLM treinado sob medida, era muito difícil evitar o uso, de uma forma ou de outra, dos recursos de uma grande empresa, ou contratar um intermediário para fazer o trabalho. Isso não só é caro, mas também introduz riscos que algumas empresas preferem evitar.
Por exemplo, empresas de pesquisa e serviços médicos: você poderia usar a API da OpenAI ou entrar em contato com a Scale, mas ambas as opções envolvem a participação de empresas externas em dados sensíveis de usuários. Se isso não puder ser evitado, você precisará recompor suas expectativas — mas e se não for o caso? Se, por exemplo, uma organização de pesquisa liberasse um regime de pré e pós-treinamento completo que você pudesse implementar internamente? Isso poderia ser uma alternativa muito mais viável.
A AI2 já está utilizando isso, o que é a melhor recomendação que se pode dar. Mesmo que os resultados dos testes que estão sendo publicados hoje usem o Llama como modelo base, eles planejam lançar em breve um modelo baseado em OLMo, treinado com o Tulu 3, que deve oferecer ainda mais melhorias em relação à linha de base e também será totalmente de código aberto.
Se você está curioso para saber como o modelo está se comportando atualmente, experimente a demonstração ao vivo.
