Meta Lança o Novo Modelo Llama 3.3 70B
A Meta fez um anúncio bombástico sobre a mais nova adição à sua família de modelos de IA generativa: o Llama 3.3 70B. Ahmad Al-Dahle, VP de IA generativa na Meta, revelou em um post no X que esse novo modelo, que é apenas de texto, oferece um desempenho superior ao de seu maior modelo, o Llama 3.1 405B, mas com um custo bem mais baixo.
“Ao aproveitar os últimos avanços em técnicas pós-treinamento… este modelo melhora o desempenho essencial a um custo significativamente menor,” afirmou Al-Dahle.
Al-Dahle também divulgou um gráfico que mostra o Llama 3.3 70B superando o Gemini 1.5 Pro do Google, o GPT-4o da OpenAI e o recém-lançado Nova Pro da Amazon em uma série de benchmarks do setor. Um porta-voz da Meta comentou que o modelo deve trazer melhorias em áreas como matemáticas, conhecimento geral, seguimento de instruções e uso de aplicativos.
O Llama 3.3 70B já está disponível para download na plataforma de desenvolvimento de IA Hugging Face e em outras fontes, incluindo o site oficial do Llama. Essa é mais uma jogada da Meta para dominar o campo da IA com modelos “abertos”, que podem ser usados e comercializados para uma variedade de propósitos.
Entretanto, os termos da Meta limitam como certos desenvolvedores podem utilizar os modelos Llama; plataformas com mais de 700 milhões de usuários mensais precisam solicitar permissão especial da empresa. Para muitos desenvolvedores e empresas, não importa que os modelos Llama não sejam “abertos” no sentido mais estrito, visto que já acumularam mais de 650 milhões de downloads.
A Meta está utilizando o Llama para seus próprios interesses. O Meta AI, assistente de IA da empresa, que é alimentado totalmente por modelos Llama, possui quase 600 milhões de usuários ativos mensais. Mark Zuckerberg, em um post recente no Instagram, afirmou que o Meta AI está a caminho de se tornar o assistente de IA mais utilizado do mundo.
Desafios e Oportunidades
O caráter aberto do Llama tem gerado tanto oportunidades quanto desafios para a Meta. Em novembro, soube-se que pesquisadores militares chineses usaram um modelo Llama para desenvolver um chatbot de defesa. Em resposta, a Meta decidiu disponibilizar seus modelos Llama para parceiros de defesa dos EUA.
A empresa também expressou preocupações sobre sua capacidade de cumprir o AI Act, que estabelece um marco legal e regulatório para IA na UE, chamando a implementação da lei de “muito imprevisível”. O problema está nas disposições relacionadas ao GDPR, que dizem respeito ao treinamento de IA.
Recentemente, reguladores da UE solicitaram à Meta que interrompesse o treinamento com dados de usuários europeus enquanto avaliavam a conformidade da empresa com o GDPR. A Meta concordou, mas ao mesmo tempo endossou uma carta aberta pedindo uma “interpretação moderna” do GDPR que não “rejeite o progresso”.
Investimentos em Infraestrutura de IA
A Meta, assim como outros laboratórios de IA, enfrenta desafios técnicos e está aumentando sua infraestrutura de computação para treinar e atender futuras gerações de modelos Llama. Recentemente, anunciou a construção de um centro de dados para IA de $10 bilhões na Louisiana — o maior centro de dados que já construiu.
Zuckerberg afirmou durante a chamada de resultados do Q4 que, para treinar o próximo conjunto de modelos Llama, o Llama 4, a empresa precisará de 10 vezes mais poder de computação do que foi necessário para o Llama 3.
Treinar grandes modelos de linguagem pode ser um negócio caro. Os gastos de capital da Meta aumentaram quase 33%, totalizando $8,5 bilhões no segundo trimestre de 2024, em comparação com $6,4 bilhões um ano antes, impulsionados por investimentos em servidores, centros de dados e infraestrutura de rede.
