Amazon Web Services Lança Ferramenta para Combater Alucinações em Modelos de IA
A Amazon Web Services (AWS), a divisão de computação em nuvem da Amazon, anunciou uma nova ferramenta para combater alucinações – situações em que um modelo de IA se comporta de forma não confiável.
O lançamento aconteceu durante a conferência re:Invent 2024, em Las Vegas, onde a AWS apresentou o serviço Automated Reasoning checks. Essa ferramenta valida as respostas de um modelo por meio da verificação de informações fornecidas pelos clientes, garantindo precisão.
“A ferramenta Automated Reasoning checks é a primeira e única proteção contra alucinações”, afirmou a AWS em um comunicado.
Porém, essa afirmação pode ser considerada um pouco exagerada.
A Automated Reasoning checks é quase idêntica ao recurso de Correção implementado pela Microsoft neste verão, que também sinaliza textos gerados por IA que podem estar factualmente incorretos. Além disso, o Google disponibiliza uma ferramenta na Vertex AI, sua plataforma de desenvolvimento de IA, que permite aos clientes “analisar” modelos usando dados de provedores terceiros, seus próprios conjuntos de dados ou mesmo o Google Search.
A ferramenta da AWS, que pode ser acessada pelo serviço de hospedagem de modelos Bedrock, tenta entender como um modelo chegou a uma resposta e discernir se esta é correta. Os clientes fazem upload de informações para estabelecer uma verdade base, e o Automated Reasoning checks cria regras que podem ser refinadas e aplicadas ao modelo.
Conforme um modelo gera respostas, a ferramenta verifica essas respostas e, em caso de uma alucinação provável, utiliza a verdade base para encontrar o resultado correto. Isso permite que os clientes visualizem a resposta correta ao lado da resposta potencialmente errada, evidenciando quão distante a modelagem poderia estar.
AWS afirma que a PwC já está utilizando a Automated Reasoning checks para projetar assistentes de IA para seus clientes. De acordo com Swami Sivasubramanian, VP de IA e dados da AWS, esse tipo de ferramenta é o que realmente atrai clientes para o Bedrock.
“Com o lançamento dessas novas capacidades, estamos inovando em nome dos clientes para resolver alguns dos principais desafios que toda a indústria enfrenta ao levar aplicações de IA generativa para produção.”
Ele acrescentou que a base de clientes do Bedrock cresceu 4,7 vezes no último ano, alcançando dezenas de milhares de usuários.
Mas, como um especialista mencionou, tentar eliminar alucinações da IA generativa é como tentar eliminar hidrogênio da água.
Os modelos de IA alucinam porque realmente não “sabem” de nada. São sistemas estatísticos que identificam padrões em uma série de dados e previsões sobre quais dados virão a seguir, com base em exemplos vistos anteriormente. Isso significa que as respostas de um modelo não são respostas definitivas, mas previsões de como as perguntas devem ser respondidas, dentro de uma margem de erro.
A AWS afirma que o Automated Reasoning checks utiliza razionamento logicamente preciso e verificável para chegar às suas conclusões. No entanto, a empresa não divulgou dados que comprovem a confiabilidade da ferramenta.
Em outras novidades do Bedrock, a AWS anunciou a Model Distillation, uma ferramenta que transfere as capacidades de um modelo grande (como o Llama 405B) para um modelo menor (como o Llama 8B), que é mais barato e rápido de executar. Esta ferramenta é uma resposta à Distillation da Microsoft no Azure AI Foundry.
A Model Distillation oferece uma maneira de experimentar com diferentes modelos sem comprometer os recursos financeiros, segundo a AWS.
“Depois que o cliente fornecer prompts de exemplo, o Amazon Bedrock fará todo o trabalho para gerar respostas e aperfeiçoar o modelo menor”, explicou a AWS em um post no blog.
No entanto, há algumas ressalvas:
- A Model Distillation funciona atualmente apenas com modelos hospedados no Bedrock da Anthropic e da Meta.
- Os clientes devem selecionar um modelo grande e um pequeno da mesma família.
- Os modelos destilados podem perder um pouco de precisão, embora a AWS afirme que seria menos de 2%.
Se isso não for um impedimento, a Model Distillation já está disponível em versão de prévia, assim como a Automated Reasoning checks.
Outra novidade em prévia é a colaboração multi-agente, um novo recurso do Bedrock que permite aos clientes designar IA para subtarefas em um projeto maior. Como parte do Bedrock Agents, essa colaboração oferece ferramentas para criar e otimizar IA, facilitando atividades como revisar registros financeiros e avaliar tendências globais.
Os clientes podem até designar um agente supervisor para dividir e direcionar tarefas automaticamente para as IAs. Esse agente pode “[fornecer] acesso a agentes específicos às informações necessárias para completar seu trabalho”, e “[determinar] quais ações podem ser processadas em paralelo e quais precisam de detalhes de outras tarefas antes que um agente possa avançar].
“Uma vez que todos os [AIs] especializados completem suas contribuições, o agente supervisor [pode reunir] as informações e [sintetizar] os resultados”, escreveu a AWS.
Mais uma inovação que soa interessante. Mas, como com todas essas funcionalidades, será necessário esperar para ver como elas se comportam no mundo real.
