A execução de grandes modelos de linguagem (LLMs) nos PCs localmente está se tornando cada vez mais popular em todo o mundo. Em resposta, a AMD está introduzindo seu próprio aplicativo LLM, GaiaUm projeto de código aberto para executar o LLMS local em qualquer máquina Windows.
A GAIA foi projetada para executar vários modelos LLM em PCs Windows e apresenta outras otimizações de desempenho para máquinas equipadas com seus processadores Ryzen AI (incluindo o Ryzen AI Max 395+). Gaia usa o SDK de limonada de código aberto do Onnx Turnkeyml para inferência de LLM. Os modelos podem se adaptar para fins diferentes com o GAIA, incluindo resumo e tarefas complexas de raciocínio.
Imagem 1 de 2
Gaia supostamente trabalha através de um agente de geração de recuperação ou pano de recuperação. O RAG combina um LLM com uma base de conhecimento, permitindo que o LLM forneça uma experiência interativa de IA para o usuário final, juntamente com respostas mais precisas e contextuais. Atualmente, o RAG incorpora quatro agentes da GAIA: Conclusão de prompt simples, um agente projetado para interações de modelo direto destinadas a testes e avaliação; Chaty, a parte do chatbot de um LLM que interage com o usuário; Clip, um agente da pesquisa do YouTube e funcionalidade de perguntas e respostas; E Joker, um gerador de piadas que adiciona uma personalidade humorística ao chatbot.
O novo projeto de código aberto da AMD funciona fornecendo tarefas específicas para LLM através do Lemonade SDK e servindo-as em vários tempos de execução. Lemonade supostamente “expõe um serviço da Web LLM que se comunica com o aplicativo GAIA … através de uma API REST compatível com o OpenAI”. A própria Gaia atua como um agente movido a IA que recupera e processa dados. Ele também “vetoriza o conteúdo externo (por exemplo, Github, YouTube, arquivos de texto) e o armazena em um índice de vetor local”.
Em outras palavras, o GAIA pode aprimorar as consultas do usuário antes que o LLM as processe, supostamente melhorando a precisão e a relevância da resposta.
O novo AI Chatbot possui dois instaladores: um instalador convencional que funciona em qualquer PC do Windows (se esse PC tem hardware AMD ou não) e um instalador “híbrido” otimizado para PCs Ryzen AI. Este último permite que a GAIA execute cálculos em uma unidade de processamento neural (NPU) da Ryzen AI CPU e gráficos integrados para melhor desempenho.
Gaia é o mais recente concorrente do novo mar de aplicativos LLM localizados, incluindo LM Studio e Chatrtx. A execução de um LLM localmente possui vantagens significativas sobre soluções baseadas em nuvem, incluindo maior segurança, menor latência e, em alguns casos, melhor desempenho, dependendo do hardware do sistema. O melhor de tudo é que os LLMs locais funcionam offline e não exigem uma conexão com a Internet.
