🚨 Nem RAG. Nem Fine-Tuning. Nem Contexto Gigante. Uma pesquisa apresenta uma nova alternativa para atualizar o conhecimento dos LLMs. Em vez de tentar colocar cada vez mais informação dentro do prompt, por que não transformar o próprio conhecimento em um modelo separado? A ideia se chama MEMO (Memory as a Model). O conceito é simples: Ao invés de depender de RAG, bancos vetoriais ou janelas de contexto gigantes, o sistema cria um modelo dedicado exclusivamente à memória. O modelo principal permanece congelado e consulta essa memória quando precisa recuperar conhecimento específico. A arquitetura funciona assim: → Executive Model: responsável pelo raciocínio e pela resposta final. → Memory Model: responsável por armazenar e recuperar conhecimento. Quando recebe uma pergunta, o Executive Model a decompõe em subperguntas, consulta o Memory Model, reúne as informações relevantes e então produz a resposta. Durante anos discutimos se o caminho seria aumentar o contexto, melhorar o RAG ou fazer mais fine-tuning. O MEMO sugere uma alternativa: construir uma camada de memória especializada que possa ser conectada a qualquer LLM. Talvez o futuro dos sistemas de IA não seja um único modelo fazendo tudo, mas uma composição de componentes especializados: Modelos que raciocinam + Modelos que lembram + Agentes que coordenam tudo isso. Paper: https://lnkd.in/dtJqfQYP -- 💗 Quer acompanhar as principais novidades em #IA? Dá uma olhada: https://lnkd.in/dQyPjfsw
São pequenos fine tunings dentro de um LLM? (Ainda n li o paper, tirei a conclusão pelo texto)
Como eu percebo o tema, a MEMO é fine-tuning. O "Memory Model" é um modelo pequeno (1.5B–14B) treinado por supervised fine-tuning sobre um dataset de perguntas-e-respostas gerado a partir do teu corpus. O paper diz isto explicitamente.
Ideia fascinante, MEMO pode revolucionar a forma como LLMs acessam e processam informações. Combinar modelos especializados parece promissor! Como você vê isso impactando futuros desenvolvimentos em IA?
Isso resolve um problema muito recorrente: as pessoas darem contexto demais, contexto desnecessário e contexto desorganizado. No final das contas, o agente/llm gasta mais tempo tentando entender o que é para fazer do que trabalhando. Depois, quero dar uma olhada nisso.
Muito bom trazer isso pra discussão. Encaro o MeMo como um terceiro paradigma. Acredito que em sistemas que precisam de LGPD, você precisa de retrieval exato e auditavel. Uma regra tributária não pode estar "internalizada de forma fuzzy" num modelo de memória. Mas é uma excelente via e tudo é o velho e bom DEPENDE
Bizarro como a gente tá replicando a mente humana. No final, a memória acaba sendo inferência também - em alguns casos até alucinação.
Achei uma proposta interessante, mas não existe a possibilidade do modelo de memória alucinar? A grande sacada do RAG pelo que eu entendo é poder usar informações determinísticas em partes onde isso é necessário. Mesmo assim, parece uma solução bem interessante e com um grande potencial para evolução.
This approach highlights an important principle, efficient knowledge access may matter just as much as expanding model capacity, Elisa.
Se esse conhecimento separado for um llm onde fica a privacidade da informação ? Eu irei treinar (alimentar) um novo modelo com os meus próprios dados que vai alimentar o modelo principal e vai rodar onde ?? Se vai rodar nos servidores da Anthropic estou liberando informações confidenciais para a Anthropic. Agora se vai rodar local como o llama 🦙 ai sim pode ser uma virada de jogo.