MEMO提出用AI模型存储记忆，为RAG和微调提供新思路，实现更精准的推理。
核心内容：
MEMO如何通过独立记忆模型存储知识
与RAG、微调等方法的核心差异
MEMO推理与训练的关键步骤
过去给大模型补知识，最常见的方法是 RAG：先检索文档，再把片段塞进上下文，让模型现场读材料、现场回答。但问题也很明显：答案一旦分散在多篇文档里，检索器可能漏掉关键证据；如果塞进太多无关材料，模型又容易被噪声带偏。
MEMO 的核心想法很直接：AI 的记忆不一定只能是向量库，也可以是一个专门训练出来的模型。
它把系统拆成两个角色：主模型叫EXECUTIVE model，负责推理和最终回答，参数保持冻结；另一个是MEMORY model，专门存新知识。推理时，主模型不是去检索原文，而是像人一样向记忆模型连续提问，再把问到的信息综合成答案。
它和 RAG、微调有什么不同
RAG 的优势是不改主模型，但依赖检索质量，也受上下文窗口限制。继续预训练或微调可以把知识写进参数里，但成本高、可能遗忘旧能力，而且闭源模型基本没法这么做。latent memory 则常和特定模型结构绑定，换个模型不一定能用。
MEMO 走的是中间路线：不动主模型，把知识写进一个独立的记忆模型里。这样它既能像 RAG 一样兼容黑盒大模型，又能像微调一样把知识内化到参数中。
记忆模型怎么训练
MEMO 不是直接拿原始文档训练 MEMORY model，而是先让一个GENERATOR model把语料加工成 reflection QA 数据。这个流程有五步。
第一，事实抽取。把文档切成 chunk，同时抽取明说的事实和需要推断的间接信息。
第二，信息合并。把共享同一实体、时间或关系的 QA 合成更复杂的问题，让模型学习组合多个事实。
第三，验证和改写。检查问题是否离开原文也能看懂，比如把“他们提出了什么”改成明确指代；仍然含糊的样本直接丢弃。
第四，实体显式化。围绕实体生成反向问题：问题给出属性和关系，答案揭示实体是谁。这有助于模型从间接描述中定位对象。
第五，跨文档综合。在文档组之间生成跨文档 QA，让 MEMORY model 学到的不只是单篇文档内容，而是多篇文档之间的关系。
最后，MEMORY model 用这些 reflection QA 做监督微调。注意，被训练的是“记忆模型”，不是主模型。
推理时怎么问记忆模型
MEMO 的推理也不是问一次就结束，而是三阶段多轮协议。
Stage 1：Grounding。主模型先把复杂问题拆成多个原子子问题，分别问 MEMORY model，拿到一组背景线索。
Stage 2：Entity Identification。主模型基于这些线索继续追问，逐步缩小候选实体，直到锁定目标实体，或用完预算。
Stage 3：Answer Seeking and Synthesis。锁定实体后，主模型再围绕它追问更多支持事实，最后综合原问题、线索、实体和证据生成答案。
关键点在于：MEMORY model 返回的是短文本，不是整批原文档；模型大小固定，所以论文认为它的查询成本不随语料库规模线性增长。
实验结果说明什么
论文在 BrowseComp-Plus、NarrativeQA 和 MuSiQue 上测试 MEMO。结果显示，它在需要长文档理解和多跳推理的任务上优势明显。
NarrativeQA 上，MEMO 使用 Qwen2.5-32B-Instruct 做主模型时达到26.85%，使用 Gemini-3-Flash 时达到53.58%，超过 BM25、NV-Embed-V2、HippoRAG2、Cartridges 等基线。MuSiQue 上也达到48.30%和60.20%。BrowseComp-Plus 中，MEMO 在 Gemini-3-Flash 下达到66.67%，但在 Qwen2.5-32B 下略低于 HippoRAG2，说明它并不是所有场景都替代 RAG。
论文还测试了持续更新场景。当第二批语料到来时，完整重训需要约 72 个 8×H100 GPU-hours，而用 model merging 更新记忆模型约 48 个，节省33%。准确率虽低于完整重训，但仍超过检索基线。
小扬总结
MEMO 最值得关注的地方，不是单个指标提升，而是它给大模型知识系统提供了一个新结构：记忆可以从“检索库”升级成“可对话的模型组件”。
RAG 像把资料摊在桌上，让主模型临时翻；MEMO 更像训练了一个专门记资料的同事，主模型遇到问题时去问它。这个同事不负责最终决策，但能保存领域知识、实体关系和跨文档线索，也能被不同主模型调用。
[登录查看剩余 70% 内容](javascript:void (0);)
rag技术大模型RAGRAG与微调的区别
分享：
用微信扫描二维码
用微信扫描二维码
用微信扫描二维码
用微信扫描二维码
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业
上一篇：腾讯开源WeKnora详解（二）：知识库与对话核心能力下一篇：5.2k星星爆火开源！你的知识库迎来了史诗级更新，「像素级原生搜索」来了
返回列表
相关资讯
2026-07-18 你给AI喂的"企业记忆"，可能全是假的2026-07-17 RAG 怎么评估呢？RAG 评估体系5 个指标让你的知识库从「盲飞」到「可量化」2026-07-17 RAG 工程里的上下文剪枝：如何减少 68% 的上下文2026-07-15 RAG 最难的不是向量库，而是知识链路2026-07-14 别再手调 RAG 了，让 Loop 自己找配置2026-07-14 9.7k Stars，阿里内部跑了几年的向量数据库开源了，不用起服务，import 就能用2026-07-13 AI知识库从零到一：个人wiki+企业RAG方案2026-07-10 千万文档级 RAG 如何逼近零幻觉
联系获取
联系获取
160+中大型企业正在使用53AI
[立即咨询](javascript:void(0))[预约演示](javascript:void(0))
把握AI发展的机遇，共同探索、共同进步 2025-01-22如何打造基于GenAI的员工服务机器人 2025-01-22
