Feng Ren

引子 我在多种场合写过很多汇报材料，回顾了 AI Stor 的发展历程： 2024 年是 P/D（Prefill/Decode）分离的元年，通过在物理或逻辑层面解耦算力密集型的预填充阶段与访存密集型的生成阶段，我们初步解决了推理吞吐量与时延之间的固有矛盾。这一年 Mooncake 从一篇 arXiv 论文成长为一个可以跑的开源项目。 2025 年是 KVCache 大规模应用的一年，业界通过存储解耦架构确立了“以存储换计算”的范式，KVCache 不再是即用即弃的中间变量，而是升级为驱动推理服务的核心状态资产。这一年 Mooncake 从 vLLM 的简单适配，走向了多推理框架、多型号 GPU、多应用场景的覆盖。 2026 年则是智能体（Agent）爆发的一年，相信大家在这四个月里看到了，大模型正从单纯的语义生成引擎进化为具备长程规划能力的“推理中枢”，驱动着更长序列、更高频率互动的任务闭环。 那么，作为一个 Storage for AI 的研究者，我是怎么看待这个问题的呢？ 状态数据：不止 KVCache KVCache 已由暂态数据演化为跨阶段复用的核心存储资产。比方说，现在大模型推理的标配“上下文记忆”很大程度要归功于池化的 KVCache 存储。另外，KVCache 在多轮对话和 AI 辅助编程等场景中有很高的缓存命中率。 以 Kimi (Moonshot AI) 为例，其生产环境中的 KVCache 典型命中率已高达 90%。这种极致的复用效率直接将用户的实际计费成本压低至市场标准价的 25%，在商业层面极具竞争力。 然而，2026 年智能体范式下的“状态资产”正呈现出更复杂的形态： 在线强化学习（Online RL）流水线中的模型权重更新。 根据 Kimi Team 的技术报告，在线 RL 需要在模型采样（Rollout）的过程中，以微秒级的精度同步数千亿参数的梯度或权重，以避免采样任务因等待模型刷新而停顿。在 Moonshot Checkpoint Engine 的典型场景下，这些频繁的参数下发同样表现为极高密度的“全量同步大象流（Elephant Flows）” 。 MoE（专家混合模型）中的专家并行（Expert Parallelism, EP）。 在 MoE 架构中，Token 需要在不同的专家（Expert）之间频繁穿梭。这种专家并行流量（Mice flows）通常只有几十 KB，但它们正处于推理的执行关键路径上。 链路：不止 RDMA 从链路的角度上来说，多种物理特性迥异的存储介质（如DRAM、GPU/NPU显存、NVMe SSD等）及多种高速互联技术（如 NVLink、RDMA、CXL等）共同构成了复杂的非均质存储互联系统（Heterogeneous Storage Interconnect）。 ...

我是 CCF 信息存储专委会存储测试工作组成员。欢迎对 Mooncake 传输引擎感兴趣的厂商参与相关存储测试与技术交流（尽管这里的存储更多是指 SSD 等外存）。 I am a member of the CCF Storage Evaluation Working Group. We welcome vendors interested in the Mooncake Transfer Engine to participate in our storage testing initiatives and technical exchanges. 一并转发通知（“存储前沿技术评论”公众号）。 CCF信息存储专委会•存储测试工作组关于邀请开展存储测试的通知 随着社会生产服务活动云化、智能化持续演进，数据存储设施的重要作用日益凸显，各类应用场景对存储设备、产品从性能、可靠性、可信性、可管理性、兼容性、能效等多角度提出了更复杂的需求。本工作组致力于围绕一系列主流应用领域，建立一套契合场景需求的存储测试验证规范、方法和工具。以期为产品开发、学术研究、应用选型提供参考，为国家相关部门制定信息存储政策提供借鉴。在此召集各存储研发单位、用户单位开展本年度测试工作。 测试工具： 测试使用基于人工智能场景、互联网应用场景、高性能计算场景数据访问特征开发的测试工具和参数集。 测试流程： 自测，可任选1个或多个场景参与测试，并邀请存储测试工作组成员参与验证。 日程安排： 即日起开始，随时可提交结果。 结果发布： 第32届CCF全国信息存储技术学术会议，2026年9月（天津）。测试结果也会发布在下面站点。 工具获取： https://ses.ccf.org.cn/ 打开网址后点击”测试场景”标签，选择各个测试场景后，从展开的测试用例表格中下载说明文件和测试工具。目前几个场景每一行测试用例的下载内容相同，只需选择一行下载即可。 联系方式：张武生, [email protected]。