今年春节期间国内AI大厂轮流发布新模型。意外的是去年春节的主角DeepSeek缺席了。不过前几天DeepSeek联合北大清华发表一篇关于AI推理的新论文或许DeepSeek的新模型发布也近在咫尺了。这篇论文解决的是什么问题呢假如你开了一家爆火的餐厅菜品只现炒不预制。厨房里有两条生产线一条负责备菜相当于AI里的预填充阶段另一条负责出餐相当于AI里的解码阶段。问题来了备菜那条线的传菜通道彻底堵死了菜根本送不进来厨师只好干等着。而出餐那条线的传菜通道却闲得发慌几乎没有什么东西经过。整个餐厅的产能被这个奇怪的不平衡给拖垮了。这就是当今最先进的AI推理系统正在面对的真实困境。而这篇论文提出的系统叫做DualPath干的事情说白了就是把那条闲置的传菜通道也利用起来让整个餐厅重新转起来。AI变话痨之后麻烦来了要理解DualPath解决的问题得先搞清楚AI这几年发生了什么变化。过去我们和AI聊天通常是一问一答问完就完了就像发短信一样。但现在的AI越来越像一个能自主干活的员工它会自己上网查资料、执行代码、调用工具、根据执行结果再做下一步决策来回折腾几十甚至上百个回合这就是所谓的智能体Agentic模式。一个典型的智能体任务是这样运转的AI收到一个任务比如帮我修复这段代码里的bug。它先看一眼代码然后在命令行里执行了一条命令看到报错信息后又修改了一处再执行再看结果……如此循环。每一轮AI都需要把之前所有的对话历史都记在心里才能接着干下去。随着轮数增加这段历史越来越长轻轻松松就能达到三四万个词有时候甚至超过一百万个词。研究团队从他们自己的生产任务里收集了真实数据发现平均每次任务要经历157轮对话平均的上下文长度达到了32,700个词而每一轮新增的内容只有区区429个词。这意味着每一轮AI在开始思考之前需要从头重新读的内容里有98.7%都是上一轮已经读过的东西。这里就出现了一个聪明的优化手段把已经读过的内容存起来这叫KV缓存Key-Value Cache你可以把它理解为AI的工作记忆草稿下次直接从仓库里取出来用不用重新计算。这样做可以节省大量的计算资源。现实中智能体任务的KV缓存命中率通常在95%以上也就是说每次AI开工超过95%的草稿都是直接从仓库里拿来的现成货。听起来很好对吧但问题恰恰出在从仓库里拿这件事上。堵车就堵在备菜通道上现代大型AI推理系统通常采用分离式架构就是把两个阶段的工作分给两种不同的服务器来做专门负责读取上下文、准备好记忆草稿的叫预填充引擎Prefill Engine简称PE专门负责一个词一个词往外生成答案的叫解码引擎Decode Engine简称DE。这两种引擎各司其职通过高速网络互相传递数据。两种服务器各自都有两种网卡一种连接外部存储系统用来读取那些存好的KV缓存草稿叫存储网卡SNIC另一种连接同类型服务器之间的高速计算网络用来在服务器之间传递中间结果叫计算网卡CNIC。现在问题来了。按照传统的工作方式每次AI开始处理一个请求读取KV缓存这件事完全由预填充引擎来做它需要把几万词的历史草稿从外部存储里全部搬过来然后才能开始干活。这意味着预填充引擎的存储网卡一直在满负荷运转就像一条永远堵死的高速公路入口。而另一边解码引擎的存储网卡却几乎没什么事干大部分时间都在摸鱼。研究团队测量了实际情况发现在典型的智能体推理场景下预填充引擎的GPU利用率只有40%存储网卡却满载运行解码引擎的GPU利用率达到了80%存储网卡却几乎空转。整套系统被预填充侧的存储带宽牢牢卡住了脖子。更要命的是这个问题随着时间推移只会越来越严重。研究团队梳理了NVIDIA从Ampere到Blackwell几代GPU的硬件数据发现从2020年到2024年GPU的计算能力提升了28.8倍内存容量只增长了2.4倍而网络带宽的提升更是远远落在后面。GPU越来越能算但搬数据的管道没跟上这就好比餐厅的厨师变得越来越快但送菜的电梯还是几十年前的老货。一个看似简单却颇有门道的想法DualPath的核心思路用一句话说就是既然解码引擎的存储网卡闲着为什么不让它也来帮忙搬KV缓存呢具体来说DualPath在原有的存储→预填充引擎这条路之外新开了一条路存储→解码引擎→通过计算网络RDMA传给预填充引擎。这两条路可以同时使用系统根据实时情况动态分配任务哪边通道空就往哪边派。你可以把这个过程想象成同一个仓库现在有两个出口可以往外拿货一个直接通到备菜区另一个先通到出餐区再用内部高速传送带送到备菜区。虽然后者多了一段路但如果前面那条路已经堵死走后门反而更快。这里有一个关键的技术细节值得解释一下。为什么走存储→解码引擎这条路然后再通过计算网络转发给预填充引擎不会把计算网络堵死呢原因在于计算网络的带宽远比存储网络大得多。在典型的NVIDIA数据中心配置里每个节点有8张GPU每张GPU配一个400Gbps的计算网卡加起来是8×400Gbps3200Gbps而存储网卡一般只有一个400Gbps。计算网络的总容量是存储网络的8倍。而且计算网络的流量本身具有爆发性特点AI在做矩阵运算的时候大家需要互相通信但这种通信是以毫秒以下的短暂脉冲形式出现的脉冲与脉冲之间存在大量空闲时间。利用这些空闲时间来传输KV缓存就像利用高速公路的低峰期来运货完全不影响正常交通。研究团队还做了严格的数学推导证明了在绝大多数实际的预填充/解码比例配置下论文给出的范围是1/7到7/2DualPath可以同时让所有存储网卡都跑满而不会在计算网卡或内存带宽上造成新的瓶颈。这不是凭感觉说应该够用而是用不等式推出来的有理论保证的结论。把想法变成现实的三道关卡把这个思路真正做成一个能用的系统面临三个具体的工程难题DualPath各有针对性的解法。第一道关卡是如何在保证效率的前提下搬运大量细碎的数据块。AI在做推理时会采用一种叫按层预填充的技术把整个模型分成一层一层来处理好处是每次只需要把当前层的KV缓存放进GPU内存避免内存不够用。但这样一来原本一整块的KV缓存被切成了很多小块搬运这些小块产生了大量的细碎I/O操作。DualPath设计了两种数据块格式一种叫完整块装的是一个请求所有层的KV缓存方便存储另一种叫层块只装一层的KV缓存方便在GPU计算时随取随用。通过在合适的时候使用合适的格式避免了频繁的格式转换同时让数据搬运和GPU计算能够尽量重叠进行。第二道关卡是流量隔离。这是一个非常务实的工程问题在计算网络上传输KV缓存数据如果和AI模型计算时必须的通信比如多卡之间的专家并行通信混在一起后者是对延迟极度敏感的一旦被插队或者挤占带宽整个AI计算的速度就会受影响。DualPath的解决方案是把所有GPU进出的数据流量包括本地的内存复制操作统一经过计算网卡来走然后用InfiniBand网络的虚拟通道Virtual Lane机制给不同类型的流量打上优先级标签。模型计算通信走高优先级通道得到约99%的带宽保障KV缓存传输走低优先级通道利用剩余的带宽但保证不会饿死。这就像高速公路上的ETC快速通道和普通通道各走各的互不干扰。顺带一提这种方案还带来了一个意外的好处原本用CUDA API做内存复制每次调用有大约5到7微秒的固定开销换成通过网卡的RDMA方式来做同样的事情只需要约1微秒而且可以批量提交进一步摊薄开销。第三道关卡是智能调度。DualPath有两条路可以选究竟怎么分配任务才能让两边都不闲置、也不过载这不是一个简单的轮询问题因为每个请求的大小不同每台服务器当前的负载也不同存储队列的排队长度也在动态变化。DualPath的调度器把这些因素都纳入考虑。对于预填充引擎调度器把每台机器分成三类第一类是过载暂时不分新任务第二类是存储队列短且负载轻优先分配因为不给它任务它的存储网卡就要闲着了第三类是存储队列有点长但计算没过载作为备选。对于解码引擎调度器在全局层面先按照各组的总token数来平衡然后在组内层面根据剩余HBM显存来决定能承载多少请求。最后选定了预填充/解码引擎对之后再比较两边的存储队列谁更短决定这次读取走哪条路。此外DualPath还解决了一个多卡之间的负载均衡问题在某些AI模型的并行计算方式下不同GPU处理不同的请求但完成一层的计算后必须互相等待才能进入下一层。如果某张GPU的任务明显比其他GPU重大家就要一起等它产生气泡浪费。DualPath通过预先估算每个请求的注意力层计算时间把任务分配控制得更均匀实测可以把各GPU之间的最大/平均时间比值控制在1.06左右大大减少了等待气泡。实验室里跑出来的数字口说无凭研究团队在真实的GPU集群上做了详细的测试。测试环境是每台服务器配8张NVIDIA Hopper GPU、8个400Gbps计算网卡、1个400Gbps存储网卡存储后端是DeepSeek开源的3FS分布式文件系统无内部DRAM缓存能完全跑满存储网卡的带宽。测试使用的模型包括三个DeepSeek V3.2660亿参数的大模型、一个27亿参数的内部实验模型以及Qwen2.5-32B320亿参数的开源模型。任务数据集来自真实的智能体RL训练任务包含500条轨迹上下文长度分布在32K到64K词之间真实反映了生产环境的特征。在离线批量推理场景下模拟RL训练的rollout阶段同时启动大量智能体DualPath对比未改动的基础系统在DeepSeek V3.2上最高实现了1.87倍的吞吐量提升在27B小模型上最高1.78倍。而DualPath的性能与理想上限假设所有存储I/O时间为零的理论最快速度已经非常接近说明存储I/O瓶颈基本被消除了。研究团队还测试了改变预填充/解码节点比例对结果的影响发现一个有趣的规律使用DualPath的1P1D配置1个预填充节点配1个解码节点和不使用DualPath的2P1D配置2个预填充节点配1个解码节点性能表现相当。换句话说DualPath让你用更少的预填充硬件资源达到同样的效果或者说让原有硬件的价值翻了一番。在线服务场景下DualPath在27B模型上能支持的请求到达速率是基础系统的1.67倍在660B大模型上更达到了2.25倍同时完全满足首字延迟不超过4秒、每个词生成时间不超过50毫秒的服务质量约束。研究团队还做了一个消融实验把DualPath的三个组成部分按层预填充、双路加载、以及调度算法逐步叠加看看各自的贡献。按层预填充单独贡献了17.21%的提升双路加载在此基础上又贡献了38.19%调度算法再加上去又多贡献了部分三者合计比基础系统提升了45.62%。最后研究团队还测试了大规模场景把系统扩展到了最多1152张GPU48个预填充节点、96个解码节点。从小规模的2P4D扩展到48P96D任务完成时间从3167秒变为3201秒几乎实现了线性扩展而整个调度器的CPU占用始终不超过10个核说明调度本身不是瓶颈。还有什么值得关注的细节DualPath是一篇来自工程实践的论文里面有不少细节值得关注。首先关于为什么不用DRAM来缓存KV缓存。确实已经有系统比如Mooncake用分布式内存来存KV缓存命中率高、延迟低。但问题是在RL训练的rollout阶段GPU上的数据会被卸载到主机内存里内存已经被占用了而且对于在线服务这样有巨大工作集的场景内存的成本比SSD高很多。DualPath直接面向SSD后端不依赖DRAM缓存在内存受限的场景下更有实用价值。DualPath和DRAM缓存可以叠加使用但研究团队发现叠加后的额外收益有限。其次DualPath目前有一个已知的待改进点对于同一个请求调度器只能选择完全走预填充侧读或者完全走解码侧读还没有实现把一个请求拆成两半、同时从两侧并行读取。研究团队提到这是未来工作的方向之一。另外研究团队还观察到一个有趣的现象在RL训练任务中整个任务的前半段预填充压力远大于后半段。这是因为前半段大量请求同时处于上下文较短的早期轮次后半段很多请求已经到了上下文很长、每轮append较短的阶段。这种动态变化意味着未来需要更自适应的预填充/解码节点比例调整机制而不是在任务开始前固定好配置。归根结底DualPath做的事情其实很朴实它没有发明新的硬件没有改变AI模型的结构只是重新安排了一下数据搬运的路线把原本闲置的带宽资源利用了起来。但就是这么一个看似简单的重新安排让同样的硬件能跑出将近两倍的吞吐量。在AI算力成本居高不下、算力资源极度稀缺的当下这种不花一分钱硬件靠软件调度把性能翻倍的思路比任何炫技的新硬件方案都要务实也都要有吸引力。毕竟最好的优化往往不是造更宽的管道而是把现有的管道都用满。END本文来自至顶AI实验室一个专注于探索生成式AI前沿技术及其应用的实验室。致力于推动生成式AI在各个领域的创新与突破挖掘其潜在的应用场景为企业和个人提供切实可行的解决方案。QAQ1DualPath是什么和普通的AI推理系统有什么区别ADualPath是由北京大学、清华大学和DeepSeek-AI联合研发的AI推理系统它的核心创新是把原本只有预填充引擎才能用的存储带宽扩展到让解码引擎也能参与KV缓存的读取工作相当于从单车道升级成了双车道让两种服务器的网络资源都能被充分利用。Q2KV缓存是什么为什么它这么重要AKV缓存可以理解为AI在进行多轮对话时存下来的工作记忆草稿有了它就不用每次都从头重新计算之前的所有内容。在智能体任务里每轮对话有超过95%的内容都是之前见过的所以KV缓存的读取速度直接决定了整个系统的快慢是最核心的性能瓶颈。Q3DualPath会不会让AI的响应速度变慢因为数据要绕路传A实验结果显示DualPath不会让响应变慢反而更快。虽然通过解码引擎中转多走了一段路但因为计算网络的总带宽是存储网络的8倍以上而且传输发生在GPU计算的空闲间隙并不抢占关键通信资源整体来看解决了存储侧的瓶颈系统吞吐量最高提升了1.87倍。