当我们谈论具身智能的未来时总会畅想这样的场景下班前给家里的机器人发一句 “晚上 6 点我到家准备好烤奶酪三明治再把厨房打扫干净”机器人就能自主完成食材取用、食材处理、餐品制作再到餐具清洗、台面擦拭、物品归位的全流程工作全程无需人工干预。但回到现实当下的机器人基础模型虽已能完成 “清洗煎锅”“折叠衣物”“拾取细小物体” 等单一精细操作可一旦面对这种跨多个环节、时长超10分钟的复杂任务就会立刻陷入 “瘫痪”要么反复打开同一个橱柜找东西要么洗盘子洗到一半就忘了正反两面有没有清洁过要么拾取物体失败后就机械地重复同一个错误动作永远无法成功。为什么机器人能做好单个动作却搞不定一整套完整任务核心瓶颈不是运动技能的缺失而是记忆能力的空白。就像人类如果只有 7 秒记忆根本无法完成一顿饭的制作没有连贯、分层、高效的记忆系统机器人永远只能是实验室里做单一演示的 “玩具”无法走进真实的家庭、工厂与商业场景。近日Physical IntelligencePI团队在最新研究《MEM: Multi-Scale Embodied Memory for Vision Language Action Models》中提出了一套革命性的解决方案——多尺度具身记忆Multi-Scale Embodied MemoryMEM为VLA模型赋予了长达15分钟的连贯记忆能力不仅让机器人能完成全流程厨房清洁、从零制作烤奶酪三明治等超长时程任务更解锁了应对部分可观测环境、操作策略上下文自适应的核心能力让具身智能真正从“单技能执行”迈入了“全任务统筹”的新阶段。MEM工作流程图片来源PI论文一、机器人记忆能力的实现存在哪些技术困境在端到端机器人学习的发展脉络中记忆机制并非一个全新的概念。然而时至今日即使是功能最为强大的视觉-语言-动作VLA模型其应用场景大多仍局限于分钟级、高度结构化的短时任务。能够在真实世界非结构化场景中稳定运行的长时程记忆系统依然是行业稀缺品。构建一套高效的机器人记忆架构其难度远超预期核心原因在于必须直面以下四大关键瓶颈。第一长时程记忆的存储需求与实时推理的延迟约束存在天然矛盾。理论上我们可以把机器人运行过程中所有的历史观测帧、传感器数据全部输入模型的上下文让模型拥有完整的历史信息。但对于长达15分钟的任务而言机器人的相机流每秒都会产生大量高分辨率图像这种朴素的全量输入方式会让推理延迟呈指数级上涨很快就突破机器人实时控制的 300ms 安全阈值 —— 延迟过高会直接导致机器人精细操作的性能断崖式下跌甚至出现安全事故。而如果为了控制计算量对历史观测做极端降采样又会丢失关键的细节信息让记忆变得毫无意义。第二长时记忆与短时记忆的底层需求存在本质差异单一模态的记忆方案无法兼顾。在真实世界的任务中机器人对记忆的需求是分层的比如拾取筷子时机械臂遮挡了目标物体机器人需要记住几秒内筷子的精准位置、摆放角度这是短时记忆的需求—— 它需要稠密、精细的视觉空间信息来应对瞬时的感知缺失而在制作三明治的过程中机器人需要记住 “已经放了黄油下一步要放芝士片”这是长时记忆的需求 —— 它不需要完整的视频帧只需要高度压缩的抽象语义信息就能追踪任务全局进度。过往的记忆方案大多陷入了“单一模态”的桎梏要么只靠本体感受状态做记忆丢失了视觉空间的关键细节无法修正抓取失误要么只靠关键帧做视觉记忆面对长时程任务时不得不做极端稀疏化丢失了环境动力学的关键信息要么只靠自然语言做记忆完全无法支撑精细化操作的瞬时调整。没有一套方案能同时兼顾短时稠密视觉信息与长时压缩语义信息最终只能在某一类任务上有效无法适配真实世界的多样化需求。第三记忆机制的引入反而导致模型性能下降。大量过往研究发现给原本性能优异的模型加入记忆机制后模型不仅没有变强反而出现了明显的性能衰减。例如由“因果混淆”带来的性能衰减—— 带记忆的策略会错误地学习到虚假关联把“过往重复执行的动作”当成了 “当下应该执行的动作”放大了训练数据中的无关关联最终干扰了模型的模仿学习让机器人越学越 “笨”。第四训练与推理的分布偏移让朴素记忆方案在真实场景中彻底失效。很多看似可行的语言记忆方案在实验室中表现良好一到真实场景就拉胯核心问题就是训练与推理的分布不匹配。在训练阶段模型学习的大多是人类演示的近最优数据一条子任务指令只会出现一次比如“拾取碗” 之后立刻就会执行 “将碗放入橱柜”但在真实推理场景中机器人很可能在拾取碗这个动作上反复失败导致高层策略反复生成 “拾取碗” 的指令这种训练中从未出现过的重复指令序列会让模型的表现急剧恶化最终完全无法完成任务。正是这四大困境让记忆能力成了制约具身智能从实验室走向真实场景的核心瓶颈。而MEM 多尺度具身记忆的出现正是从底层架构上为破解上述行业难题提供了关键路径与核心支撑。二、MEM 打造机器人的 “大脑记忆系统”人类的记忆系统本身就是多尺度、分层级的我们用瞬时视觉记忆记住眼前物体的位置用工作记忆完成当下的动作调整用长期语义记忆记住任务的整体进度不同层级的记忆各司其职又相互协同才能让我们连贯地完成复杂任务。MEM 多尺度具身记忆的核心洞见正是复刻了人类记忆的底层逻辑面向长时程机器人控制的高效记忆架构必须融合多模态信息用不同的表示形式捕获不同层级的抽象信息。它没有沿用过往单一模态的记忆设计而是打造了一套“双核心协同” 的混合模态记忆架构将基于视频编码器的短时程视觉记忆与基于语言的长时程语义记忆深度融合既解决了短时精细化操作的需求又实现了长时程任务的全局追踪同时还将推理延迟严格控制在实时阈值内。这套架构的两大核心组件各自承担着不可替代的作用又形成了完美的能力互补。1. 高效视频编码器为机器人打造 “短时视觉工作记忆”对于短时程记忆而言基于图像的稠密视觉信息是不可替代的—— 它是机器人解决自遮挡、环境遮挡问题实现精细化动作实时调整的核心基础。但如何在保留稠密视觉信息的同时不增加推理延迟成了最大的技术难题。MEM 为此设计了一套高效的视频编码器架构它在主流VLA模型上标准的视觉 TransformerViT基础上进行扩展通过稀疏空间注意力与因果时间注意力交替执行实现了对视频输入的高效编码平衡了信息保留与计算效率。具体而言该视频编码器的核心特性是与标准的单图像ViT 相比它没有引入新的可学习参数。视频编码能力是通过修改 ViT 的注意力模式、并添加固定的正弦时间位置编码实现的。因此它可以像无记忆 VLA 一样直接用任意标准VLM模型的预训练 ViT 权重对视频编码器的权重进行初始化。它首先对输入视频的所有图像做分块处理随后为避免在时空维度上数量极多的图像块上执行计算成本过高的联合注意力运算该架构将注意力分解为独立的空间注意力与时间注意力运算。每4 层会通过因果注意力掩码对同一图像块在不同时间步的表征执行注意力运算从而叠加时间维度的注意力—— 让模型在学习单帧图像空间上下文的同时也能融合不同时间步的时间上下文把历史帧的关键信息融入到当前帧的输出表征中。更关键的是这套设计实现了极致的Token 压缩在网络的高层编码器会直接丢弃所有过往时间步的图像块表征仅传递当前时间步的计算表征。最终视频编码器输入VLA主干网络的 Token 数量和无记忆机制、单时间步VLA的常规输入 Token 数量完全一致没有增加任何额外的计算负担。2. 基于语言的长时记忆机制为机器人写下 “任务进度笔记”如果说视频编码器解决了“眼前几秒” 的细节记忆问题那么基于语言的长时记忆机制就解决了 “未来十几分钟” 的全局统筹问题。对于长时程任务而言我们不需要记住每一秒的画面只需要在语义层面追踪任务进度而自然语言正是对这类抽象语义信息最高效的压缩方式。MEM 对 π0.6模型原有的高低层策略拆分架构做了核心扩展让高层策略不仅能生成子任务指令还能预测并更新语言记忆mt—— 这个语言记忆就是机器人对任务过程中过往语义事件的动态摘要相当于机器人给自己写的 “任务进度笔记”。以厨房清洁任务为例当机器人依次完成「将盘子放入橱柜」「拾取碗」等动作后语言记忆会从「已将一个盘子放入橱柜并移动至操作台处」动态更新为「已将一个盘子放入橱柜移动至操作台处并拾取了一个碗」。模型可自主决策记忆更新的时机与形式既可记录具体子任务也可对历史事件进行归纳总结如将「拿起黄色盘子」「拿起绿色盘子」归纳为「已拿起所有盘子」始终将上下文长度控制在合理范围。该设计有效缓解了朴素语言记忆存在的训练- 推理分布偏移问题。传统朴素语言记忆会直接拼接全部历史子任务指令若机器人反复执行「拾取碗」失败会产生大量重复指令导致推理分布与训练分布严重脱节而 MEM 的语言记忆机制仅在任务成功完成后更新记忆表征直接过滤无意义的失败尝试记录既实现了上下文长度的高效压缩又从根本上避免了分布偏移问题大幅提升模型在真实场景中的运行稳定性。综上短时视频记忆与长时语言记忆的结合让MEM 形成了一套完整的记忆闭环长时语言记忆负责 “记住大局”追踪十几分钟任务的整体进度短时视频记忆负责 “盯紧细节”支撑当下动作的精准调整。两者协同让机器人既不会忘了 “自己要做什么做到了哪一步”也不会在具体操作中 “睁眼瞎”这正是 MEM 能破解长时程具身智能任务难题的关键所在。三、实验验证MEM的性能优势评估研究团队通过系统实验对搭载多尺度具身记忆MEM的 π0.6模型展开了全面评估旨在回答三个核心问题长时程任务能力MEM 能否赋能 VLA完成长达15分钟、需持续记忆的复杂任务自适应学习能力MEM 能否让VLA基于近期失败的短时记忆实时调整操作策略实现“从失败中学习”相对先进性与现有为VLA 添加记忆的主流方法相比MEM 的性能究竟如何实验结果表明MEM 不仅显著扩展了 VLA 的任务执行时长更赋予其类人的自适应决策能力并在多维度对比中全面超越现有方案。1.解锁15 分钟超长时程任务从 “做单个动作” 到 “完成一整件事”MEM 的核心突破是让 VLA 模型真正具备超长时程复杂任务执行能力。研究团队在记忆需求逐级递增的三类场景中对搭载MEM的π0.6模型开展了全面验证。第一个场景制作烤奶酪三明治。这个任务不仅需要模型完成面包切片、涂抹黄油、煎制、翻面、装盘等一系列精细操作更需要通过短时记忆精准把控三明治的烤制时长多一秒就会烤焦少一秒就达不到效果无记忆模型根本无法完成这种对计时有精准要求的连贯任务。第二个场景食谱备料。模型需要根据详细的食谱指令从不同的橱柜、抽屉、冰箱中取出对应的食材和厨具放到指定位置还要记住所有已经取过的物品避免重复操作最后还要记得关闭所有打开的橱柜、抽屉和冰箱门。研究团队在42 道食谱上完成模型训练并在完全未知厨房、搭配未知物品的5道食谱上开展测试第三个场景厨房清洁任务也是难度最高的。机器人需要自主完成物品收纳进冰箱橱柜、台面擦拭、用肥皂和流水清洗餐具、餐具放入沥干架的全流程工作整个任务时长最长可达15 分钟。它需要用短时记忆记住盘子有没有洗干净、台面擦了多久用长时记忆记住哪些区域已经清洁完毕、哪些物品已经归位。最终实验结果显示在无记忆机制的情况下π0.6难以完成这些高难度的长时程任务。而搭载MEM的模型能够以较高成功率完成。另外为进一步厘清π0.6-MEM 优异性能的核心来源研究团队开展消融实验分别移除策略中的短时程视频记忆模块与长时程语言记忆模块并与完整模型π0.6-MEM进行性能对比。长时程任务上的性能表现对比图片来源PI论文实验结果表明上述两个记忆模块对于模型稳定完成高难度任务均不可或缺缺一不可。只保留语言记忆的模型会在需要精细操作的环节陷入无限卡顿只保留视频记忆的模型会很快忘记任务的整体进度出现重复操作、遗漏步骤的问题。只有两者结合的完整MEM 架构才能稳定完成这些高难度长时程任务。2.实现操作策略上下文自适应让机器人不再 “重复犯同一个错”一个真正智能的机器人不该在同一个地方反复摔倒。但无记忆的VLA 模型恰恰就存在这个致命问题拾取筷子失败了它只会重复一模一样的抓取动作永远无法成功开冰箱门拉不开它只会反复用同样的力度拉不会想到换个方向推。而MEM 的短时视频记忆为模型解锁了操作策略的上下文自适应能力—— 模型能记住自己之前的操作细节尤其是失败的尝试然后在任务执行过程中实时调整自己的操作策略无需重新训练就能从失败中学习找到正确的操作方式。为了验证这项能力研究团队设计了两项当前最优VLA如 π0.6难以完成的任务1任务一在桌面高度为分布外条件的场景中拾取扁平的筷子这个场景会频繁出现抓取失误2任务二开启门体开启方向不明确的冰箱仅从当前图像无法判断门是该拉开还是推开。数据收集与微调研究者采集了包含失败尝试与人工修正演示的数据例如在冰箱开门任务中演示者最初也不知道开门方式因此数据自然包含试错与成功修正的轨迹。随后分别用这些数据对π0.6-MEM 和无记忆 π0.6进行微调并对比其表现。拾取筷子和打开冰箱门图片来源PI论文实验结果显示搭载MEM 的模型能高效利用修正数据学会根据历史尝试动态调整策略。无记忆模型因无法记住已尝试过的动作只能在原地反复失败而 π0.6-MEM 则能通过短时记忆复盘已失败的策略并切换至正确操作方式。以冰箱开门任务为例无记忆模型成功率极低而 π0.6-MEM 的成功率提升了 62%。3.与现有记忆方法对比MEM 的性能优势凸显现有多项研究采用基于观测的短时程记忆机制并通过大幅压缩历史时刻观测来应对计算挑战。为全面评估MEM 的先进性研究团队将其与两类代表性记忆方案及无记忆基线模型进行了系统对比1池化记忆Pool Memory将历史视觉帧经平均池化压缩为单个记忆token。实现方式为用预训练单帧ViT分别编码每帧历史观测对帧编码做平均池化后输入VLA主干当前时刻观测单独编码、不经池化直接输入VLA。2本体感受记忆Proprio Memory仅以低维机器人状态历史作为条件输入且所有历史本体感受状态分别经线性投影后输入VLA主干。3无记忆基线模型当前最先进的VLA模型π0.6无记忆机制。为保证公平对比所有对比方法均基于π0.6 VLA 主干重新实现且本方法的对比版本移除了基于语言的长时程记忆模块。对比实验围绕一套覆盖单臂、双臂、移动机器人的高难度操作任务集展开这些任务同时考验多项核心记忆能力处理部分可观测性如记住物体藏在哪个抽屉、购物袋中是否还有剩余物品、计数如向咖啡机加入指定勺数、计时如把控三明治烤制时长和空间记忆如记住窗户哪些区域已擦拭且要求策略完成精准操作适合检验记忆方法的性能上限。各种记忆方案实验结果显示无记忆π0.6表现吃力在需要记忆的任务中基本靠随机猜测例如从四个抽屉中找到隐藏物体成功率仅25%、判断是否需要再加一勺咖啡粉成功率50%。现有记忆方案各有局限池化记忆因对历史帧做大幅压缩在长时程记忆任务如记住多个咖啡杯的历史位置、回忆购物袋中剩余待取出的物品数量上尤为吃力本体感受记忆仅在需要记住自身状态时有效在需要记忆环境状态的任务如记住哪个抽屉放了特定物体中表现不佳。π0.6-MEM在记忆能力上均表现优异它能可靠应对物体位置记忆等部分可观测性挑战并在购物袋取物等精细操作任务中灵活运用记忆能力。另外为更清晰地分析预训练对记忆效果的影响研究中设置了仅后训练MEM作为消融变体从预训练π0.6权重出发仅在目标任务的后训练阶段才引入视频编码器。该版本仍由相同预训练π0.6 权重初始化仅预训练阶段未习得记忆能力。预训练的关键作用仅在目标任务后训练阶段才引入记忆的模型版本其利用历史信息的能力远逊于完整MEM。这说明在多样化机器人数据上对观测型记忆进行预训练能显著提升模型利用记忆的能力即使后训练阶段将记忆时域从5秒大幅扩展至1分钟。架构设计的有效性通过仅后训练版本方法与池化记忆的直接对比可以证明——即使不经过预训练MEM的视频编码器也比“逐帧单独编码平均池化”的池化记忆方式更高效。通过在视觉Transformer层中穿插时间注意力MEM能更有效地从历史帧中提取并压缩相关信息。综上MEM凭借其多尺度记忆架构与充分的预训练在各项记忆任务上全面超越现有方法成为能够兼顾长时记忆、精细操作与策略自适应的VLA记忆方案。结语MEM 的出现绝不仅仅是给 VLA 模型打了一个 “记忆补丁”而是为具身智能的发展打开了一扇全新的大门。MEM让机器人从 “只会执行单一原子化动作的工具”变成了 “能统筹完成一整件复杂任务的智能体”。15 分钟的记忆能力只是一个开始。在论文的结尾研究团队也指出了 MEM 未来的发展方向将记忆的时域从单个任务回合的 15 分钟扩展到数小时、数天、数周、数月乃至数年的部署场景让机器人真正实现部署阶段的持续学习。未来我们给机器人下达的指令将不再是“拾取物体”“洗盘子” 这类简单的原子化指令而是一整套完整的生活日程“我工作日每天晚上7点到家提前准备好晚餐每周三、周日打扫一次全屋卫生每周五给绿植浇水”。而要完成这样的长期任务机器人需要的正是 MEM 这套具备多时间尺度、多层级抽象能力的记忆系统。具身智能的终极目标是让智能机器人成为人类可靠的伙伴。而记忆正是智能的核心基石—— 没有记忆就没有经验的积累没有任务的统筹更没有持续的学习与进化。MEM 多尺度具身记忆迈出了从 “短时技能演示” 到 “长时真实应用” 的关键一步也让我们看到通用具身智能正在从科幻概念一步步走进我们的真实生活。