FTC 框架详解残差 RL、稠密奖励与人在环的真实世界机器人训练先说结论FTC 通过残差 RL 将探索起点锁定在目标区域附近大幅降低真实世界交互次数需求。基于关键帧的可供性稠密奖励比 VLM 推理更轻量、实时但依赖示教数据质量。人类干预窗口设计在防止 RL 与示教冲突的同时保留了专家引导的灵活性。站在机器人算法选型角度分析 FTC 在真实世界 RL 中解决样本效率和奖励稀疏问题的三个关键设计并讨论其适用场景与局限性。真实环境下的机器人强化学习RL一直有个矛盾接触密集型任务如 USB 插拔、零件装配对精度要求极高传统仿真引擎难以建模真实的物理接触所以研究者转向“人在环”的直接真实世界训练。但真实世界的交互次数极其有限——一个下午可能只跑几百次episode。如何在这么少的次数里学到泛化策略最近刷到一篇论文 Focus-Then-ContactFTC给出了三个互相咬合的设计残差 RL、关键帧可供性奖励、以及带窗口的人类干预。思路跟一些工厂场景下自研的方案不谋而合。下面拆开讲讲每个设计的用意和实际代价。残差 RL让探索更聚焦标准的做法是直接用纯 RL 从零探索但在真实机器上前几十次可能都在乱撞浪费时间且可能损坏工件。FTC 的做法是先通过模仿学习IL训出一个“基础策略”它至少能完成一部分动作比如把夹爪移动到孔洞附近。然后冻结这个基础策略加一个两层的 MLP 作为残差网络。每次决策时基础策略输出一个候选动作残差策略输出一个偏移量两者相加作为最终动作。残差策略只负责“微调”不需要从零学习末端执行器的全部6维增量——论文里甚至只让它输出第一个数值其余由基础策略补齐。这个设计的核心好处是RL 只需要在目标区域附近探索样本效率大幅提升。但代价也很明显残差策略的表达能力受限于基础策略。如果基础策略本身就偏得离谱残差可能学不会纠正。所以对基础策略的质量有一定要求。稠密奖励从关键帧到嵌入距离稀疏奖励在真实世界 RL 里是致命问题——只有任务完成时才给1其余全是0智能体可能几百次都尝不到甜头。FTC 的做法是提供稠密的过程奖励。关键点在于奖励信号不依赖 VLM 或大模型速度太慢而是直接从示教数据中提取“目标关键帧”。比如插 USB 任务中取成功插入前一刻的图像作为目标。在训练时将当前图像与目标关键帧都裁剪到相同 ROI通过一个共享的视觉编码器自监督训练的 ResNet映射到嵌入空间奖励就是两个嵌入之间的余弦距离。这个方法的优点是实时性好、跨任务可迁移同一个视觉编码器可用于多个任务。缺点是依赖示教数据中关键帧的标注质量而且如果任务场景变化较大如光照、背景不同距离函数可能失效。论文也点明直接套用 ResNet 或 ViT 会不稳定必须用时间对比学习专门训练编码器。人在环干预窗口的微妙平衡FTC 保留了人类干预机制但加了一个“干预窗口”——假设允许人类在触发后的 W 秒内接管控制。如果窗口内无干预控制权交回 RL如果人类持续干预超过窗口则窗口重置。这个设计是为了避免专家示教和 RL 策略打架。实际操作中专家可以在机器人即将犯错时快速介入纠正轨迹纠正后机器人继续探索。窗口超时也能防止人类一直占着控制器给 RL 留出自主学习的空间。代价是窗口长度 W 需要人工调。太短可能导致专家来不及反应太长又会让 RL 学习被抑制。论文没有给出通用推荐值更像是一个经验参数。适用边界与取舍FTC 比较适合以下场景任务有明确的“接近—接触”两阶段且接近阶段可以用示教数据覆盖硬件上需要双腕相机左右各一个以应对旋转时的遮挡团队有耐心采集示教数据并标注关键帧每个任务4条成功轨迹8条失败轨迹即可。不适合的场景任务动作轨迹涉及全身协调比如移动底盘机械臂基础策略本身不稳定或过复杂以及人类专家无法频繁干预的情况。站在个人开发者视角如果做类似项目我会先验证基础策略的成功率是否超过 30%。如果太低残差 RL 可能救不回来不如换成更强的基础策略或者直接走 VLA 路线。另外稠密奖励的视觉编码器需要预训练最好在大量通用操作视频上做对比学习这部分成本容易被低估。最后留一个问题供探讨同样是真实世界 RLFTC 的残差方案和 ConRFT 那种微调 VLA 的方案你会选哪种理由是什么最后留一个讨论点在机器人精细操作任务中你会优先选择残差 RL 精化基础策略还是直接用 VLA 搭配在线 RL 微调为什么