点击下方卡片关注“CVer”公众号AI/CV重磅干货第一时间送达点击进入—【顶会/顶刊】投稿交流群添加微信号CVer2233小助手拉你进群扫描下方二维码加入CVer学术星球可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料及应用发论文/搞科研/涨薪强烈推荐转载自山西大学 iDUST LAB近日山西大学 iDUST LAB 在离线强化学习研究中取得重要进展相关成果以“Efficient Offline Reinforcement Learning via Peer-Influenced Constraint”为题于2026年1月被人工智能领域国际顶级会议International Conference on Learning Representations 2026ICLR 2026接收。ICLR 是人工智能与机器学习领域的国际顶级学术会议长期聚焦深度学习及表示学习的基础理论与方法创新在全球学术界和工业界具有广泛而深远的影响力。根据 Google Scholar 学术影响力评估ICLR 位居人工智能会议前列并与 NeurIPS、ICML 并称为机器学习领域的三大顶级会议。据悉ICLR 2026 共收到近 1.9 万篇有效投稿整体接收率约为 28%大会将于4月23日至4月27日在巴西里约热内卢举办。该论文第一作者为中北大学张钰嘉博士通讯作者为山西大学魏巍教授同时得到了山西大学梁吉业教授的指导。此外山西大学李琳副教授博士生吴建国以及马亿博士也为该研究做出了重要贡献。论文链接https://openreview.net/forum?idbPWCIJyp1K摘要离线强化学习旨在从一份固定的离线数据集中学习最优策略但由于学习策略与数据生成策略之间往往存在分布偏移策略在真实环境中的效果容易出现显著退化。现有方法通常通过行为策略正则化来约束新策略使其尽量贴近数据分布然而这类偏保守的约束在行为策略本身并不理想时容易限制性能上限与泛化能力。为此本文提出同辈约束方法Peer-Influenced Constraint, PIC引入一种类似“同行评议”的决策约束机制对当前状态我们首先构建一组相似状态集合并将这些相似状态下的历史动作作为候选动作集随后从候选集中筛选更优动作用以对策略更新施加约束。该机制在近似保证策略仍处于数据分布支持范围的同时帮助策略跳出局部最优从而同时提升性能与泛化能力。在此基础上我们进一步提出集成同辈影响约束Ensemble Peer-Influenced Constraint, EPIC将集成学习思想融入 PIC在保持较高训练效率的同时获得更强的整体表现。此外我们揭示了 PIC 与不确定性估计之间的“耦合效应”Coupling Effect为理解离线 RL 中约束机制与不确定性建模的交互关系提供了新的视角与启示。我们在 D4RL 基准的经典连续控制任务上进行了系统评测实验结果表明 PIC 与 EPIC 均能取得与当前先进方法具有竞争力的性能表现。贡献提出了同辈约束通过类似于“同行评议”机制构建候选动作集并选择最优动作以约束策略有效提升了策略的泛化能力揭示了同辈约束与不确定性估计之间的耦合效应进一步提出了集成同辈约束在保持高效性的同时显著提高了策略性能在经典的 D4RL 离线基准测试上全面验证了 PIC 和 EPIC 方法在泛化能力和计算效率上的显著优势。方法图1EPIC 中 Actor 的训练流程。该流程共包括三个核心阶段识别同辈状态、确定最优动作以及损失计算。首先利用 KD-Tree 为给定状态识别同辈状态并从中确定最优动作最后基于 PIC 距离约束进行策略更新1. 同辈约束受基于表征学习的强化学习和基于数据集约束的强化学习方法启发这些方法通过将相似的状态或状态-动作对映射到相似的嵌入中来捕捉环境中的结构信息而离线强化学习的数据集中通常包含丰富但未被有效利用的状态结构信息。因此引入数据集中的状态相似性来指导策略优化成为提升策略泛化能力的关键。 为此我们提出一种同辈约束机制其核心思想类似于“同行评议”机制通过构建同辈状态集合并从中动态选择最优动作以显著提升策略泛化能力。定义同辈约束距离对于数据集中任意状态以及待优化的策略定义PIC距离为其中是从候选动作集中选择的最优动作。最优动作由下式确定其中和分别由两个值函数网络估计的 Q 值这种双值函数结构有效避免了动作值估计中常见的高估问题。具体地候选动作集合由两部分构成当前状态在数据集中对应的动作集合与状态最相似的个同辈状态对应的动作集合。同辈状态的定义如下其中为已选择的个同辈状态组成的集合。 由于数据集中一个状态可能对应多个动作因此候选动作集合的大小通常大于。通过上述构造方式PIC充分挖掘了数据集中状态-动作之间的结构关联突破了传统严格的一对一映射限制使策略能够从更广泛的动作集合中选择最优动作避免局部最优并有效提升泛化能力。相比之下TD3BC\cite{TD3BC}则受限于严格状态-动作映射易于陷入局部最优泛化性不足。算法具体实现PIC本质上是一个通用的离线强化学习组件可灵活嵌入至任意的Actor-Critic类强化学习算法中。为便于分析与验证选择实现简单且实用的TD3作为基算法提出了PIC-TD3算法。具体的策略更新损失为其中为类似于TD3BC中的自适应权重参数其中超参数控制强化学习目标与PIC约束项的权衡为PIC约束强度的调节系数。该损失函数有效平衡了性能最大化与策略约束实现了泛化的离线策略学习。2. 集成同辈约束尽管基于策略约束的方法计算高效但基于不确定性估计的集成方法如EDAC在特定任务中往往表现更优。然而这类方法通常需要大量值函数网络尤其在一些专家级数据集上。因此探索PIC与集成方法的结合验证其对集成方法效率和泛化能力的提升具有一定意义。为此将PIC嵌入到EDAC中进行验证。如图2所示即使在集成规模较小时如即最初的PIC-TD3形式所提方法已取得良好性能且随值函数数量的增加性能逐渐提升。然而当过大例如在hopper-medium环境中或halfcheetah-expert中时策略的收敛速度显著减慢最终性能也有所下降。此外更高的PIC强度参数能够有效降低达到相同性能所需的值函数数量显著提升集成方法的计算效率。图2集成规模与 PIC 强度对性能的影响为了进一步分析上述现象在hopper-medium-expert数据集中系统探究了不确定性度量指标与集成规模及PIC强度之间的关系。具体地在 hopper-medium-expert 数据集上采样了 10,000 个状态-动作对并在不同和下计算不确定性度量、和。随后计算这些指标值并生成热力图如图3所示。图3集成规模与 PIC 强度对不确定性度量的影响实验结果表明固定集成规模时随着PIC强度的增加较小的集成规模能够维持对OOD动作的有效惩罚。相反在固定时增加值函数数量也会提高不确定性。对这一现象的分析表明随着PIC强度增大策略更多选择数据集中已有的动作降低了动作值的高估现象进一步导致和下降从而更有效地区分出OOD动作。基于上述耦合效应将 PIC 应用于 EDAC提出了EPIC该方法在保持高效计算的同时生成了高性能且泛化的策略。EPIC 的策略更新公式为其中为EDAC原始的策略损失中的最优动作为EPIC 的值函数更新方法与 EDAC 一致在常规值函数更新公式中引入了集成相似性Ensemble SimilarityES项其中是超参数为集成规模。ES 项用于提高值函数之间的差异性为了明确验证 PIC的有效性本文在大部分环境中统一设置未做特定环境的调节。EPIC伪代码如下实验1. 动作偏差对比实验设置PIC通过构建同辈状态动作候选集能够选择潜在更优的动作。为了评估不同方法与数据集中动作之间的差异分别采样50万个随机的状态-动作对并计算各方法动作输出与数据集内动作之间的 L2 距离。实验结果如图4所示。实验结论从实验结果可看出PIC与EPIC的动作输出相比EDAC更加接近数据集中实际动作有效抑制了OOD动作的产生。同时与CQL和PRDC方法相比PIC和EPIC在降低动作偏差的基础上实现了更为多样化和潜在更优的动作选择表现出更高的策略泛化性。2. D4RL基准上的性能对比实验设置分别在Gym-MuJoCo、AntMaze和Adroit三个经典D4RL离线强化学习任务集中对PIC-TD3和EPIC算法进行了系统性的实验评估各方法均训练100万步并记录其性能表现对比结果如下表所示。表1Gym-MuJoCo 任务上基于最终评估和五次实验的平均归一化得分实验结论EPIC算法在绝大多数任务中显著优于各基线方法表现出更快的收敛速度、更高的性能上限与泛化能力。同时PIC-TD3方法相较于非集成基线方法性能也明显更优并与先进的集成方法如EDAC相当这表明PIC机制本身具备强大的泛化性与稳定性。3. 计算效率对比图5不同方法的训练时间对比实验设置计算效率是衡量离线强化学习算法实际应用价值的重要指标之一。为评估 PIC-TD3、EPIC 与多个主流基线方法的计算效率在 hopper-medium 数据集上进行了系统性对比分析结果如图 5 所示。实验结论EPIC 通过利用同辈约束与集成方法的耦合效应显著减少了所需值函数网络的数量使其整体计算耗时与非集成的基线方法接近甚至更低。4. 泛化性能对比实验动机PIC 算法的突出优势在于通过充分挖掘数据集中状态间的相似性能够利用相似状态同辈状态中的优质动作引导策略学习到当前状态中未出现的潜在最优动作从而实现更好的泛化性能。为验证这一优势我们设计了一个线性世界Lineworld环境如图 6 所示。图6线性世界示意图Lineworld 环境与数据集设置Lineworld 环境包含起始点与目标点。智能体在每个状态仅能选择两个动作向左动作值或向右动作值。只有持续向右移动才能到达目标并获得奖励。为系统评估算法在不同数据分布下的泛化能力我们构建了四个难度递增的数据集Lineworld-easy动作与比例为Lineworld-random动作与比例均衡Lineworld-medium动作与比例为分布偏向次优Lineworld-hard除状态 99 外各状态动作与比例为极度偏向次优且状态 99 仅包含动作。 我们在上述数据集上对TD3BC、BEAR、PRDC、PIC-TD3进行对比实验结果见图7与表4。图7:不同方法在四种线性世界数据集上的学习策略可视化表4不同方法在四种自定义数据集上的表现对比。成功标记为 √失败标记为 ×实验结论结果表明在easy和random数据集中各算法均能有效学习到最优策略。但随着数据分布向次优倾斜medium和hard基于严格行为策略约束的TD3BC和BEAR难以泛化到未出现的最优动作泛化性能大幅下降。相比之下PIC-TD3通过从同辈状态集合中识别并学习潜在最优动作成功跳出局部最优展现出显著更强的泛化能力。本工作得到了国家自然科学基金以及山西省基础研究计划项目的支持。本文系学术转载如有侵权请联系CVer小助手删文何恺明在MIT授课的课件PPT下载在CVer公众号后台回复何恺明即可下载本课程的所有566页课件PPT赶紧学起来CV垂直方向和论文投稿交流群成立扫描下方二维码或者添加微信号CVer2233即可添加CVer小助手微信便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖目标检测、图像分割、目标跟踪、人脸检测识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。 一定要备注研究方向地点学校/公司昵称如Mamba、多模态学习或者论文投稿上海上交卡卡根据格式备注可更快被通过且邀请进群▲扫码或加微信号: CVer2233进交流群 CVer计算机视觉知识星球人数破万如果你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到精通学习教程等资料一定要扫描下方二维码加入CVer知识星球最强助力你的科研和工作 ▲扫码加入星球学习▲点击上方卡片关注CVer公众号 整理不易请点赞和在看