标题UP: Unbounded Positive Asymmetric Optimization for Breaking the Exploration-Stability Dilemma来源arXiv, 2607.06987v1️文章简介研究问题如何在强化学习中最大化模型探索能力的同时防止训练不稳定主要贡献论文提出无界正非对称优化UP方法通过停止梯度算子重构优化过程在保持训练稳定的前提下彻底释放了正确推理路径的探索能力。重点思路形式化定义概率容量概念揭示传统裁剪机制因更新预算与历史策略线性相关导致低置信度正确路径被过早截断从结构上抑制了探索。针对正优势样本设计无界更新机制利用停止梯度算子将重要性采样比率锚定为当前策略自身使梯度计算等价于稳定的REINFORCE算法从而移除上界裁剪限制。采用非对称优化架构对正优势样本执行无界更新以最大化探索对负优势样本保留标准裁剪机制作为安全护栏防止错误轨迹引发梯度爆炸。构建通用插件式框架该目标函数可无缝集成至GRPO、DAPO等Token级算法及GSPO等序列级算法中无需修改原有训练流程即可应用。分析总结UP-DAPO在AIME24评测中Avg32准确率达51.15%显著优于基线DAPO的47.71%且训练全程梯度范数与KL散度保持稳定证明其打破了探索与稳定的权衡。消融实验证实仅放宽裁剪上界会导致梯度爆炸而对称无界更新会在25步内崩溃验证了自锚定比率与非对称设计的必要性。UP-GRPO在五个推理基准上的平均Pass1准确率达61.31%超越包括GSPO在内的11个强基线且在训练中维持了持续上升的策略熵避免了探索能力坍塌。UP框架在MoE架构和视觉语言模型的多模态几何推理任务中均取得一致性能提升验证了其跨算法、跨架构及跨模态的通用性。个人观点论文利用停止梯度算子重构了重要性采样比率从数学本质上消除了正样本更新对历史策略的依赖。既保留了离策略更新的样本效率又获得了在策略更新的稳定性与探索自由度。