在强化学习RL中智能体通过试错与环境反复交互学习一种能最大化奖励信号的策略。近年来强化学习智能体与深度神经网络结合使用取得了显著成果。其中核心部分是2015年提出深度Q网络DQN智能体的论文它在一大批雅达利游戏上超越了人类水平。DQN的一个核心组件是一个优化器它调整神经网络的参数以最小化DQN目标。我们通常使用深度学习中的标准优化算法但这些算法在设计时并未考虑解决深度强化学习时出现的复杂性。在今年的神经信息处理系统大会NeurIPS上提出了一种新型优化器它更适合应对强化学习的困难。该优化器采用了一种称为近端更新的简单技术使我们能够通过确保神经网络的权重平稳且缓慢地变化来对冲噪声更新的影响。为此当没有迹象表明这样做会损害智能体时我们将网络导向其先前的解决方案。研究表明DQN智能体最好被视为解决一系列优化问题。在每次迭代中新的优化问题都基于前一次迭代即上一次迭代产生的网络权重。这个先前的迭代也是深度强化学习文献中所谓的目标网络它是我们倾向的解决方案。虽然目标网络编码了先前的解决方案但第二个网络在文献中称为在线网络则寻找新的解决方案。该网络在每一步都通过朝着最小化DQN目标的方向进行更新。最小化DQN目标产生的梯度向量需要足够大以抵消朝向先前解决方案目标网络的默认“引力”。如果在线网络和目标网络接近近端更新的行为将与标准DQN更新类似。但如果两个网络相距甚远近端更新可能与DQN更新显著不同因为它会鼓励缩小两个网络之间的差距。在此公式中可以调整先前解决方案施加的引力强度噪声越大的更新需要越强的引力。虽然近端更新导致神经网络参数的变化更慢但它们也导致在获得高奖励强化学习中主要的关注量方面改进更快。研究证明这种改进既适用于智能体的中期性能也适用于其渐近性能。它同时适用于带有噪声的规划环境以及噪声几乎必然存在的大规模领域学习环境。为了在学习环境中评估该方法将近端更新添加到两种标准RL算法中上述的DQN算法和更具竞争力的Rainbow算法后者结合了RL中各种现有的算法改进。然后将新算法称为带近端更新的DQN和Rainbow Pro在一套标准的55个雅达利游戏上进行测试。从结果图中可以看出1Pro版本智能体的表现优于其对应版本2基本的DQN智能体在与环境进行1.2亿次交互帧后能够达到人类水平3Rainbow Pro相比原始Rainbow智能体实现了40%的相对改进。此外为了确认近端更新确实导致参数变化更平稳、更慢测量了连续DQN解决方案之间的范数差异。预计使用近端更新时更新幅度会更小。在下方图表中在测试的四个不同雅达利游戏上证实了这一预期。总体而言实证和理论结果支持这一主张在深度强化学习中为新的解决方案进行优化时让优化器倾向于先前的解决方案是有益的。更重要的是我们看到深度强化学习优化中的简单改进可以带来智能体性能的显著积极增益。我们认为这证明了进一步探索深度强化学习中的优化算法将富有成果。该解决方案的源代码已在GitHub上发布。FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享