Double DQN-深度Q网络

评论
22 views

  1. 定义与背景
  2. Double DQN（深度Q网络）是对传统Q - Learning算法的一种改进。在传统的DQN中，由于Q值的估计和更新都基于同一个网络，可能会导致Q值被过度高估，从而产生次优的策略。Double DQN通过解耦动作选择和动作评估的过程，有效地缓解了这个问题。
  3. 算法原理
  4. 在传统DQN中，Q值的更新公式为：
    • $y_j = r_j+\gamma\max_{a'}Q_{\theta}(s_{j + 1},a';\theta)$，其中$Q_{\theta}(s,a;\theta)$是由参数为$\theta$的神经网络来估计的Q值函数，$r_j$是即时奖励，$\gamma$是折扣因子，$s_{j+1}$是下一个状态。
  5. Double DQN在更新Q值时，使用两个神经网络：一个用于选择动作（在线网络，用$\theta$表示参数），另一个用于评估动作（目标网络，用$\theta^-$表示参数）。其更新公式为：
    • $y_j = r_j+\gamma Q_{\theta^-}(s_{j + 1},\arg\max_{a'}Q_{\theta}(s_{j + 1},a';\theta);\theta^-)$。
    • 首先，在线网络用于选择在下一个状态$s_{j + 1}$中具有最大Q值的动作$\arg\max_{a'}Q_{\theta}(s_{j + 1},a';\theta)$，然后目标网络用于评估这个动作的Q值，这样就将动作选择和动作评估分开了。
  6. 例如，假设有一个游戏场景，智能体需要在不同的状态下选择行动来获得高分。在传统DQN中，可能会因为对某些行动的Q值过度估计，导致智能体总是选择那些实际上不是最优的行动。而Double DQN通过两个网络的协作，更准确地估计Q值，使得智能体能够做出更合理的行动选择。
  7. 训练过程
  8. 网络初始化：初始化在线网络和目标网络，通常目标网络的初始参数可以直接复制在线网络的参数。
  9. 经验回放（Experience Replay）：智能体在环境中交互，将得到的经验（状态、动作、奖励、下一个状态）存储在一个经验回放缓冲区（通常是一个队列）中。在训练时，从缓冲区中随机抽取一批样本进行训练，这样可以打破样本之间的相关性，提高训练的稳定性。
  10. 参数更新：按照Double DQN的Q值更新公式，使用反向传播算法来更新在线网络的参数。在一定的训练步骤后，将在线网络的参数复制到目标网络中，以保持目标网络的更新。
  11. 优势
  12. 减少Q值高估问题：通过解耦动作选择和动作评估，有效地降低了Q值被过度高估的可能性，使得学习到的策略更加稳定和高效。
  13. 提高学习效率：能够更快地收敛到一个较好的策略，在复杂的环境（如高维状态空间和连续动作空间）中表现更优，因为它可以更准确地估计Q值，引导智能体更快地找到最优策略。
  14. 应用场景
  15. 游戏智能体训练：在大型3D游戏、Atari游戏等场景中，用于训练智能体学会复杂的游戏策略，如在《毁灭战士》等第一人称射击游戏中，智能体可以学习如何躲避敌人、寻找武器和完成任务。
  16. 机器人控制：在机器人的路径规划和操作任务中，帮助机器人在复杂的环境中做出更合理的决策，比如机器人手臂的操作任务，根据不同的物体位置和目标位置来调整手臂的动作。