强化学习—— TD算法（Sarsa算法+Q-learning算法）

• 1. Sarsa算法
• • 1.1 TD Target
  • 1.2 表格形式的Sarsa算法
  • 1.3 神经网络形式的Sarsa算法
• 2. Q-learning算法
• • 2.1 TD Target
  • 2.2 表格形式的Q-learning算法
  • 2.3 神经网络形式的Q-learning算法（DQN）
• 3. Saras和Q-learning的区别
• 4. Multi-step TD Target
• • 4.1 Sarsa的Multi-step TD Target
  • 4.2 Q-learning的Multi-step TD Target

1. Sarsa算法

1.1 TD Target

• 回报函数的定义为:
  $$\begin{gathered} U_t=R_t+\gamma R_{t+1}+{\gamma }^2{R}_{t+2}+\cdot \cdot \cdot \\ {U}_t=R_t+\gamma (R_{t+1}+\gamma R_{t+2}+\cdot \cdot \cdot ) \\ {U}_t=R_t+\gamma U_{t+1} \end{gathered}$$
• 假设t时刻的回报依赖于t时刻的状态、动作以及t+1时刻的状态：$$R_t\leftarrow (S_t,A_t,S_{t+1})$$
• 则动作价值函数可以定义为：$$\begin{gathered} Q_{\pi }(s_t,a_t)=E[U_t|a_t,s_t] \\ {Q}_{\pi }(s_t,a_t)=E[R_t+\gamma U_{t+1}|a_t,s_t] \\ {Q}_{\pi }(s_t,a_t)=E[R_t|a_t,s_t]+\gamma E[U_{t+1}|a_t,s_t] \\ {Q}_{\pi }(s_t,a_t)=E[R_t|a_t,s_t]+\gamma E[Q_{\pi }(S_{t+1},A_{t+1})|a_t,s_t] \\ {Q}_{\pi }(s_t,a_t)=E[R_t+\gamma Q_{\pi }(S_{t+1},A_{t+1})] \end{gathered}$$
• 依据蒙特卡洛近似：$$y_t=r_t+\gamma Q_{\pi }(s_{t+1},a_{t+1})$$
• TD学习的目标：$$y_t\approx Q_{\pi }(s_t,a_t)$$

1.2 表格形式的Sarsa算法

• 学习动作价值函数$$Q_{\pi }(s,a)$$
• 假设动作和状态的数量有限。
• 则需要学习下列表格信息：

S\A$$a_1$$$$a_2$$$$a_3$$$$a_4$$…

$$s_1$$	$$Q_{11}$$				…
$$s_2$$					…
$$s_3$$					…
$$s_4$$					…
…					…

计算步骤为：

观测到一个transition，即：$$(s_t,a_t,r_t,s_{t+1})$$

依据策略函函数对动作进行抽样：$$a_{t+1}\sim \pi (\cdot |s_{t+1})$$

查表得到TD Target：$$y_t=r_t+\gamma Q_{\pi }(s_{t+1},a_{t+1})$$

TD error为：$${\delta }_t=Q_{\pi }(s_t,a_t)-y_t$$

更新表格：$$Q_{\pi }(s_t,a_t)\leftarrow Q_{\pi }(s_t,a_t)-\alpha \cdot {\delta }_t$$

1.3 神经网络形式的Sarsa算法

• 用神经网络近似动作价值函数：$$q(s,q;W)\sim Q_{\pi }(s,a)$$
• 神经网络作为裁判去评判动作
• 参数W需要学习
• TD Target为：$$y_t=r_t+\gamma \cdot q(s_{t+1},a_{t+1};W)$$
• TD error为：$${\delta }_t=q(s_t,a_t;W)-y_t$$
• loss 为:$$\frac{1}{2}\cdot {\delta }_t^2$$
• 梯度为:$${\delta }_t\cdot \frac{\partial q(s_t,a_t;W)}{\partial W}$$
• 进行梯度下降：$$W\leftarrow W-\alpha \cdot {\delta }_t\cdot \frac{\partial q(s_t,a_t;W)}{\partial W}$$

2. Q-learning算法

Q-learning用来学习最优动作价值函数：$$Q_{\pi }^{\star }(s,a)$$

2.1 TD Target

$$Q_{\pi }(s_t,a_t)=E[R_t+\gamma \cdot Q_{\pi }(S_{t+1},A_{t+1})]$$
将最优策略函数计为：$${\pi }^{\star }$$
则：$$Q^{\star }(s_t,a_t)=Q_{{\pi }^{\star }}(s_t,a_t)=E[R_t+\gamma \cdot Q_{{\pi }^{\star }}(S_{t+1},A_{t+1})]$$
t+1时刻的动作按下式进行计算：$$A_{t+1}=\underset{a}{\mathrm{argmax}}{Q}^{\star }(s_{t+1},a)$$
则最优动作价值函数可作如下近似：$$\begin{gathered} Q^{\star }(s_t,a_t)=E[R_t+\gamma \cdot \underset{a}{\max }{Q}^{\star }(S_{t+1},a)] \\ \approx r_t+\underset{a}{\max }{Q}^{\star }(s_{t+1},a) \end{gathered}$$

2.2 表格形式的Q-learning算法

S\A$$a_1$$$$a_2$$$$a_3$$$$a_4$$…

$$s_1(找出此行最大的Q)$$	$$Q_{11}$$				…
$$s_2$$					…
$$s_3$$					…
$$s_4$$					…
…					…

计算步骤为：

观测到一个transition，即：$$(s_t,a_t,r_t,s_{t+1})$$

TD Target为：$$y_t=r_t+\underset{a}{\max }{Q}^{\star }(s_{t+1},a)$$

TD error为：$${\delta }_t=Q^{\star }(s_t,a_t)-y_t$$

更新表格：$$Q^{\star }(s_t,a_t)\leftarrow Q^{\star }(s_t,a_t)-\alpha \cdot {\delta }_t$$

2.3 神经网络形式的Q-learning算法（DQN）

观测到一个transition，即：$$(s_t,a_t,r_t,s_{t+1})$$

TD Target为：$$y_t=r_t+\underset{a}{\max }Q(s_{t+1},a；W)$$

TD error为：$${\delta }_t=Q(s_t,a_t；W)-y_t$$

参数更新：$$W\leftarrow W-\alpha \cdot {\delta }_t\cdot \frac{\partial Q(s_t,a_t;W)}{\partial W}$$

3. Saras和Q-learning的区别

Sarsa学习动作价值函数： $$Q_{\pi }(s,a)$$

Actor-Critic中的价值网络为用Sarsa训练的

Q-learning训练最优动作价值函数:$$Q^{\star }(s,a)$$

4. Multi-step TD Target

• one-step仅使用一个reward：$$r_t$$
• multi-step 使用m个reward：$$r_t,r_{t+1},...,t_{t+m-1}$$

4.1 Sarsa的Multi-step TD Target

$$y_t=\sum _{i=0}^{m-1}{\lambda }^i{r}_{t+i}+{\lambda }^m{Q}_{\pi }(s_{t+m},a_{t+m})$$

4.2 Q-learning的Multi-step TD Target

$$y_t=\sum _{i=0}^{m-1}{\lambda }^i{r}_{t+i}+{\lambda }^m\underset{a}{\max }{Q}^{\star }(s_{t+m},a)$$
本文为参考B站学习视频书写的笔记！
by CyrusMay 2022 04 08

我们在小孩和大人的转角
盖一座城堡
——————五月天（好好）——————

总结

以上是生活随笔为你收集整理的强化学习—— TD算法（Sarsa算法+Q-learning算法）的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。