强化学习经典算法笔记——推导贝尔曼方程

在写强化学习经典算法笔记(一)：价值迭代算法Value Iteration和强化学习经典算法笔记(二)：策略迭代算法Policy Iteration的时候，感觉关键的部分——为什么要这样进行值（策略）迭代，没有讲清楚，概念有点模糊，所以感觉有必要重新关注一下Bellman Equation的来龙去脉，也是加强自己对这一块内容的理解。

相关概念

在介绍贝尔曼方程之前，必须对几个概念有所了解，下面我们一一介绍。

• 策略函数，Policy Function
• 状态价值函数，State Value Function
• 状态动作价值函数，State-action Value Function

策略函数 Policy Function

策略常表示为$\pi (s):S\to A$，函数的输入是一个状态$s$，输出状态$s$下应该采取的动作 $a$ 。策略函数的最优化是强化学习算法的核心任务。

状态价值函数 State Value Function

策略$\pi (s)$的优劣可以用状态价值函数来评价。常简称为Value Function，即价值函数。

Value Function的意义是，当处于状态$s_t$时，从下一个状态$s_{t+1}$开始，直至一个Episode结束，都按照策略$\pi (s)$与env进行交互，将从$s_{t+1}$到$s_{\infty }$过程中得到的reward累加起来，取其期望值作为状态$s_t$的价值。即
$$V^{\pi }(s)=E_{\pi }[R_t|s_t=s]$$
因为$R_t={\sum }_{k=0}^{\infty }{\gamma }^k{r}_{t+k+1}$ ，其中$r_{t+1}$表示从$s_t$转移到$s_{t+1}$时的回报。
$$V^{\pi }(s)=E_{\pi }[\sum _{k=0}^{\infty }{\gamma }^k{r}_{t+k+1}|s_t=s]$$

直观来看，一个状态的价值是从这个状态开始，依照某种策略，继续与环境进行交互而得到的总的回报。因此可以说Value Function受两个变量的控制，一个是状态$s$，从不同的状态出发，得到的分数有可能一样，有可能不一样。另一个就是策略函数Policy Function，Value Function一定是建立在某个策略上做出的评价，处于同一个状态$s$时，依照策略${\pi }_1(s)$玩下去的得分高于${\pi }_2(s)$，我们就可以说，${\pi }_1$优于${\pi }_2$。

另外需要注意，Value的定义是取累计回报的期望值，因为环境的不确定，进行N个episode的实验，得到N个$s_{t+1}$到$s_{\infty }$的累计汇报$R_t$，这N个值不可能完全一样，因此可以将$R_t$建模为一个随机变量，并取$E[R_t]$作为状态$s_t$的比较可靠的评价。

状态动作价值函数 State-action Value Function

状态动作价值函数一般称为Q值函数——Q Function。相比于Value Function是对状态的评估，Q Function是对（状态-动作对） 的评估。

Q值的定义是，给定一个状态$s_t$，采取动作$a_t$后，按照某一策略$\pi (s)$与环境继续进行交互，得到的累计汇报的期望值。
$$Q^{\pi }(s,a)=E_{\pi }[R_t|s_t=s,a_t=a]$$
即
$$Q^{\pi }(s,a)=E_{\pi }[\sum _{k=0}^{\infty }{\gamma }^k{r}_{t+k+1}|s_t=s,a_t=a]$$
Q函数对状态的评价更细化，精确到了每一个动作上。通过Q函数，可以确定在每个状态时应该采取什么动作。

Bellman Equation

贝尔曼方程用于求解MDP问题，也就是找到最优策略及其对应的价值函数。最优价值函数是在每一个状态上，其值 $\ge$ 其他价值函数在该状态的值 的价值函数。
$$V^{\ast }(s)=ma{x}_{\pi }{V}^{\pi }(s)$$

从另一个角度看，在状态$s$取最优的价值$V^{\ast }(s)$，也就意味着，在状态$s$，依照最优Q函数，采取最优的动作$a$，得到的价值$Q\ast (s,a)$
$$V^{\ast }(s)=ma{x}_a{Q}^{\ast }(s,a)$$
我们先给出价值函数的贝尔曼方程，它表示的是当前状态和下一个状态之间的递归关系。
$$V^{\pi }(s)=\sum _a\pi (s,a)\sum _{s^{\prime }}{p}_{s{s}^{\prime }}^a[R_{s{s}^{\prime }}^a+\gamma V^{\pi }(s^{\prime })]$$

相应地，我们给出基于Q函数的贝尔曼方程。
$$Q^{\pi }(s,a)=\sum _{s^{\prime }}{P}_{s{s}^{\prime }}^a[R_{s{s}^{\prime }}^a+\gamma \sum _{a^{\prime }}{Q}^{\pi }(s^{\prime },a^{\prime })]$$

其中，$P_{s{s}^{\prime }}^a$是前后状态之间的转移概率，$R_{s{s}^{\prime }}^a$是采取动作$a$，从$s$转移到$s^{\prime }$，环境反馈的reward。

利用上面的V和Q的关系，得到
$$V^{\ast }(s)=ma{x}_a\sum _{s^{\prime }}{P}_{s{s}^{\prime }}^a[R_{s{s}^{\prime }}^a+\gamma \sum _{a^{\prime }}{Q}^{\pi }(s^{\prime },a^{\prime })]$$

上式称为Bellman最优性方程，通过解这个方程，可以得到最优策略。而强化学习经典算法笔记(一)：价值迭代算法Value Iteration和强化学习经典算法笔记(二)：策略迭代算法Policy Iteration中的关键一步，正是上面这个式子的实现（只缺了max）。

for next_sr in env.P[state][action]: 
	# 在当前state和action的情况下，把可能转移的状态遍历一遍 
	# next_sr = (0.3333333333333333, 8, 0.0 , False) 
	# next_sr = (状态转移概率, 下一个状态,得到reward的概率,游戏是否结束) 
	trans_prob, next_state, reward_prob, _ = next_sr 
	
	# 下一状态t的动作状态价值 = 转移到t状态的概率 × （ env反馈的reward + γ × t状态的当前价值 ）
	next_states_rewards.append((trans_prob * (reward_prob + gamma * updated_value_table[next_state]))) 

贝尔曼方程的推导

先前定义的转移概率$P_{s{s}^{\prime }}^a$可以展开写成一个条件概率
$$P_{s{s}^{\prime }}^a=P(s_{t+1}=s^{\prime }|s_t=s,a_t=a)①$$

再看$R_{s{s}^{\prime }}^a$，$R_{s{s}^{\prime }}^a$是从$s_t$状态转移到$s_{t+1}$状态的回报概率。（应该是一个介于0和1之间的值）
$$R_{s{s}^{\prime }}^a=E(R_{t+1}|s_t=s,s_{t+1}=s^{\prime },a_t=a)②$$
即
$$R_{s{s}^{\prime }}^a=\gamma E_{\pi }[\sum _{k=0}^{\infty }{\gamma }^k{r}_{t+k+2}|s_{t+1}=s^{\prime }]③$$
但是从②式推导③式的过程我不是很理解。因为$R_t=r_{t+1}+\gamma r_{t+2}+{\gamma }^2{r}_{t+3}+\cdots$，所以
$R_{t+1}=r_{t+2}+\gamma r_{t+3}+{\gamma }^2{r}_{t+4}+\cdots ={\sum }_{k=0}^{\infty }{\gamma }^k{r}_{t+k+2}$，将这个式子带入②式，和③式之间还是差着$\gamma$倍。

我们再来看状态函数的定义：
$$V^{\pi }(s)=E_{\pi }[R_t|s_t=s]$$
$$V^{\pi }(s)=E_{\pi }[r_{t+1}+\gamma r_{t+2}+{\gamma }^2{r}_{t+3}+\cdots |s_t=s]$$

把第一项提出来，之后的项写成求和的形式，就可以看成是前后两项求期望。一项是从$s_t$跳转到$s_{t+1}$，得到当前回报 $r_{t+1}$；第二项是按照策略$\pi (s)$继续走下去得到的累计回报${\sum }_{k=0}^{\infty }{\gamma }^k{r}_{t+k+2}$。
$$V^{\pi }(s)=E_{\pi }[r_{t+1}+\gamma \sum _{k=0}^{\infty }{\gamma }^k{r}_{t+k+2}|s_t=s]④$$

把第二项拿出来，因为我们知道从$s_t$跳转到$s_{t+1}$，有多个可能的动作以及对应的转移概率和回报概率，将其展开，就是下式，式中的$s^{\prime }$表示下一状态，${\sum }_{s^{\prime }}$表示遍历状态$s$的所有可能的下一状态。
$$E_{\pi }[r_{t+1}|s_t=s]=\sum _a\pi (s,a)\sum _{s^{\prime }}{P}_{s{s}^{\prime }}^a{R}_{s{s}^{\prime }}^a⑤$$
把②式带入⑤式右边，得
$$\sum _a\pi (s,a)\sum _{s^{\prime }}{p}_{s{s}^{\prime }}^a\gamma E_{\pi }[\sum _{k=0}^{\infty }{\gamma }^k{r}_{t+k+2}|s_{t+1}=s^{\prime }]⑥$$

再看第二项 $E_{\pi }[\gamma {\sum }_{k=0}^{\infty }{\gamma }^k{r}_{t+k+2}|s_t=s]$，表示状态$s_t$的后2个状态（$s_{t+2}$）开始的累计回报，所以应该遍历各个可能的$s_{t+1}$状态。

$$E_{\pi }[\gamma \sum _{k=0}^{\infty }{\gamma }^k{r}_{t+k+2}|s_t=s]=\sum _a\pi (s,a)\sum _{s^{\prime }}{P}_{s{s}^{\prime }}^a\gamma E_{\pi }[\sum _{k=0}^{\infty }{\gamma }^k{r}_{t+k+2}|s_{t+1}=s^{\prime }]⑦$$
把上面⑥⑦两式加起来，
$$V^{\pi }(s)=\sum _a\pi (s,a)\sum _{s^{\prime }}{P}_{s{s}^{\prime }}^a[R_{s{s}^{\prime }}^a+\gamma E_{\pi }[\sum _{k=0}^{\infty }{\gamma }^k{r}_{t+k+2}|s_{t+1}=s^{\prime }]]⑧$$

把$E_{\pi }[{\sum }_{k=0}^{\infty }{\gamma }^k{r}_{t+k+2}|s_{t+1}=s^{\prime }]$写成$V^{\pi }(s^{\prime })$，即下一状态的价值函数，则上式化简为Value函数的贝尔曼方程
$$V^{\pi }(s)=\sum _a\pi (s,a)\sum _{s^{\prime }}{P}_{s{s}^{\prime }}^a[R_{s{s}^{\prime }}^a+\gamma V^{\pi }(s^{\prime })]⑨$$
类似的，可以推出Q函数的贝尔曼方程
$$Q^{\pi }(s,a)=\sum _{s^{\prime }}{P}_{s{s}^{\prime }}^a[R_{s{s}^{\prime }}^a+\gamma \sum _{a^{\prime }}{Q}^{\pi }(s^{\prime },a^{\prime })]⑩$$