The awkward Bellman optimality equation in RL

通过博文2017 Fall CS294 Lecture 6: Actor-critic introduction，一文中插播的Reinforcement Learning: An introduction(Sutton1998)书中的一页截图，对于
$V^\pi(s)$: the state-value function for policy $\pi$.
$Q^\pi(s,a)$: the action-value function for policy $\pi$.
这两个概念应该有了深刻的理解。

我们接着定义optimal policy下的$V^\pi(s), Q^\pi(s,a)$分别为optimal value function, $V^*(s)$和optimal action-value function, $Q^*(s,a)$。

接着可以很容易地得到：
Bellman equation for $V^*$，也叫Bellman optimality equation

Bellman optimality equation for $Q^*$

利用上面两个equation（for $V^*$or $Q^*$）中的任意一个都可以列出一个$N$元的方程组，这里的$N$表示的是state的数目。然后解这个方程组就可以解出对应的RL problem了。如下所述（直接从原书截图过来了）：

但是！直接通过解bellman optimality equation来求解RL problem虽说看起来简单，实际上却很难真正派上用场。原因是：

所以，这就是为什么这篇博文的名字叫做“awkward Bellman optimality equation”的原因~