变分推断二（基于随机梯度求解分布Q）

高方差的问题

根据上一节变分推断一（根据平均场理论求解Q）我们得到了需要求解的分布$Q$的函数。
$$\begin{array}{rl}L(Q)=& {\int }_{Z}Q(Z)log\frac{P(X,Z)}{Q(Z)}dZ\\ =& E_{Q(Z)}[logP(X,Z)-logQ(Z)]\end{array}\text{\hspace{1em}(1)}$$
我们最终的目的是求解$Q$，在实际中$Q$分布是有参数的，参数记为$\phi$，只要求解了参数$\phi$，也就求得了分布$Q$。因此我们可以将（1）式进一步写成关于未知参数$\phi$的函数。即
$$L(\phi )=E_{q_{\phi }(z)}[logp(x^i,z)-log{q}_{\phi }(z)]\text{\hspace{1em}(2)}$$
其中$x^i$表示第i个样本，并且将（1）式中的大写字母全部转化为小写。这对推导并没有影响。

既然题目是用梯度来求未知参数$\phi$，那么就要对（2）式求关于$\phi$的导数。
$$\begin{array}{rl}{\nabla }_{\phi }L(\phi )=& {\nabla }_{\phi }(E_{q_{\phi }(z)}[logp(x^i,z)-log{q}_{\phi }(z)])\\ =& {\nabla }_{\phi }{\int }_z{q}_{\phi }(z)[logp(x^i,z)-log{q}_{\phi }(z)]dz\\ =& {\int }_z{\nabla }_{\phi }{q}_{\phi }(z)[logp(x^i,z)-log{q}_{\phi }(z)]dz\\ & +{\int }_z{q}_{\phi }(z){\nabla }_{\phi }[logp(x^i,z)-log{q}_{\phi }(z)]dz\\ =& A+B\end{array}\text{\hspace{1em}(3)}$$
将（3）式第三行的两项分别记为$A和B$，接下来分别求解。

所以最后$L(\phi )对\phi 的导数$就可以用（4）式所示的期望来代替。这样我们就可以用蒙特卡洛模拟的方法，从$q_{\phi }(z)$中采样若干个点，然后来近似（4）式的期望，也就是近似${\nabla }_{\phi }L(\phi )$。这样就可以使用梯度下降的方法来更新$\phi$，最后求得$\phi$。

上面的方法看似可以，但是仔细分析会存在一些问题。（4）式是函数${\nabla }_{\phi }log{q}_{\phi }(z)[logp(x^i,z)-log{q}_{\phi }(z)]$在分布$q_{\phi }(z)$下的期望，但是$log{q}_{\phi }(z)$的梯度变化会非常大（log函数的图像是由陡变缓的）。假如采样了两个点$z_1,z_2，但是q_{\phi }(z_1)接近0，而q_{\phi }(z_2)接近1$，求导之后这两个点的梯度差是非常大的，所以会存在高方差的问题，高方差问题会导致在梯度更新时不稳定。所以就需要一种方法来降方差，使得梯度能稳定的更新。

重参数化降方差

关于重参数化技巧可以看苏剑林的科学空间漫谈重参数，讲解的很详细。下面贴一张从VAE中采样的图，帮助大家理解重参数。

从（2）式可以看到，问题的根源是$z$是从分布$q_{\phi }(z)$中采样得到的，所以将（2）式转化为积分形式后（如（3）式所示），里面会出现$q_{\phi }(z)$，再对$\phi$求导就会变成（4）式，里面就会出现一项${\nabla }_{\phi }log{q}_{\phi }(z)$,这就会导致高方差的问题。

要是$z$不从$q_{\phi }(z)$中直接采样，而是从一个已知的分布$p(\epsilon )$中采样得到$\epsilon$，再通过一个变换$z=g_{\phi }(\epsilon )$得到$z$，通过这样的过程来采样$z$，将$z$的随机性转化为$\epsilon$的随机性，这样就消除了高方差的问题。下面就通过公式来体验一下。

已知：
$\epsilon \sim p(\epsilon )，z=g_{\phi }(\epsilon )$。

通过推导我们得到了（6）式。在计算时，先从$p(\epsilon )$中采样出${\epsilon }^1,,,{\epsilon }^k$，对于某个${\epsilon }^i$，求出${\nabla }_{z}f(z)$，${\nabla }_{z}f(z)$中必定含有$z$，再将$z=g_{\phi }({\epsilon }^i)$带入计算，最后得到${\nabla }_{z}f(z^i){\nabla }_{\phi }{g}_{\phi }({\epsilon }^i)$，则
$$\begin{array}{rl}{\nabla }_{\phi }L(\phi )=& \frac{1}{k}\sum _{i=1}^k{\nabla }_{z}f(z^i){\nabla }_{\phi }{g}_{\phi }({\epsilon }^i)\\ {\phi }^{(t+1)}=& {\phi }^{(t)}+{\lambda }^{(t)}{\nabla }_{\phi }L(\phi )\end{array}$$
通过上面的梯度更新，最后便可算出$\phi$，也就求得了分布$q_{\phi }(z)$。就可以用$q_{\phi }(z)来近似代替后验分布p(z|x)$。

参考：Gumbel-Softmax Trick和Gumbel分布
最后推荐苏剑林的科学空间中的有关博客和b站白板推导系列视频。