1. 循环神经网络的引入与简介

在前馈神经网络中，信息的传递是单向传递过程，这种学习方法使得网络很容易学习，但是也一定程度上限制了神经网络模型的学习能力。但是在很多任务中，存在一些网络的输入不仅和当前的输入有关系，也和网络的历史输入信息有关系，例如有限状态的自动机。时序数据的长度序列长度不是固定的，不可任意改变。循环神经网络在一定程度上解决了这一类问题，它是一种具有短期记忆能力的神经网络，广泛使用到语音识别、语言模型以及其他自然语言处理等等任务上。循环神经网络中的参数学习过程使用到随时间反向传播算法来进行学习。但是普通的神经网络学习过程中的长期依赖关系，会出现梯度爆炸和消失问题，对这个问题提出了LSTM，GRU以及能够使得循环神经网络加速的SRU神经网络。另外，循环神经网络很容易推广到广义上的记忆型神经网络：递归神经网络和图神经网络，当然也包含树形神经网络。

1.1 延时神经网络

延时神经网络中通过建立一个额外的延时单元来存储网络的历史信息(例如输入、输出、隐藏层状态信息等等)。延时神经网络中在$t$时刻，第$l+1$层神经网络和第$l$层神经元的最近$p$次输出相关，即
$$h_t^{(l+1)}=f(h_t^{(l)},h_{t-1}^{(l)},...,h_{t-p}^{(l)})$$

这样对网络中输入和输出进行延时和神经元存储处理，神经网络就有了短期的记忆能力。

一般情况下函数$f(.)$是一种自回归模型，用变量$y_t$的历史信息来预测自己的输出信息：
$$y_t=w_0+\sum _{t=1}^p{w}_i{y}_{t-i}+b_t$$

这是一种不包含输入信息的一种递归神经网络，下面是一种有外部输入的非线性自回归模型：
$$y_t=f(x_t,x_{t-1},...,x_{t-p},y_{t-1},y_{t-2},...,y_{t-p})$$

1.2 同步学习模式和异步学习模式

同步的序列到序列模式主要使用序列标注任务，每一时刻都有输入和输出，输入的序列和输出序列的长度相同。例如对单词尽心词性标注的任务就必须对每一个单词进行标注处理。设输入为$x_{1:T}=\{x_1,...,x_T\}$，输出为${\hat{y}}_{1:T}\{{\hat{y}}_1,...,{\hat{y}}_T\}$，通常模型表达为
$$h_t=f(h_{t-1},x_t)$$

$${\hat{y}}_t=g(h_t)$$

异步的序列到序列模式也称作编码器-解码器模型，输入序列和输出序列不需要有严格的对应关系，也没必要保持有相同的长度信息。例如机器翻译中自然语言处理任务。设输入的序列为$x_{1:T}=\{x_1,...,x_T\}$，输出序列为${\hat{y}}_{1:M}=\{{\hat{y}}_1,...,{\hat{y}}_M\}$，那么通常模型表达为
$$h_t=f_1(h_{t-1},x_t),\forall t\in [1,T]$$

$$h_{T+t}=f_2(h_{T+t-1}),\forall t\in [1,M]$$

$${\hat{y}}_t=g(h_{T+t}),\forall t\in [1,M]$$

2. 梯度训练BPTT算法与RTRL算法

在循环神经网络中，梯度更新的方法主要有随时间反向传播算法和实时循环学习方法。给定一个训练样本$(x,y)$，其中$x_{1:T}=(x_1,...,x_T)$为长度是$T$的输入序列，$y_{1,T}=(y_1,...,y_T)$为长度为$T$的标签序列。我们定义时刻$t$的损失函数为
$$L_t=L(y_t,g(h_t))$$

其中$g(h_t)$为$t$时刻的输出，$L$为可微分的损失函数。那么整个序列的损失函数为
$$L=\sum _{t=1}^T{L}_t$$

所以说，整个序列的损失函数$L$关于参数$U$的梯度为
$$\frac{\partial L}{\partial U}=\sum _{t=1}^T\frac{\partial L_t}{\partial U}$$

所以通过这样可以进行梯度的传播。

2.1 BPTT算法

随时间反向传播算法中，主要计算上面偏导数$\frac{\partial L}{\partial U}$。

参数$U$和隐藏层在每个时刻$k(1\le k\le t)$的净输入$z_k=U{h}_{k-1}+W{x}_k+b$，所以说第$t$时刻的损失函数$L_t$关于参数$u_{ij}$的梯度为
$$\frac{\partial L_t}{\partial u_{ij}}=\sum _{k=1}^t\frac{\partial z_k}{\partial u_{ij}}\cdot \frac{\partial L_t}{\partial z_k}$$

注意，这里的$\frac{\partial z_k}{\partial u_{ij}}$指的是直接的偏导数，即对于公式$z_k=U{h}_{k-1}+W{x}_k+b$中，把$h_{k-1}$作为常量来对其求偏导数。所以有以下求法
$$\frac{\partial z_k}{\partial u_{ij}}=[0,...,[h_{k-1}{]}_j,..,0]={\mathbb{I}}_i([h_{k-1}{]}_j)$$

其中$[h_{k-1}{]}_j$为第$k-1$时刻的隐藏层状态的第$j$维，${\mathbb{I}}_i(x)$指的是除了第$i$行值为$x$外，其余为$0$的行向量。

定义误差项${\delta }_{t,k}=\frac{\partial L_t}{\partial z_k}$是第$t$时刻的损失对第$k$时刻隐藏层的净输入$z_k$的导数，则当$1\le k\le t$时
$$\begin{gathered} {\delta }_{t,k}=\frac{\partial L_t}{\partial z_k}=\frac{\partial h_k}{\partial z_k}\cdot \frac{\partial z_{k+1}}{\partial h_k}\cdot \frac{\partial L_t}{\partial z_{k+1}} \\ =\text{diag}(f^{{}^{\prime }}(z_k))U^T{\delta }_{t,k+1} \\ =f^{{}^{\prime }}(z_k)\odot (U^T{\delta }_{t,k+1}) \end{gathered}$$
所以我们得到
$$\frac{\partial z_k}{\partial u_{ij}}=\sum _{k=1}^t[{\delta }_{t,k}{]}_i[h_{k-1}{]}_j$$

写成矩阵的形式为

$$\frac{\partial L_t}{\partial U}=\sum _{k=1}^t{\delta }_{t,k}{h}_{k-1}^T$$

最后得到整个序列的梯度更新公式：
$$\frac{\partial L}{\partial U}=\sum _{t=1}^T\sum _{k=1}^t{\delta }_{t,k}{h}_{k-1}^T$$

同理得到
$$\frac{\partial L}{\partial W}=\sum _{t=1}^T\sum _{k=1}^t{\delta }_{t,k}{x}_k^T$$

$$\frac{\partial L}{\partial b}=\sum _{t=1}^T\sum _{k=1}^t{\delta }_{t,k}$$

2.2 RTRL算法

反向传播中的BPTT算法不同的是，实时循环学习是通过前向传播的方式来进行梯度计算。
设循环神经网络中第$t+1$时刻的状态$h_{t+1}$为
$$h_{t+1}=f(z_{t+1})=f(U{h}_t+W{x}_{t+1}+b)$$

则有以下的表达式
$$\begin{gathered} \frac{\partial h_{t+1}}{\partial u_{ij}}=(\frac{\partial z_{t+1}}{\partial u_{ij}}+\frac{\partial h_t}{\partial u_{ij}}{U}^T)\frac{\partial h_{t+1}}{\partial z_{t+1}} \\ =({\mathbb{I}}_i([h_t{]}_j)+\frac{\partial h_t}{\partial u_{ij}}{U}^T)\text{diag}(f^{{}^{\prime }}(z_{t+1})) \\ =({\mathbb{I}}_i([h_t{]}_j)+\frac{\partial h_t}{\partial u_{ij}}{U}^T)\odot (f^{{}^{\prime }}(z_{t+1}){)}^T \end{gathered}$$

其中${\mathbb{I}}_i(x)$是除了第$i$行值为$x$之外，其余都为$0$的行向量。
所以在实时循环学习中，通过迭代递归的方法来进行参数的学习。

这两种算法都是基于梯度下降算法，分别通过前向方法和反向方法应用链式法则来计算梯度。循环神经网络中，一般网络输出的维度远低于输入的维度，故而BPTT算法的计算量会更小，但是在BPTT算法中需要保存所有时刻的中间梯度，空间复杂度比较高。RTRL算法不需要梯度回传，适合于在线学习或者无限序列的任务当中。

3. 常见的循环神经网络及其变体

作为递归神经网络的循环神经网络，其中有各种各样的神经网络。其中最为代表性的有RNN、LSTM、GRU等循环神经网络。这里我们先介绍同步学习的方法，即输入长度和输出长度一致，在梯度更新中我们使用BPTT算法。假设输入变量$x_{1:T}=\{x_1,...,x_T\}$，标签向量$y_{1:T}=\{{\hat{y}}_1,...,{\hat{y}}_T\}$。RNN中最大的一个特点是，神经网络的偏置和权重值是共享的，接下来会介绍各种神经网络的原理及其应用。

3.1 RNN神经网络

RNN中最为普通的循环神经网络，假设在$t$时刻输出的隐藏层为$h_t$，则会有
$$h_t=f(W_{ih}{x}_t+b_{ih}+W_{hh}{h}_{t-1}+b_{hh})$$

净输入
$$z_t=W_{ih}{x}_t+b_{ih}+W_{hh}{h}_{t-1}+b_{hh}$$
设t时刻的损失函数为$L_t=L({\hat{y}}_t,y_t)$，并且
$$L=\sum _{t=1}^T{L}_t$$

在梯度更新中，根据上面公式的讨论，我们知道了误差递推公式如下所示：
$${\delta }_{t,k}=\text{diag}(f^{{}^{\prime }}(z_k)W_{hh}^T{\delta }_{t,k+1})$$

梯度更新的表达式如下所示：

$$\frac{\partial L}{\partial W_{hh}}=\sum _{t=1}^T\sum _{k=1}^t{\delta }_{t,k}{h}_{k-1}^T$$

$$\frac{\partial L}{\partial W_{ih}}=\sum _{t=1}^T\sum _{k=1}^t{\delta }_{t,k}{x}_k^T$$

$$\frac{\partial L}{\partial b_{ih}}=\sum _{t=1}^T\sum _{k=1}^t{\delta }_{t,k}$$

$$\frac{\partial L}{\partial b_{hh}}=\sum _{t=1}^T\sum _{k=1}^t{\delta }_{t,k}$$

其中误差传播的更新表达式：
$${\delta }_{t,k}=f^{{}^{\prime }}(z_k)\odot (W_{hh}^T{\delta }_{t,k+1})$$

一个最为典型的RNN网络包含一个输入$x$，一个输出$h$和一个神经网络单元。这个神经网络中只存在一个简单的回归循环单元，上一个时刻的网络状态信息会作用于下一个时刻的网络状态。可以表示为如下

普通的RNN神经网络中最大的问题就是长期依赖中的梯度消失或者梯度爆炸的问题。在BPTT算法中，将误差传播的递推表达式展开可以得到：
$${\delta }_{t,k}=\prod _{\tau =k}^{t-1}(\text{diag}(f^{{}^{\prime }}(z_{\tau }))W_{hh}^T){\delta }_{t,t})$$

那么，若$\gamma =||\text{diag}(f^{{}^{\prime }}(z_{\tau }))W_{hh}^T||$，则

$${\delta }_{t,k}={\gamma }^{t-k}{\delta }_{t,t}$$

显然，根据指数函数的性质可知，若$\gamma >1$时，${\gamma }^{t-k}\to \infty$。所以当间隔$t-k$比较大的时候，梯度很大，神经网络系统会很不稳定，被称为梯度爆炸问题。
若$\gamma <1$时，${\gamma }^{t-k}\to 0$。所以当间隔$t-k$比较大的时候，梯度非常小，神经网络系统会出现深层中的梯度消失问题。
为解决上述梯度消失和梯度爆炸等问题，所以在此提出了门控机制进一步解决这类问题，提出了LSTM神经网络和GRU神经网络。

3.2 LSTM神经网络

这种神经网络被称作为长短期记忆(Long Short-Term Memory,LSTM)神经网络，从而有效地解决了梯度消失或者梯度爆炸的问题。主要引入了两个方面的内容：新的内部状态关系以及门控机制。引入门控制机制主要是将隐藏层中的一些变量控制在$[0,1]$区间内使得信息按照一定的比例通过。LSTM神经网络可以由以下的公式来表达：
$$\begin{gathered} i_t=\sigma (W_{ii}{x}_t+b_{ii}+W_{hi}{h}_{t-1}+b_{hi}) \\ {f}_t=\sigma (W_{if}{x}_t+b_{if}+W_{hf}{h}_{t-1}+b_{hf}) \\ {o}_t=\sigma (W_{io}{x}_t+b_{io}+W_{ho}{h}_{t-1}+b_{ho}) \\ {g}_t=\tanh (W_{ig}{x}_t+b_{ig}+W_{hg}{h}_{t-1}+b_{hg}) \\ {c}_t=f_t\odot c_{t-1}+i_t\odot g_t \\ {h}_t=o_t\odot \tanh (c_t) \end{gathered}$$

上述公式中的三个门分别是输入门$i_t$、遗忘门$f_t$和输出门$o_t$。这三个门主要的作用如下所示：

• 遗忘门$f_t$用于控制上一个时刻的内部状态$c_{t-1}$需要遗忘多少信息；
• 输入门$i_t$控制当前时刻的候选状态$g_t$需要多少信息用来保存；
• 输出门$o_t$用于控制当前时刻的内部状态$c_t$有多少信息需要输出到外部状态$h_t$

特别地，当$f_t=0,i_t=1$时候，记忆单元将历史信息清空，并且将候选状态向量$g_t$写入神经元中。当$f_t=1,i_t=0$时候，记忆单元将复制上一个时刻的内容，不写入新的信息。
$\sigma (.)$函数表示sigmoid激活函数，用于控制这些信息的流动大小。在BPTT算法中，依旧设$t$时刻的损失函数为$L_t=L({\hat{y}}_t,y_t)$，则
$$L=\sum _{t=1}^T{L}_t$$

设
$$\begin{gathered} z{i}_t=W_{ii}{x}_t+b_{ii}+W_{hi}{h}_{t-1}+b_{hi} \\ z{f}_t=W_{if}{x}_t+b_{if}+W_{hf}{h}_{t-1}+b_{hf} \\ z{g}_t=W_{ig}{x}_t+b_{ig}+W_{hg}{h}_{t-1}+b_{hg} \\ z{o}_t=W_{io}{x}_t+b_{io}+W_{ho}{h}_{t-1}+b_{ho} \end{gathered}$$

所以，对应的偏导数满足以下条件
$$\frac{\partial L_t}{\partial (W_{hi}{)}_{jk}}=\sum _{s=1}^t\frac{\partial z{i}_s}{\partial (W_{hi}{)}_{jk}}\cdot \frac{\partial L_t}{\partial z{i}_s}$$

$$\frac{\partial L_t}{\partial (W_{hf}{)}_{jk}}=\sum _{s=1}^t\frac{\partial z{f}_s}{\partial (W_{hf}{)}_{jk}}\cdot \frac{\partial L_t}{\partial z{f}_s}$$

$$\frac{\partial L_t}{\partial (W_{hg}{)}_{jk}}=\sum _{s=1}^t\frac{\partial z{g}_s}{\partial (W_{hg}{)}_{jk}}\cdot \frac{\partial L_t}{\partial z{g}_s}$$

$$\frac{\partial L_t}{\partial (W_{ho}{)}_{jk}}=\sum _{s=1}^t\frac{\partial z{o}_s}{\partial (W_{ho}{)}_{jk}}\cdot \frac{\partial L_t}{\partial z{o}_s}$$

根据求导公式可以得到
$$\frac{\partial z{i}_s}{\partial (W_{hi}{)}_{jk}}={\mathbb{I}}_j([h_{s-1}{]}_k)$$

$$\frac{\partial z{i}_s}{\partial (W_{hf}{)}_{jk}}={\mathbb{I}}_j([h_{s-1}{]}_k)$$

$$\frac{\partial z{i}_s}{\partial (W_{hg}{)}_{jk}}={\mathbb{I}}_j([h_{s-1}{]}_k)$$

$$\frac{\partial z{i}_s}{\partial (W_{ho}{)}_{jk}}={\mathbb{I}}_j([h_{s-1}{]}_k)$$

其中，每一个导数的误差项，有以下的推导式

$$\begin{gathered} \delta i_{t,s}=\frac{\partial L_t}{\partial z{i}_s}=\frac{\partial h_s}{\partial z{i}_s}\cdot \frac{\partial z{i}_{s+1}}{\partial h_s}\cdot \frac{\partial L_t}{\partial z{i}_{s+1}} \\ =\frac{\partial h_s}{\partial z{i}_s}(W_{hi}^T{\delta }_{t,s+1}) \end{gathered}$$

$$\begin{gathered} \delta f_{t,s}=\frac{\partial L_t}{\partial z{f}_s}=\frac{\partial h_s}{\partial z{f}_s}\cdot \frac{\partial z{f}_{s+1}}{\partial h_s}\cdot \frac{\partial L_t}{\partial z{f}_{s+1}} \\ =\frac{\partial h_s}{\partial z{f}_s}(W_{hf}^T\delta f_{t,s+1}) \end{gathered}$$

$$\begin{gathered} \delta g_{t,s}=\frac{\partial L_t}{\partial z{g}_s}=\frac{\partial h_s}{\partial z{g}_s}\cdot \frac{\partial z{g}_{s+1}}{\partial h_s}\cdot \frac{\partial L_t}{\partial z{g}_{s+1}} \\ =\frac{\partial h_s}{\partial z{g}_s}(W_{hg}^T\delta g_{t,s+1}) \end{gathered}$$

$$\begin{gathered} \delta o_{t,s}=\frac{\partial L_t}{\partial z{o}_s}=\frac{\partial h_s}{\partial z{o}_s}\cdot \frac{\partial z{o}_{s+1}}{\partial h_s}\cdot \frac{\partial L_t}{\partial z{o}_{s+1}} \\ =\frac{\partial h_s}{\partial z{o}_s}(W_{hf}^T\delta o_{t,s+1}) \end{gathered}$$

而
$$\frac{\partial h_s}{\partial z{i}_s}=\frac{\partial h_s}{\partial c_s}\cdot \frac{\partial c_s}{\partial i_s}\cdot \frac{\partial i_s}{\partial z{i}_s}=o_s\odot {\tanh }^{{}^{\prime }}(c_s)\odot g_s\cdot \text{diag}({\sigma }^{{}^{\prime }}(z{i}_s))$$

$$\frac{\partial h_s}{\partial z{g}_s}=\frac{\partial h_s}{\partial c_s}\cdot \frac{\partial c_s}{\partial g_s}\cdot \frac{\partial g_s}{\partial z{i}_s}=o_s\odot {\tanh }^{{}^{\prime }}(c_s)\odot i_s\cdot \text{diag}({\tanh }^{{}^{\prime }}(z{i}_s))$$

$$\frac{\partial h_s}{\partial z{f}_s}=\frac{\partial h_s}{\partial c_s}\cdot \frac{\partial c_s}{\partial f_s}\cdot \frac{\partial f_s}{\partial z{f}_s}=o_s\odot {\tanh }^{{}^{\prime }}(c_s)\odot c_{s-1}\cdot \text{diag}({\sigma }^{{}^{\prime }}(z{f}_s))$$

$$\frac{\partial h_s}{\partial z{o}_s}=\frac{\partial h_s}{\partial o_s}\cdot \frac{\partial o_s}{\partial z{o}_s}=\tanh (c_s)\cdot \text{diag}({\sigma }^{{}^{\prime }}(z{o}_s))$$

所以有
$$\delta i_{t,s}=\frac{\partial L_t}{\partial z{i}_s}=(o_s\odot {\tanh }^{{}^{\prime }}(c_s)\odot g_s)\odot \text{diag}({\sigma }^{{}^{\prime }}(z{i}_s))W_{hi}^T{\delta }_{t,s+1}$$

$$\delta g_{t,s}=\frac{\partial L_t}{\partial z{g}_s}=(o_s\odot {\tanh }^{{}^{\prime }}(c_s)\odot i_s)\odot \text{diag}({\tanh }^{{}^{\prime }}(z{g}_s))W_{hg}^T{\delta }_{t,s+1}$$

$$\delta f_{t,s}=(o_s\odot {\tanh }^{{}^{\prime }}(c_s)\odot c_{s-1})\odot \text{diag}({\sigma }^{{}^{\prime }}(z{f}_s))W_{hf}^T\delta f_{t,s+1}$$

$$\delta o_{t,s}=\tanh (c_s)\odot \text{diag}({\sigma }^{{}^{\prime }}(z{o}_s))W_{ho}^T\delta o_{t,s+1}$$

故而，用矩阵的方式表示梯度更新表达式为
$$\frac{\partial L}{\partial W_{hi}}=\sum _{t=1}^T\sum _{s=1}^t\delta i_{t,s}{h}_{s-1}^T$$

$$\frac{\partial L}{\partial W_{hg}}=\sum _{t=1}^T\sum _{s=1}^t\delta g_{t,s}{h}_{s-1}^T$$

$$\frac{\partial L}{\partial W_{hf}}=\sum _{t=1}^T\sum _{s=1}^t\delta f_{t,s}{h}_{s-1}^T$$

$$\frac{\partial L}{\partial W_{ho}}=\sum _{t=1}^T\sum _{s=1}^t\delta o_{t,s}{h}_{s-1}^T$$

同样，对于其他的权重矩阵有
$$\frac{\partial L}{\partial W_{ii}}=\sum _{t=1}^T\sum _{s=1}^t\delta i_{t,s}{x}_s^T$$

$$\frac{\partial L}{\partial W_{ig}}=\sum _{t=1}^T\sum _{s=1}^t\delta g_{t,s}{x}_s^T$$

$$\frac{\partial L}{\partial W_{if}}=\sum _{t=1}^T\sum _{s=1}^t\delta f_{t,s}{x}_s^T$$

$$\frac{\partial L}{\partial W_{io}}=\sum _{t=1}^T\sum _{s=1}^t\delta o_{t,s}{x}_s^T$$

$$\frac{\partial L}{\partial b_{ii}}=\frac{\partial L}{\partial b_{hi}}=\sum _{t=1}^T\sum _{s=1}^t\delta i_{t,s}$$

$$\frac{\partial L}{\partial b_{ig}}=\frac{\partial L}{\partial b_{hg}}=\sum _{t=1}^T\sum _{s=1}^t\delta g_{t,s}$$

$$\frac{\partial L}{\partial b_{if}}=\frac{\partial L}{\partial b_{hf}}=\sum _{t=1}^T\sum _{s=1}^t\delta f_{t,s}$$

$$\frac{\partial L}{\partial b_{io}}=\frac{\partial L}{\partial b_{ho}}=\sum _{t=1}^T\sum _{s=1}^t\delta o_{t,s}$$

所以这样我们就得到了LSTM神经网络中的BPTT算法权重矩阵和偏置矩阵的梯度更新公式。通过LSTM循环单元，整个神经网络可以建立较长距离的时序依赖关系。LSTM神经网络中的关系公式可以写为：

$$\left[\begin{array}{c}{g}_t\\ o_t\\ i_t\\ f_t\end{array}\right]=\left[\begin{array}{c}\tanh \\ \sigma \\ \sigma \\ \sigma \end{array}\right]\left(\begin{array}{c}W\left[\begin{array}{c}{x}_t\\ h_{t-1}\end{array}\right]+b\end{array}\right)$$

$$\begin{gathered} c_t=f_t\odot c_{t-1}+i_t\ast g_t \\ {h}_t=o_t\odot \tanh (c_t) \end{gathered}$$

其中$t\in {\mathbb{R}}^e$是当前时刻的输入，$W\in {\mathbb{R}}^{4d\times (d+e)},b\in {\mathbb{R}}^{4d}$是网络中的权重矩阵和偏置矩阵参数。
在循环神经网络中隐藏层状态$h$存储了网络的历史信息，所以可以看作是一种记忆状态。简单的RNN中隐藏层的每一个时刻都会被重写状态信息，因此是一种短期记忆效应。在LSTM神经网络中，长期记忆可以看作是网络的参数，隐含了从训练数据中学习到的经验，但是更新速度远远慢于短期记忆的神经网络。记忆单元$c$可以在某一个时刻捕捉到某一个关键信息，并且有能力将关键信息保存一定的时间间隔。记忆单元中$c$中保存信息的生命周期要长于短期记忆$h$，但是又远远短于长期记忆，故而称之为长期记忆。
对于LSTM神经网络也有很多变体形式。我们举例下面几种形式

• 没有遗忘门的LSTM：最早提出的LSTM神经网络中并没有遗忘门，即表达为以下的形式：
  $$\begin{gathered} i_t=\sigma (W_{ii}{x}_t+b_{ii}+W_{hi}{h}_{t-1}+b_{hi}) \\ {o}_t=\sigma (W_{io}{x}_t+b_{io}+W_{ho}{h}_{t-1}+b_{ho}) \\ {g}_t=\tanh (W_{ig}{x}_t+b_{ig}+W_{hg}{h}_{t-1}+b_{hg}) \\ {c}_t=c_{t-1}+i_t\odot g_t \\ {h}_t=o_t\odot \tanh (c_t) \end{gathered}$$

但是其中会出现这个问题，即记忆单元$c$会不断增大。当输入的序列的长度非常打的时候，记忆单元的容量会饱和，从而大大降低LSTM的性能。

• peephole连接：三个门的不仅仅依赖于输入$x_t$和上一个时刻的隐藏状态$h_{t-1}$，也依赖于上一个时刻的记忆单元$c_{t-1}$：
  $$\begin{gathered} i_t=\sigma (W_{ii}{x}_t+b_{ii}+W_{hi}{h}_{t-1}+b_{hi}+V_{ci}{c}_{t-1}+b_{ci}) \\ {f}_t=\sigma (W_{if}{x}_t+b_{ii}+W_{hf}{h}_{t-1}+b_{hi}+V_{cf}{c}_{t-1}+b_{cf}) \\ {o}_t=\sigma (W_{io}{x}_t+b_{io}+W_{ho}{h}_{t-1}+b_{ho}+V_{co}{c}_{t-1}+b_{co}) \\ {g}_t=\tanh (W_{ig}{x}_t+b_{ig}+W_{hg}{h}_{t-1}+b_{hg}) \\ {c}_t=f_t\odot c_{t-1}+i_t\odot g_t \\ {h}_t=o_t\odot \tanh (c_t) \end{gathered}$$
  其中，$V_{ci},V_{cf},V_{co}$为对角矩阵。
• 耦合输入门和遗忘门：由于LSTM网络中输入们和遗忘门之间有些互补关系，因而同时用两个比较冗余。为了减少LSTM网络中的计算复杂度，所以将这两个门合并为一个门。
  令
  $$f_t=1-i_t$$

这样LSTM更新状态为如下式：
$$\begin{gathered} i_t=\sigma (W_{ii}{x}_t+b_{ii}+W_{hi}{h}_{t-1}+b_{hi}) \\ {o}_t=\sigma (W_{io}{x}_t+b_{io}+W_{ho}{h}_{t-1}+b_{ho}) \\ {g}_t=\tanh (W_{ig}{x}_t+b_{ig}+W_{hg}{h}_{t-1}+b_{hg}) \\ {c}_t=(1-i_t)\odot c_{t-1}+i_t\odot g_t \\ {h}_t=o_t\odot \tanh (c_t) \end{gathered}$$

3.3 GRU神经网络

门控循环单元(Gated Recurrent Unit,GRU)网络是一种改进版的RNN神经网络，相对于LSTM神经网络更加简单的循环神经网络。GRU网络引入门控制机制来控制信息的更新方式。GRU不引入额外的记忆单元，而是引入一个更新门来控制当前状态需要从历史状态中保留多少信息，以及需要从候选状态中接受多少信息。GRU神经网络的更新表达式如下：
$$\begin{gathered} r_t=\sigma (W_{ir}{x}_t+b_{ir}+W_{hr}{h}_{t-1}+b_{hr}) \\ {z}_t=\sigma (W_{iz}{x}_t+b_{iz}+W_{hz}{h}_{t-1}+b_{hz}) \\ {n}_t=\tanh (W_{in}{x}_t+b_{in}+r_t\odot (W_{hn}{h}_{t-1}+b_{hn})) \\ {h}_t=(1-z_t)\odot n_t+z_t\odot h_{t-1} \end{gathered}$$

其中$z_t\in [0,1]$为更新门，由于LSTM神经网络中，输入门与遗忘门是互补关系，具有一定的冗余性。GRU神经网络中使用更新门来控制输入信息与遗忘信息之间的平衡性质。当$z_t=0$时，$h_t$和$h_{t-1}$之间为非线性关系；当$z_t=1$时，$h_t$和$h_{t-1}$之间为线性关系。
$r_t\in [0,1]$表示的是重置门，用于控制候选状态$n_t$是否依赖于上一个隐藏层状态$h_{t-1}$。当$r_t=0$时，候选状态$n_t=\tanh (W_{in}{x}_t+b_{in})$之和当前的输入$x_t$有关系，并不和历史状态有关；$r_t=1$时，候选状态中与当前输入以及历史状态信息有关，与简单循环神经网络一致。
从上面的公式可以明显看出，当$z_t=0,r_t=1$时，GRU退化为普通的RNN神经网络；当$z_t=0,r_t=0$时，当前状态$h_t$仅仅和当前输入$x_t$有关；当$z_t=1$时，当前的状态$h_t=h_{t-1}$与当前的输入状态$x_t$无关。
下面计算在BPTT算法中的梯度更新表达式。设损失函数
$$L_t=\sum _{s=1}^{t}L({\hat{y}}_t,y_t)$$

$$L=\sum _{t=1}^T{L}_t$$

显然，我们设

$$z{r}_t=W_{ir}{x}_t+b_{ir}+W_{hr}{h}_{t-1}+b_{hr}$$

$$z{z}_t=W_{iz}{x}_t+b_{iz}+W_{hz}{h}_{t-1}+b_{hz}$$

$$z{n}_t=W_{in}{x}_t+b_{in}+r_t\odot (W_{hn}{h}_{t-1}+b_{hn})$$

所以梯度更新表达式有
$$\frac{\partial L_t}{\partial (W_{hr}{)}_{jk}}=\sum _{s=1}^t\frac{\partial z{r}_s}{\partial (W_{hr}{)}_{jk}}\cdot \frac{\partial L_t}{\partial z{r}_s}$$

$$\frac{\partial L_t}{\partial (W_{hz}{)}_{jk}}=\sum _{s=1}^t\frac{\partial z{z}_s}{\partial (W_{hz}{)}_{jk}}\cdot \frac{\partial L_t}{\partial z{z}_s}$$

$$\frac{\partial L_t}{\partial (W_{hn}{)}_{jk}}=\sum _{s=1}^t\frac{\partial z{n}_s}{\partial (W_{hn}{)}_{jk}}\cdot \frac{\partial L_t}{\partial z{n}_s}$$

经过推导，同理有以下的梯度更新表达式：

$$\delta r_{t,s}=\frac{\partial L_t}{\partial z{r}_s}=\frac{\partial h_s}{\partial z{r}_s}\cdot \frac{\partial z{r}_{s+1}}{\partial h_s}\cdot \frac{\partial L_t}{\partial z{r}_{s+1}}=\frac{\partial h_s}{\partial z{r}_s}\cdot W_{hr}^T{\delta }_{t,s+1}$$

$$\delta z_{t,s}=\frac{\partial L_t}{\partial z{z}_s}=\frac{\partial h_s}{\partial z{z}_s}\cdot \frac{\partial z{z}_{s+1}}{\partial h_s}\cdot \frac{\partial L_t}{\partial z{z}_{s+1}}=\frac{\partial h_s}{\partial z{z}_s}\cdot W_{hz}^T{\delta }_{t,s+1}$$

$$\delta n_{t,s}=\frac{\partial L_t}{\partial z{n}_s}=\frac{\partial h_s}{\partial z{n}_s}\cdot \frac{\partial z{n}_{s+1}}{\partial h_s}\cdot \frac{\partial L_t}{\partial z{n}_{s+1}}=\frac{\partial h_s}{\partial z{n}_s}\cdot W_{hn}^T{r}_s{\delta }_{t,s+1}$$

其中，
$$\frac{\partial h_s}{\partial z{r}_s}=\frac{\partial h_s}{\partial n_s}\cdot \frac{\partial n_s}{\partial r_s}\cdot \frac{\partial r_s}{\partial z{r}_s}=(1-z_s)\odot ((W_{hn}{h}_{t-1}+b_{hn})\odot {\tanh }^{{}^{\prime }}(z{n}_s))\cdot \text{diag}({\sigma }^{{}^{\prime }}(z{r}_s))$$

$$\frac{\partial h_s}{\partial z{z}_s}=\frac{\partial h_s}{\partial z_s}\frac{\partial z_s}{\partial z{z}_s}=(-n_s+h_{s-1})\cdot \text{diag}({\sigma }^{{}^{\prime }}(z{z}_s))$$

$$\frac{\partial h_s}{\partial z{n}_s}=\frac{\partial h_s}{\partial n_s}\cdot \frac{\partial n_s}{\partial z{n}_s}=(1-z_s)\cdot \text{diag}({\sigma }^{{}^{\prime }}(z{n}_s))$$

所以我们得到了梯度更新的表达式：
$$\frac{\partial L}{\partial W_{hr}}=\sum _{t=1}^T\sum _{s=1}^t\delta r_{t,s}{h}_{s-1}^T$$