前馈网络的一些不足

• 连接存在层与层之间，每层的节点之间是无连接的。（无循环）
• 输入和输出的维数都是固定的，不能任意改变。无法处理变长的序列数据。
• 假设每次输入都是独立的，也就是说每次网络的输出只依赖于当前的输入。

循环神经网络

• 循环神经网络通过使用带自反馈的神经元，能够处理任意长度的序列。
• 循环神经网络比前馈神经网络更加符合生物神经网络的结构。
• 循环神经网络已经被广泛应用在语音识别、语言模型以及自然语言生成等任务上。
  
  $$h(t)=f(h(t-1),x(t))$$
  RNN是图灵完全等价的 (Siegelmann and Sontag, 1995)
  FNN：模拟任何函数
  RNN：模拟任何程序（计算过程）。

循环网络RNN应用

同步的序列到序列模式（ner、词性预测等）。
异步的序列到序列模式（机器翻译、看图说话、作诗等）