D. 深度学习 --- 递归神经网络

D. 深度学习 — 递归神经网络

数据缓存

  • Elman Network：缓存的是 hidden layer 的值
  • Jordan Network：缓存的是 output layer 的值

网络结构

  • RNN
    • 问题：Total Loss是波动的，不是平滑下降的
      • 原因
        • 参数（Weight）对Total Loss 是陡峭的
      • 解决思路
        • Clipping，针对权重设置上限
  • Bidirectional RNN
  • Long Short-term Memory（LSTM）
    • input
      • 输入值
      • 输入门
      • 遗忘门
      • 输出门
    • 优势
      • 解决梯度消失
版权声明：本文为micklongen原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。