RNN+LSTM笔记

• RNN
• LSTM
• 参考文献

相比RNN只有一个传递状态 h t h^t ht
LSTM有两个传输状态，一个 C t C^t Ct （cell state），和一个 h t h^t ht （hidden state）
C t C^t Ct变化得很慢，而 h t h^t ht则变化得很快

LSTM内部的三个阶段：
忘记阶段：

• 对上一个节点传进来的输入进行选择性忘记
  用 z f z^f zf作为忘记门控，控制上一个状态的 C t − 1 C^{t-1} Ct−1哪些需要留哪些需要忘记

选择记忆阶段：

• 对上一个节点传进来的输入 x t x^t xt进行选择性记忆
  用 z i z^i zi作为记忆门控，通过 z z z间接控制 x t x^t xt

输出阶段：

• 决定哪些将会被当成当前状态的输出
  用 z o z^o zo对上个阶段的 c t c^t ct进行控制

LSTM通过门控状态来控制传输状态，记住需要长时间记忆的，忘记不重要的信息，适用于需要长期记忆的任务
LSTM参数多，训练难度加大，可以用和LSTM使用效果相当但参数更少的GRU来构建模型

https://zhuanlan.zhihu.com/p/32085405