LSTM系列神经网络学习笔记

RNN系列学习笔记

LSTM篇


  1. LSTM(长短期记忆网络),是SimpleRNN的扩展,可以方便地替换掉SimpleRNN
  2. LSTM中,由上一时间步的隐藏状态 + 单元的内部记忆共同生成当前时间步地隐藏状态
  3. 为了解决梯度消失,引入了输入门i、遗忘门f、输出门o
    • sigmoid函数调节这些门的输入使通过这些门后输出在0-1之间
    • 不同门的作用:
      • 遗忘门:让前一时间步的部分隐藏状态通过
      • 输入门:让当前时间步的部分输入值通过
      • 输出门:让当前时间步的多少的隐藏状态传到下一时间步中
  4. 当前时间步的单元状态Ct = (C(t-1) * f) + (i * g)
  5. 当前时间步的隐藏状态ht = tanh(Ct) * o

FC-LSTM篇


  1. GRU篇


  1. GRU(门控循环单元),相比于LSTM,内部结构简单,训练速度快,和LSTM一样,都能够替换SimpleRNN单元
  2. 相比于LSTM,引入更新门z、重置门r
    • 重置门:将当前时间步的输入与上一时间步的隐藏状态结合
    • 更新门:让上一时间步的多少的隐藏状态保留下来
  3. 当前时间步的隐藏状态ht = (z * c) + ((1 - z) * h(t-1))

##


  目录