深度学习-李沐-第九节-门控循环单元(GRU)
门控循环单元(GRU)
GRU(Gate Recurrent Unit)是循环神经网络(Recurrent Neural Network, RNN)的一种。
GRU输入输出结构

GRU的内部结构

其中 r 控制重置的门控(reset gate), z为控制更新的门控(update gate)。


小结
- 门控循环神经网络可以更好地捕获时间步距离很长的序列上的依赖关系。
- 重置门有助于捕获序列中的短期依赖关系。
- 更新门有助于捕获序列中的长期依赖关系。
- 重置门打开时,门控循环单元包含基本循环神经网络;更新门打开时,门控循环单元可以跳过子序列。