lstm如何来防止梯度爆炸和梯度消失的？
针对RNN, 要解决梯度爆炸可以使用梯度裁剪的方式来进行，而对于梯度消失，由于
传统的RNN是用覆盖的的方式计算状态： ，也就是说，这有点类似于复合函数，那么根据链式求导的法则，复合函数求导：设f和g为x的可导函数，则 ，他们是一种乘积的方式，那么如果导数都是小数或者都是大于1的数的话，就会使得总的梯度发生vanishing或explosion的情况，当然梯度爆炸(gradient explosion)不是个严重的问题，一般靠裁剪后的优化算法即可解决，比如gradient clipping（如果梯度的范数大于某个给定值，将梯度同比收缩），但是梯度消失做不到，这个时候就要用lstm了。
在lstm中，我们发现，状态S是通过累加的方式来计算的， 。那这样的话，就不是一直复合函数的形式了，它的的导数也不是乘积的形式，这样就不会发生梯度消失的情况了。
如果只是对gru和lstm来说的话，一方面GRU的参数更少，因而训练稍快或需要更少的数据来泛化。另一方面，如果你有足够的数据，LSTM的强大表达能力可能会产生更好的结果。GRU作为LSTM的一种变体，将忘记门和输入门合成了一个单一的更新门。同样还混合了细胞状态和隐藏状态，加诸其他一些改动。最终的模型比标准的 LSTM 模型要简单，也是非常流行的变体。
