rnn 梯度消失爆炸

文章目录

• • 梯度消失和爆炸原理
  • • 求导知识
    • RNN推导

梯度消失和爆炸原理

求导知识

$y=x^2$

$\mathrm{d}y$ 导数

$\frac{dy}{dx}$ 偏导

RNN推导

正向传播：

$a_t=w_x{x}_t+w_h{h}_{t-1}+b_t$

$h_t=\sigma (a_t)$

$\hat{y}=softmax(w_y{h}_t+b_y)$

定义loss：
用logloss，TODO：多分类的logloss为啥是下面的格式？为啥不是$loss=\sum [-ylog(\hat{y})-(1-y)log(1-\hat{y})]$

$loss=\mathcal{L}=\sum _{i=1}^n-y_{i}log(\widehat{y_i})$

$\frac{\mathrm{d}\mathcal{L}}{\mathrm{d}{w}_t}=\frac{\mathrm{d}\mathcal{L}}{\mathrm{d}{a}_t}\frac{\mathrm{d}{a}_t}{\mathrm{d}{w}_t}=\frac{\mathrm{d}\mathcal{L}}{\mathrm{d}{a}_t}$

参考1
参考2
参考3

总结

以上是生活随笔为你收集整理的rnn 梯度消失爆炸的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。