1. 為什么要查看梯度

對于初學者來說網絡經常不收斂，loss很奇怪（就是不收斂），所以懷疑是反向傳播中梯度的問題

（1）求導之后的數（的絕對值）越來越小（趨近于0），這就是梯度消失

（2）求導之后的數（的絕對值）越來越大（特別大，發散），這就是梯度爆炸

所以說呢，當loss不正常時，可以看看梯度是否處于爆炸，或者是消失了，梯度爆炸的話，網絡中的W也會很大，人工控制一下（初始化的時候弄小點等等肯定還有其它方法，只是我不知道，知道的大神也可以稍微告訴我一下~~），要是梯度消失，可以試著用用resnet,densenet之類的

2. tensorflow中如何查看梯度

tf.gradients(y,x)這里的就是y對于x的導數（dy/dx）,x和y一定要有關聯哦~

直接tf.gradients(y_, weight1)就可以了~

以上這篇tensorflow 查看梯度方式就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持武林站長站。