巴中自助网站建设网页设计与网站建设区别

巴中自助网站建设,网页设计与网站建设区别,河南省城乡住房建设厅网站首页,中太建设集团官方网站文章目录核心比喻#xff1a;反向传播的“信号衰减/放大”1. 梯度消失#xff08;Gradient Vanishing#xff09;2. 梯度爆炸#xff08;Gradient Explosion#xff09;3. 梯度消失与梯度爆炸对比表格4. 解决方案缓解梯度消失#xff1a;缓解梯度爆炸#xff1a;5. 实际…文章目录核心比喻反向传播的“信号衰减/放大”1. 梯度消失Gradient Vanishing2. 梯度爆炸Gradient Explosion3. 梯度消失与梯度爆炸对比表格4. 解决方案缓解梯度消失缓解梯度爆炸5. 实际例子梯度消失实例RNN中常见梯度爆炸实例训练LSTM时6. 现代深度学习的现状关键要点梯度消失Gradient Vanishing和梯度爆炸Gradient Explosion这两个概念是深度神经网络训练中的核心问题尤其在理解为什么某些网络结构难以训练时至关重要。核心比喻反向传播的“信号衰减/放大”想象你在玩一个“传话游戏”一句话要通过一个很长的队伍传下去。每个队员在传话时会小声复述并可能有点失真。梯度消失每个队员都把声音压得更小一点传到最后一个人时声音几乎听不见了 →信号衰减到零。梯度爆炸每个队员都把声音放得更大一点传到最后时变成了震耳欲聋的吼叫 →信号膨胀到无穷大。在神经网络中这个“传话”就是误差梯度从输出层向输入层的反向传播过程。1. 梯度消失Gradient Vanishing梯度消失是什么在反向传播过程中梯度随着层数反向传递而指数级减小导致前面层靠近输入的层的权重更新非常缓慢甚至停止更新。为什么会发生根本原因链式法则与激活函数的导数反向传播使用链式法则计算梯度。对于深度网络梯度是各层导数的乘积∂ L ∂ W 1 ∂ L ∂ h n × ∂ h n ∂ h n − 1 × ⋯ × ∂ h 2 ∂ h 1 × ∂ h 1 ∂ W 1 \frac{\partial L}{\partial W_1} \frac{\partial L}{\partial h_n} \times \frac{\partial h_n}{\partial h_{n-1}} \times \cdots \times \frac{\partial h_2}{\partial h_1} \times \frac{\partial h_1}{\partial W_1}∂W1​∂L​∂hn​∂L​×∂hn−1​∂hn​​×⋯×∂h1​∂h2​​×∂W1​∂h1​​如果每个∂ h i ∂ h i − 1 \frac{\partial h_i}{\partial h_{i-1}}∂hi−1​∂hi​​都小于1典型情况那么它们的乘积会指数级减小。典型场景使用Sigmoid或Tanh激活函数Sigmoid 导数σ ′ ( x ) ∈ ( 0 , 0.25 ] \sigma(x) \in (0, 0.25]σ′(x)∈(0,0.25]最大值只有0.25Tanh 导数tanh ⁡ ′ ( x ) ∈ ( 0 , 1 ] \tanh(x) \in (0, 1]tanh′(x)∈(0,1]但通常也较小几个这样的导数连乘后梯度迅速趋近于0后果浅层网络的权重几乎不更新“学不到东西”训练早期就陷入停滞损失下降很慢网络实际上只有后面几层在学习深度优势丧失例子假设一个10层网络每层Sigmoid的梯度约为0.25梯度到第一层 ≈ ( 0.25 ) 10 ≈ 9.5 × 1 0 − 7 几乎为零 \text{梯度到第一层} \approx (0.25)^{10} \approx 9.5 \times 10^{-7} \quad \text{几乎为零}梯度到第一层≈(0.25)10≈9.5×10−7几乎为零2. 梯度爆炸Gradient Explosion梯度爆炸是什么与梯度消失相反梯度在反向传播过程中指数级增大导致权重更新量过大网络变得不稳定。为什么会发生同样是链式法则但这次每个∂ h i ∂ h i − 1 \frac{\partial h_i}{\partial h_{i-1}}∂hi−1​∂hi​​都大于1。常见原因权重初始化过大如果权重矩阵W WW的范数大于1且激活函数导数不太小如R e L U ReLUReLU导数为1∂ h i ∂ h i − 1 ∝ W i × 激活函数导数 \frac{\partial h_i}{\partial h_{i-1}} \propto W_i \times \text{激活函数导数}∂hi−1​∂hi​​∝Wi​×激活函数导数如果∥ W i ∣ ∣ 1 \|W_i|| 1∥Wi​∣∣1连乘后梯度爆炸深度网络不合适的激活函数某些情况下即使权重正常深度累积也会导致爆炸后果权重值变成NaNNot a Number更新步长过大导致数值溢出损失剧烈震荡不收敛甚至发散权重变得极大模型完全失效例子假设权重矩阵使每层梯度放大1.5倍一共十层梯度到第一层 ≈ ( 1.5 ) 10 ≈ 57.7 指数增长 梯度到第一层 ≈ (1.5)^{10} ≈ 57.7 \text{指数增长}梯度到第一层≈(1.5)10≈57.7指数增长实际梯度可能被放大成千上万倍。3. 梯度消失与梯度爆炸对比表格特点梯度消失梯度爆炸根本原因梯度连乘积 1梯度连乘积 1数值表现梯度 → 0梯度 → ∞或极大值训练现象损失几乎不下降损失剧烈震荡/NaN权重表现前面层权重几乎不变权重值极大/溢出常见场景Sigmoid/Tanh 深度网络权重初始化太大 深度网络网络效应只有后面层学习完全无法学习4. 解决方案缓解梯度消失使用更好的激活函数ReLU及其变种L e a k y R e L U , E L U , S E L U Leaky ReLU, ELU, SELULeakyReLU,ELU,SELU导数为1或常数不会衰减Swishx ⋅ σ ( x ) x \cdot \sigma(x)x⋅σ(x)梯度特性更好改进网络结构残差连接ResNet跳跃连接让梯度可以直接“短路”传递LSTM/GRU门控机制解决RNN中的梯度消失合适的初始化He初始化配合ReLUXavier/Glorot初始化配合Sigmoid/Tanh批量归一化BatchNorm稳定激活值分布间接改善梯度流动缓解梯度爆炸梯度裁剪Gradient Clipping设定阈值当梯度范数超过时进行缩放常用于RNN/LSTMtorch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)权重正则化L2正则化防止权重过大合适的初始化确保初始权重不会太大降低学习率但可能训练过慢5. 实际例子梯度消失实例RNN中常见处理长序列时早期的信息“被遗忘”因为梯度传不到那么远的时间步。梯度爆炸实例训练LSTM时如果没有梯度裁剪可能在几次迭代后损失突然变成NaN。6. 现代深度学习的现状随着以下技术的普及这些问题已得到很大缓解ReLU族激活函数基本解决了前馈网络的梯度消失残差连接让极深网络如1000层可训练批量归一化稳定训练过程梯度裁剪简单有效地防止爆炸但它们在特定场景下仍然需要注意非常深的Transformer模型如1000层仍有梯度问题RNN处理极长序列时GAN训练中的不稳定梯度关键要点梯度消失和爆炸是同一问题的两个极端都是深度网络链式法则的数值稳定性问题。激活函数是关键S i g m o i d / T a n h Sigmoid/TanhSigmoid/Tanh容易消失R e L U ReLUReLU在正区间不会消失但可能爆炸。现代架构设计残差、门控、归一化本质上都在改善梯度流动。监控梯度范数是诊断这些问题的好方法。理解这两个概念是掌握深度神经网络训练动态的基础也是设计新网络结构时需要考虑的核心问题之一。