一、常用激活函数ReLU、Sigmoid、Tanh、LeakyReLU在神经网络中最常用的激活函数是 ReLURectified Linear Unit及其变体其次是Sigmoid和Tanh而LeakyReLU在特定场景下使用较多。以下是详细对比和适用场景分析1. ReLURectified Linear Unit公式( f(x) \max(0, x) )特点计算简单仅需比较和取最大值计算效率高。缓解梯度消失正区间梯度恒为1避免深层网络梯度弥散。稀疏激活负半轴输出为0可增强模型稀疏性。缺点神经元死亡负输入梯度为0可能导致部分神经元永久失效可通过LeakyReLU缓解。适用场景绝大多数前馈神经网络如CNN、全连接网络。默认首选尤其是隐藏层。变体LeakyReLU负区间引入微小斜率如0.01解决神经元死亡问题。Parametric ReLU (PReLU)斜率作为可学习参数。Swish( f(x) x \cdot \sigma(\beta x) )Google提出效果优于ReLU但计算稍复杂。2. Sigmoid公式( f(x) \frac{1}{1 e^{-x}} )特点输出范围(0,1)适合概率输出如二分类最后一层。平滑梯度便于求导。缺点梯度消失输入绝对值较大时梯度接近0导致深层网络训练困难。非零中心性输出均值不为0可能影响梯度更新效率。适用场景二分类输出层配合交叉熵损失。传统神经网络现多被ReLU取代。3. Tanh双曲正切公式( f(x) \frac{e^x - e{-x}}{ex e^{-x}} )特点输出范围(-1,1)零中心化梯度更新更稳定。比Sigmoid梯度更强因梯度范围更大0~1。缺点梯度消失与Sigmoid类似但程度较轻。适用场景RNN/LSTM的隐藏层处理序列数据时效果较好。需要输出有正负的场景。4. LeakyReLU公式( f(x) \begin{cases}x \text{if } x \geq 0 \\alpha x \text{if } x 0\end{cases} ) 通常 ( \alpha 0.01 )特点解决ReLU的神经元死亡负区间保留微小梯度。保持计算高效性。缺点效果提升有限实际任务中未必显著优于ReLU。适用场景对神经元死亡敏感的任务如GANs。深层网络或训练不稳定的情况。总结对比激活函数优点缺点使用频率典型应用场景ReLU计算快、缓解梯度消失神经元死亡⭐⭐⭐⭐⭐CNN/全连接网络的隐藏层Sigmoid概率输出、平滑梯度消失、非零中心⭐⭐二分类输出层Tanh零中心化、梯度强于Sigmoid梯度消失⭐⭐⭐RNN/LSTM的隐藏层LeakyReLU避免神经元死亡效果提升有限⭐⭐替代ReLU的备选方案实际建议默认选择ReLU尤其对隐藏层兼顾效率和效果。输出层二分类Sigmoid。多分类Softmax严格来说不是激活函数但常与交叉熵搭配。RNN/LSTM优先尝试Tanh或ReLU变体如LeakyReLU。实验调优对复杂任务可测试Swish、Mish等新激活函数。二、深度学习常用的优化器Adam、DGD、RMSprop在深度学习中最常用的优化器包括以下几种其中Adam是目前最广泛使用的优化器之一但具体选择取决于任务和场景1.AdamAdaptive Moment Estimation特点结合了动量Momentum和自适应学习率类似RMSprop适用于大多数场景。优势自适应调整学习率对超参数如初始学习率相对鲁棒适合非凸优化问题。适用场景默认选择尤其适合中等规模数据和常见网络结构如CNN、RNN。2.SGD随机梯度下降及其变种标准SGD简单但容易陷入局部最优需手动调整学习率。SGD with Momentum加入动量项加速收敛缓解震荡。优势在调优良好的情况下如学习率调度可能比Adam泛化更好尤其在大型模型如Transformer或计算机视觉任务中。适用场景需要精细调参或大规模训练时如ResNet、BERT。3.RMSprop特点自适应调整学习率按梯度平方的指数衰减平均适合非平稳目标。适用场景RNN或强化学习Adam的前身。选择建议默认尝试优先用Adam快速收敛少调参。追求极致性能用SGD Momentum并配合学习率调度如Cosine Annealing。特殊任务RNN可能适合RMSprop大模型可能需LAMB或Adafactor。原因Adam因其自适应性和鲁棒性成为“通用首选”但研究显示SGD系列在充分调参后可能达到更优泛化性能。实际选择需结合具体问题、模型结构和训练资源。