Leaky ReLU

定义 Definition

Leaky ReLU（“带泄露的修正线性单元”）是一种神经网络常用的激活函数。它在输入为正时输出输入本身，在输入为负时输出一个很小的线性值（通常是 ( \alpha x )，其中 ( \alpha ) 如 0.01），用来缓解普通 ReLU 在负半轴“完全为 0”导致的“神经元死亡”问题。

发音 Pronunciation (IPA)

/ˈliːki ˌreɪluː/

例句 Examples

We used leaky ReLU to improve training stability.
我们使用 Leaky ReLU 来提高训练的稳定性。

In the convolutional network, replacing ReLU with leaky ReLU helped gradients flow even when many activations were negative.
在这个卷积网络中，用 Leaky ReLU 替换 ReLU 有助于在大量激活为负时仍保持梯度传播。

词源 Etymology

“ReLU”是 Rectified Linear Unit（修正线性单元）的缩写，指把线性函数在负值部分“修正”为 0 的激活形式；“leaky”（泄露的）表示在负值区间不再完全截断为 0，而是“漏出”一小部分斜率（负半轴保留微小线性输出），从而减少信息与梯度被完全阻断的情况。

相关词 Related Words

• Activation
• Relu
• Parametric Relu
• Elu
• Selu
• Sigmoid
• Tanh
• Gradient

文学与作品 Notable Works

• Rectified Linear Units Improve Restricted Boltzmann Machines（Nair & Hinton, 2010）
• Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification（He et al., 2015）
• Deep Learning（Goodfellow, Bengio & Courville，教材中常与 ReLU 家族一并讨论）