Learning Rate

释义 Definition

学习率：在机器学习/深度学习训练中，用来控制每次参数更新步幅大小的超参数。学习率越大，更新越快但可能不稳定；学习率越小，训练更稳定但可能收敛更慢。（在其他语境中也可指“学习速度/学习进度”，但最常见的是机器学习含义。）

发音 Pronunciation (IPA)

/ˈlɝːnɪŋ reɪt/

例句 Examples

The learning rate is too high, so the loss keeps jumping.
学习率太高，所以损失值一直在跳动。

After tuning the learning rate and using a scheduler, the model converged faster without sacrificing accuracy.
在调整学习率并使用学习率调度器后，模型在不牺牲准确率的情况下更快收敛了。

词源 Etymology

learning 来自古英语 leornian（学习）；rate 来自拉丁语 rata（被计算/固定的事物）并经法语发展为“比率、速度”。组合 learning rate 字面意思是“学习的速度/速率”，在机器学习中被专门化为“参数更新的步长大小”。

相关词 Related Words

• Accuracy
• Convergence
• Decay
• Gradient
• Hyperparameter
• Loss
• Momentum
• Optimizer
• Scheduler

文学作品 Literary Works

• Deep Learning（Ian Goodfellow, Yoshua Bengio, Aaron Courville）
• Pattern Recognition and Machine Learning（Christopher M. Bishop）
• The Elements of Statistical Learning（Trevor Hastie, Robert Tibshirani, Jerome Friedman）