请教机器学习中关于学习速率的选取

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 2418 天前的主题，其中的信息可能已经有所发展或是发生改变。

如题：最近初步接触了一下机器学习，其中关于学习速率的有个疑问。就是关于学习速率的选取问题。从网络上的示例，大多都是一个一个固定值，或者给出的建议就是从某个值开始不断尝试。请问除了试试，有没有一种更好的选取方式呢？

7 条回复 • 2017-09-06 10:21:11 +08:00

brightguo

2017-09-05 15:38:14 +08:00

写代码让他不断试吧，试多了就知道大概范围了，哇咔咔

Suddoo

2017-09-05 15:45:11 +08:00

不断尝试吧，好像没有更好的办法，有些复杂神经网络我用过 1e-7 的学习率，一般是 1e-4 的学习率，然后慢慢调

Hzzone

2017-09-05 15:47:54 +08:00 via iPhone

loss 不收敛就向下调一个数量级吧，learning rate 本身对网络性能没什么影响，主要是训练过程中 loss 收敛的问题。

Dx2619

2017-09-05 15:58:40 +08:00

@brightguo
@Suddoo
@Hzzone 多谢各位回复，还想追问一个比较入门的问题。就是迭代次数的选择又是怎么取值的呢，是一直尝试到 loss 收敛嘛？ loss 收敛的判断是下降幅度同ε比较吧吧，ε的取值也是靠经验来选取的吗？

congeec

2017-09-05 16:37:33 +08:00 via iPhone

grid search

TuSDK

2017-09-05 17:17:16 +08:00

还是得试试啊！

wzha2008

2017-09-06 10:21:11 +08:00

迭代次数的选择，其实可以用验证集来做 early stopping，否则只看训练集 loss 的话容易过拟合