在神经网络中容易出现梯度爆炸的问题,有的地方说是可以用 relu 激活函数来解决,用起来也确实有效果,有点想不通这里面的原理是什么呢?

2018-10-23 16:15:06 +08:00
 alixali
2542 次点击
所在节点    机器学习
2 条回复
66450146
2018-10-23 18:04:49 +08:00
f'(x) = 1 就不会有 vanishing gradient 了😂
alixali
2018-10-23 22:29:54 +08:00
这个问题在输入数据维度高的时候,和网络层数多的时候出现了,更像是和网络的节点数有关系。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/500267

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX