V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
alixali

在神经网络中容易出现梯度爆炸的问题,有的地方说是可以用 relu 激活函数来解决,用起来也确实有效果,有点想不通这里面的原理是什么呢?

  •  
  •   alixali · Oct 23, 2018 · 3403 views
    This topic created in 2755 days ago, the information mentioned may be changed or developed.
    66450146
        1
    66450146  
       Oct 23, 2018   ❤️ 1
    f'(x) = 1 就不会有 vanishing gradient 了😂
    alixali
        2
    alixali  
    OP
       Oct 23, 2018
    这个问题在输入数据维度高的时候,和网络层数多的时候出现了,更像是和网络的节点数有关系。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3039 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 07:56 · PVG 15:56 · LAX 00:56 · JFK 03:56
    ♥ Do have faith in what you're doing.