Activationfunction

ActivationFunction

  • Activation Function 增加非线性表达
  • 饱和函数
    • $x\rightarrow \infty\ \ f^{‘}(x) \rightarrow 0$
    • 导致梯度消失
      • 参数不会被更新
    • sigmoid
    • tanh
  • 非饱和函数
    • Rectified Linear Unit 修正线性单元 RELU
      • 解决梯度消失问题
    • RELU $\rightarrow$ Leaky ReLU, Parametric ReLU, …

BackLink