1.激活函数的发展
sigmoid 会饱和，造成梯度消失 --》ReLU
ReLU 负半轴是死区，梯度为0 --》LeakyReLU, PReLU
强调梯度和权值分布的稳定性 --》ELU, 以及较新的SELU
网络结构太深，梯度无法传播 --》highway
干脆不要highway参数，变成残差 --》ResNet
2.激活函数的特性：
- 非线性：导数不是常数。这是多层神经经网络的基础，保证多层网络不退化成单层线性网络。也是激活函数的意义所在。
- 几乎处处可微：保证了优化过程中，梯度的可计算性。（SGD无法收敛到梯度接近0的位置因此有限点处不可微影响不大）
- 计算简单：激活函数在神经网络向前的计算次数与神经元的个数成正比 --》ReLU
版权声明：本文为weixin_41149572原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。