为什么要使用非线性的激活函数？难道线性的就不可以？
如果你是用线性激活函数或者叫恒等激励函数，那么神经网络只是把输入线性组合再输出。
对于有很多层、很多隐藏层的神经网络，很多隐藏层。事实证明，如果你使用线性激活函数或者没有使用一个激活函数，那么无论你的神经网络有多少层一直在做的只是计算线性函数，所以不如直接去掉全部隐藏层。
我们以下面这简单的深度学习图简单理解下：
在这里我们考虑一个问题——就是输入x1、x2、x3、x4后，对于Sigmoid输出的结果是一样的？
我认为这里是不一样的
原因主要由以下两个方面：
一：初始化权重随机
二：非线性函数
而使用非线性函数，主要就是为了避免输出的一致性问题吧
版权声明：本文为The_dream1原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。