为什么要用非线性的激活函数

1. 如果用线性的激励函数，其实输出就是输入乘上一个大的矩阵，就没有体现出隐层的作用。输出信号仅是一个简单的线性函数。线性函数一个一级多项式，线性方程的复杂度有限，从数据中学习复杂函数映射的能力很小。没有激活函数，神经网络将无法学习和模拟其他复杂类型的数据，例如图像、视频、音频、语音等。
2. 非线性变换是深度学习有效的原因之一，激活函数可以引入非线性因素。现实中很多问题是不能用线性解决的，所以要用非线性方程来将问题转化成更方便的解决方案。
3. 激活函数可以把当前特征空间通过一定的线性映射转换到另一个空间，让数据能够更好的被分类。

Sigmoid
ReLU
tanh
Leaky ReLU
以上都是非线性激活函数
关于上面激活函数的详情，移步：https://blog.csdn.net/fzp95/article/details/84946799