- 我们用人工神经网络来表述输入X与输出Y之间复杂的关系，用数学语言来说，就是用人工神经网络来实现复杂的函数；
- 如果使用线性激活函数，那么无论神经网络中有多少层，都只是在做线性运算，最后一层得到的结果是输入层的线性组合，而输入层的线性组合，用一层隐藏层就可以表示，也就是说，多层的隐藏层运算后的结果等同于一层的结果，那么这么多隐藏层就没有意义了，还不如去掉。因此，隐藏层的激活函数必须是要非线性的；
- 非线性激活函数可以使神经网络随意逼近各种复杂函数。
版权声明：本文为sc179原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。