Sigmoid函数：
Tanh函数：
优势：Tanh函数是0均值的更加有利于提高训练效率，由于Sigmoid输出是在0-1之间，总是正数，在训练过程中参数的梯度值为同一符号，这样更新的时候容易出现zigzag现象，不容易到达最优值。具体推导详见知乎：https://www.zhihu.com/question/50396271?from=profile_question_card
版权声明：本文为u011576009原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。