前言

人们对激活函数都在不断探究，而现在广泛应用的激活函数通常是relu，tanh这两种
但是relu在负值的时候直接截断
梯度下降的不够平滑
因而有团队提出一种新的激活函数来进行优化

Mish激活函数

Mish激活函数的表达式为

						Mish = x*tanh(ln(1+e^x))

使用matplotlib画图可得

从图中可以看出他在负值的时候并不是完全截断
而是允许比较小的负梯度流入
从而保证信息流动

并且激活函数无边界这个特点，让他避免了饱和这一问题
比如sigmoid，tanh激活函数通常存在梯度饱和问题，在两边极限情况下，梯度趋近于1
而Mish激活函数则巧妙的避开了这一点

另外Mish函数也保证了每一点的平滑，从而使得梯度下降效果比Relu要好