momentum(动量梯度下降法)

动量中的速度就是梯度,目标是寻找最优权重,W

β的常用值为0.9,即可以一定意义上理解为平均了前10/9次的梯度。

 

momentum(动量梯度下降法)

 

momentum是模拟物理里动量的概念,积累之前的动量来替代真正的梯度。公式如下:

然而网上更多的是另外一种版本,即去掉(1-β)相当于上一版本上本次梯度的影响权值*1/(1-β) 两者效果相当,只不过会影响一些最优学习率的选取