动量梯度下降法Momentum
上述方法，通过d w dwdw的加权平均，使得在y方向的分量抵消，x方向的分量累加
Adam优化算法和RMSprop算法
adam算法:结合动量梯度下降和RMSprop算法；
优化算法详细介绍
从 SGD 到 Adam —— 深度学习优化算法概览（一）
从 SGD 到 Adam —— 深度学习优化算法概览（二）
深度学习——优化器算法Optimizer详解
优化算法详解
版权声明：本文为u012180351原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。