深度学习: 学习率 (learning rate)

Introduction

学习率 (learning rate)，控制模型的 学习进度 ：
这里写图片描述

lr 即 stride (步长) ，即反向传播算法中的 $\eta$ ：

$\omega^{n} \leftarrow \omega^{n} - \eta \frac{\partial L}{\partial \omega^{n}}$

在训练过程中，一般根据训练轮数设置动态变化的学习率。

Note：
如果是 迁移学习 ，由于模型已在原始数据上收敛，此时应设置较小学习率 ( $\leq 10^{-4}$ ) 在新数据上进行微调。

	轮数减缓	指数减缓	分数减缓
英文名	step decay	exponential decay	$1/t$ decay
方法	每N轮学习率减半	学习率按训练轮数增长指数插值递减	$lr_{t} = lr_{0} / (1+kt)$ ， $k$ 控制减缓幅度， $t$ 为训练轮数

理想情况下曲线应该是 滑梯式下降 [绿线]：
这里写图片描述

曲线 初始时上扬 [红线]：
Solution：初始学习率过大导致振荡，应减小学习率，并 从头开始训练 。
曲线 初始时强势下降没多久归于水平 [紫线]：
Solution：后期学习率过大导致 无法拟合，应减小学习率，并 重新训练后几轮 。
曲线 全程缓慢 [黄线]：
Solution：初始学习率过小导致 收敛慢，应增大学习率，并 从头开始训练 。