优化失败的可能原因

在critical point卡住了，即梯度为0的地方卡住了。

两种critical point：局部最小点；鞍点

在低维度中的局部最小点在高维度中可能是鞍点；在低维度中的critical point在高维度中可能不属于critical point

找出是哪一种情形：泰勒级数

当$\theta$趋于${\theta }^{\prime }$时：
$L(\theta )\approx L({\theta }^{\prime })+(\theta -{\theta }^{\prime }{)}^T\frac{\partial {\theta }^{\prime }}{\partial {\theta }_i}+\frac{1}{2}(\theta -{\theta }^{\prime }{)}^T\frac{{\partial }^{2}L({\theta }^{\prime })}{\partial {\theta }_i\partial {\theta }_j}(\theta -{\theta }^{\prime })$

对于critical point，一次微分项为0，即$(\theta -{\theta }^{\prime }{)}^T\frac{\partial {\theta }^{\prime }}{\partial {\theta }_i}=0$

记$(\theta -{\theta }^{\prime }{)}^T\frac{{\partial }^{2}L({\theta }^{\prime })}{\partial {\theta }_i\partial {\theta }_j}(\theta -{\theta }^{\prime })=v^{T}Hv$

其中$H=$
$$\left[\begin{array}{cc}\frac{{\partial }^{2}L}{\partial {\theta }_1^2}& \frac{{\partial }^{2}L}{\partial {\theta }_1\partial {\theta }_2}\\ \frac{{\partial }^{2}L}{\partial {\theta }_2\partial {\theta }_1}& \frac{{\partial }^{2}L}{\partial {\theta }_2^2}\end{array}\right]$$
对所有的$v$：

1. $v^{T}Hv>0\to$在${\theta }^{\prime }$附近$L(\theta )>L({\theta }^{\prime })\to$局部最小
2. $v^{T}Hv<0\to$在${\theta }^{\prime }$附近$L(\theta )<L({\theta }^{\prime })\to$局部最大
3. $v^{T}Hv$时大时小$\to$鞍点

延伸：（序号和上方一一对应）

1. H是正定矩阵（所有特征值为正）
2. H是负定矩阵（所有特征值为负）
3. H的特征值有正有负

逃离鞍点（理论上）

记$H$的特征向量为$u$，则$u^{T}Hu=\lambda ||u|{|}^2$

若$\lambda <0\Rightarrow \lambda ||u|{|}^2<0\Rightarrow u^{T}Hu<0$

$\Rightarrow L(\theta )\approx L({\theta }^{\prime })+\frac{1}{2}{u}^{T}Hu<L({\theta }^{\prime })$

即令$\theta ={\theta }^{\prime }+u$可以减小$L$

也就是说，往$u$的方向移动可以减小$L$

（实际使用过程中通常不用$\to$计算太复杂）

分组计算

• 将训练数据分为很多个小组，每计算完一组数据更新一次参数

大组合小组的对比

• 训练时，大、小组训练得一样好，但在测试时小组表现更好。via On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima.

加入动量

• 梯度下降+动量：更新参数的方向改为梯度的反方向+上一次更新的方向（向量和）
  ${\theta }^0,m^0=0\Rightarrow 计算g^0\Rightarrow m^1=\lambda m^0-\eta g^0$

$\Rightarrow {\theta }^1={\theta }^0+m^1\Rightarrow 计算g^1\Rightarrow m^2=\lambda m^1-\eta g^1$

$\dots$

$m^i=\lambda m^{i-1}-\eta g^{i-1}\Rightarrow {\theta }^i={\theta }^{i-1}+m^i$

• 实质上：$m^i$是$g^0,\dots g^{i-1}$的加权和

动态调参

特制$\eta$

见adagrad

希望同参数同方向也可以动态调整$\eta \Rightarrow RMSProp$

${\theta }^1={\theta }^0-\frac{\eta }{{\sigma }^0}{g}^0,{\sigma }^0=\sqrt{(g^0{)}^2}$

${\theta }^2={\theta }^1-\frac{\eta }{{\sigma }^1}{g}^1,{\sigma }^1=\sqrt{\alpha ({\sigma }^0{)}^2+(1-\alpha )(g^1{)}^2}$

$\dots$

${\theta }^t={\theta }^{t-1}-\frac{\eta }{{\sigma }^t}{g}^t,{\sigma }^t=\sqrt{\alpha ({\sigma }^{t-1}{)}^2+(1-\alpha )(g^t{)}^2}$

$\star$加入$\alpha$衡量$g^i$的重要性

其他工具：adam=RMSProop+动量，在pytorch中可以直接调用，一般不调预设参数

Learning Rate Scheduling

调整 ${\theta }^{t+1}={\theta }^t-\frac{{\eta }^t}{{\sigma }^t}{m}^t$ 中的 ${\eta }^t$

1. Decay：$\eta$ 随时间越来越小（越来越接近目标，所以减小步长以免在步长内跳过目标）
2. Warm Up：$\eta$ 先变大再变小

用回归做分类问题

使不同类别间距一致的方法

设为向量
$class1:\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right]$ $class2:\left[\begin{array}{c}0\\ 1\\ 0\end{array}\right]class3:\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]$

同时网络由单输入单输出变为多输入多输出

$y=b^{\prime }+w^{\prime }\sigma (b+wx)\Rightarrow y^{\prime }=softmax(y)\iff \hat{y}$

softmax

将y映射为(0,1)的实数，并归一化使和为1。

$y^{\prime }=\frac{e^{y_i}}{{\sum }_i{e}^{y_i}}\Rightarrow \{\begin{array}{c}0<y_i<1，\\ {\sum }_i{y}_i^{\prime }=1\end{array}$

会让差距大的值之间的差距更大

• 当只有2个类别时，直接取sigmoid效果和用softmax一样

计算损失

$L=\frac{1}{N}{\sum }_n{e}_n$

$e_n$有两种计算方法：

• 均方误差：$e_n={\sum }_i(\widehat{y_i}-y_i^{\prime }{)}^2$
• 交叉熵：$e_n=-{\sum }_i\widehat{y_i}ln{y}_i^{\prime }$

均方误差在损失大的地方可能会卡主，交叉熵更适合用于分类问题。

使交叉熵$min$等价于使相似度$max$。

分批次标准化

前情提要：特征缩放

• 如果使用sigmoid作为激活函数，则在sigmoid之前做特征缩放更好$\Rightarrow$在0附近有更大的梯度值

分批次标准化

要使均值不为0，加入新的参数进去：

在测试时，可能无法获得一个Batch的数据就要进行计算，解决方法：
对每一个batch的 $\mu$ 和 $\sigma$ 都拿来计算动态均值

$\overline{\mu }=p\overline{\mu }+(1-p){\mu }^t$
$\overline{\sigma }=p\overline{\sigma }+(1-p){\sigma }^t$

$\Rightarrow \tilde{z}=\frac{z-\overline{\mu }}{\overline{\sigma }}$