前言

本篇是基于梯度的优化方法的补充篇

梯度法的步长

梯度下降法、牛顿法、拟牛顿法的主要目的都是求出增量方向。求出增量方向后，如果使用固定步长进行更新，当步长太大导致优化函数与其泰勒展开偏差太大时，可能出现优化函数不降反增的情况，导致迭代不收敛。

因此在获得增量方向后，还需要确定迭代的步长。常用的方法是线搜索法。

线搜索法

线搜索法在求出优化函数$f(\mathbf{x})$在${\mathbf{x}}_{\mathbf{k}}$的增量方向后，构建以下问题：
$$\underset{\alpha }{\min }\varphi (\alpha )=f({\mathbf{x}}_{\mathbf{k}}+\alpha {\mathbf{p}}_{\mathbf{k}})$$

构造的函数是一元函数，其极值点处的导数为零：
$${\varphi }^{\prime }(\alpha )=\nabla f^T({\mathbf{x}}_{\mathbf{k}}+\alpha {\mathbf{p}}_{\mathbf{k}}){\mathbf{p}}_{\mathbf{k}}=0$$
这样就能获得步长的精确解，也就是所谓的精确线搜索方法。但是实际操作中，如果梯度没有解析式，那么上面这个方程的解的计算是很困难的。

非精确线搜索法

非精确线搜索法不需要找到精确的步长，而是希望找到一个能够使优化函数$f$稳定收敛并且下降速度较快的步长。此时的步长$\alpha$通常存在于一个或数个区间内。

Armijo条件

Armijo条件又被称为充分下降条件，是使得$f$稳定收敛的充分条件，也是最简单的条件。

如下图所示，实线是函数$\varphi (\alpha )=f({\mathbf{x}}_{\mathbf{k}}+\alpha {\mathbf{p}}_{\mathbf{k}})$的图像，虚线$l(\alpha )$表达式为：
$$\begin{gathered} {\varphi }^{\prime }(\alpha )=\nabla f^T({\mathbf{x}}_{\mathbf{k}}+\alpha {\mathbf{p}}_{\mathbf{k}}){\mathbf{p}}_{\mathbf{k}} \\ l(\alpha )=\varphi (0)+c_1{\varphi }^{\prime }(0)(\mathbf{x}-{\mathbf{x}}_{\mathbf{k}}),0<c_1<1 \end{gathered}$$
由图可以看出，当实线在虚线下方时，$\varphi (\alpha )\le \varphi (0)$，也就是函数必然下降。

这就是Armijo条件，用表达式来表示就是：
$$\begin{gathered} \varphi (\alpha )\le I(\alpha ) \\ \to f({\mathbf{x}}_{\mathbf{k}}+\alpha {\mathbf{p}}_{\mathbf{k}})\le f({\mathbf{x}}_{\mathbf{k}})+c_1\alpha \nabla f^T({\mathbf{x}}_{\mathbf{k}}){\mathbf{p}}_{\mathbf{k}} \end{gathered}$$

Wolfe条件

Armijo条件有一个问题：虽然能够保证梯度下降，但是当步长$\alpha$极小的时候，必然能够满足Armijo条件，但是下降的速度很慢，而且超小的步长可能导致迭代中的除零错误（Nan）。我们需要保证迭代的每一步都有充分的下降。

如下图所示，如果我们限制${\varphi }^{\prime }(\alpha )\ge c_1{\varphi }^{\prime }(0)$，也就是$\varphi (\alpha )$的斜率不够陡，达到相对平缓的区域，就形成了Curvature

将Armijo条件与Curvature条件合并，就是Wolfe条件，其表达式如下：
$$\begin{gathered} f({\mathbf{x}}_{\mathbf{k}}+\alpha {\mathbf{p}}_{\mathbf{k}})\le f({\mathbf{x}}_{\mathbf{k}})+c_1\alpha \nabla f^T({\mathbf{x}}_{\mathbf{k}}){\mathbf{p}}_{\mathbf{k}} \\ \nabla f^T({\mathbf{x}}_{\mathbf{k}}+\alpha {\mathbf{p}}_{\mathbf{k}}){\mathbf{p}}_{\mathbf{k}}\ge c_2\nabla f^T({\mathbf{x}}_{\mathbf{k}}){\mathbf{p}}_{\mathbf{k}} \\ 0<c_1<c_2<1 \end{gathered}$$
Wolfe条件如下图所示：

Goldstein条件

Wolfe条件需要求优化函数的梯度，比较麻烦。于是出现了只需要求优化函数值的Goldstein条件：
$$\begin{gathered} f({\mathbf{x}}_{\mathbf{k}})+(1-c_1)\alpha \nabla f^T({\mathbf{x}}_{\mathbf{k}}){\mathbf{p}}_{\mathbf{k}}\le f({\mathbf{x}}_{\mathbf{k}}+\alpha {\mathbf{p}}_{\mathbf{k}})\le f({\mathbf{x}}_{\mathbf{k}})+c_1\alpha \nabla f^T({\mathbf{x}}_{\mathbf{k}}){\mathbf{p}}_{\mathbf{k}} \\ 0<c_1<0.5 \end{gathered}$$
Goldstein条件的左边使得步长不会太小，右边保证梯度下降，但是可能出现找不到最优步长的情况，如下图所示。

回溯法

由于Wolfe条件实现复杂，实际使用中，可以采用回溯法实现Armijo条件或者Goldstein条件，具体流程是：

1. 选择一个初始步长${\alpha }_0$，和一个缩小系数$\rho <1$
2. 把${\alpha }_0$代入Armijo条件或者Goldstein条件
3. 如果满足，则$\alpha ={\alpha }_0$，结束线搜索；否则，${\alpha }_0=\rho {\alpha }_0$，回到步骤2

当初始${\alpha }_0$比较大时，回溯法搜索到的步长就不会太小。

后记

下篇可能会继续学习共轭梯度法。