无约束优化问题

无约束问题与最优解

考虑如下最优化问题：
$$\underset{x\in {\mathbb{R}}^n}{\min }f(x)$$
无约束最优化问题的解有全局解和局部解两种，而实际上可行的往往只有局部解（或严格局部解）。如不加说明我们讨论的都是局部解。

• 局部解定义
  设$x^{\ast }\in {\mathbb{R}}^n$，若存在$x^{\ast }$的$\delta (\delta >0)$邻域
  $$N_{\delta }(x^{\ast })=\{x\mid \Vert x-x^{\ast }\Vert <\delta \}$$
  使得
  $$f(x)⩾f(x^{\ast }),\forall x\in N_{\delta }(x^{\ast })$$
  则称$x^{\ast }$为$f(x)$的局部解，若
  $$f(x)>f(x^{\ast }),\forall x\in N_{\delta }(x^{\ast })$$
  则成$x^{\ast }$为$f(x)$的严格局部解。

最优性条件

Reference:
https://blog.csdn.net/philthinker/article/details/78191864