多元函数极值问题

多元函数极值问题可以分为以下三个方面

无约束极值问题
等式约束条件极值问题
不等式约束条件极值问题

无约束条件的多元函数极值

问题描述：假设多元函数 $f(x_1,x_2,\cdots,x_n)$ 对其所有自变量都连续，且具有连续的一阶和二阶连续偏导数，将所有自变量 $x_1,x_2,\cdots,x_n$ 记为向量 $\mathbf x$ 的形式，则问题被描述为求 $\mathbf x$ ，使得 $\mathbf x=\mathbf x^*$ 时， $f(\mathbf x)$ 达到极小值，记为

$\min_x f(x)$

注：函数极小值时一个相对的概念，定义为：若存在一个 $\varepsilon >0$ ，由 $\left | \mathbf x-\mathbf x^* \right |\leq \varepsilon$ 所规定的 $\mathbf x^*$ 的邻域内总有 $y(\mathbf x^*)\leq y(\mathbf x)$ ，则称点 $\mathbf x^*$ 是函数 $y(\mathbf x)$ 的一个相对极小点，简称为极小点。

无约束条件时的多元函数极小值问题的解 $\mathbf x^*$ 满足如下必要条件

$\frac{df(\mathbf x)}{d \mathbf x}\left|_{\mathbf x=\mathbf x^*}\right.=0$

$\frac{df^2(\mathbf x)}{d \mathbf xd\mathbf x^T}\left|_{\mathbf x=\mathbf x^*}\right.\geq0$

含有等式约束条件的多元函数极值

问题描述为

$\min_x f(\mathbf x)\\ s.t. \mathbf g(\mathbf x)=0$

其中 $\mathbf g(\mathbf x)$ 为 $p$ 维的向量变量 $\mathbf x$ 的向量函数，并假定其连续可微； $\mathbf g(\mathbf x)=0$ 为等式约束条件。

解法：拉格朗日乘子法

引入拉格朗日乘子 $\lambda=\left[\lambda_1,\lambda_2,\cdots, \lambda_p \right ]^T$ ，定义拉格朗日函数

$L(\mathbf x,\lambda)=f(\mathbf x)+\lambda^T\mathbf g(\mathbf x)$

求解该极值的必要条件为

$\frac{\partial L(\mathbf x^*,\lambda)}{\partial \mathbf x}=0, \mathbf g(\mathbf x^*)=0\\ \frac{\partial^2L(\mathbf x^*,\lambda)}{\partial x\partial x^T}\geq 0$

含有等式约束条件的多元函数极值

问题描述为

$\min_x f(\mathbf x)\\ s.t. \mathbf g(\mathbf x)\leq 0$

其中 $\mathbf g(\mathbf x)$ 为 $p$ 维的向量变量 $\mathbf x$ 的向量函数，并假定其连续可微； $\mathbf g(\mathbf x)\leq 0$ 为不等式约束条件。

KKT定理：对于上述不等式约束条件下的极值函数问题一定存在 $p$ 个不同时为零的数 $\lambda_1,\lambda_2,\cdots,\lambda_p$ 满足

$\lambda^T\mathbf g(\mathbf x^*)=0 \quad \lambda_i\geq 0,i=1,2,\cdots,p$
$\frac{\partial L(\mathbf x^*,\lambda)}{\partial \mathbf x}=\frac{df(\mathbf x^*)}{d\mathbf x}+\sum^p_{i=1}\lambda_i\frac{d\mathbf g_i(\mathbf x^*)}{d\mathbf x}=0$
$\mathbf g_i(\mathbf x^*)\leq 0 \quad i=1,2,\cdots,p$

其中 $\lambda=\left[\lambda_1,\lambda_2,\cdots,\lambda_p \right ]^T$ 为KKT乘子向量； $L(\mathbf x,\lambda)=f(\mathbf x)+\lambda^T\mathbf g(\mathbf x)$ 为KKT函数。

原文链接：https://blog.csdn.net/qq_40241332/article/details/106180072