偏导，方向导数以及梯度的理解

最初的疑惑

在梯度的Wiki 上对梯度在三维空间，直角坐标系下的梯度表示为
$$\nabla =\frac{\partial f(x,y,z)}{\partial x}\ast \vec{i}+\frac{\partial f(x,y,z)}{\partial y}\ast \vec{j}+\frac{\partial f(x,y,z)}{\partial z}\ast \vec{k}$$
为什么梯度是由函数$f(x,y,z)$在每个方向上的偏导乘以向量然后相加呢？

希望回答的问题

• 梯度是什么？
• 梯度是怎么来的？
• 梯度怎么表示？
• 梯度为什么这么表示？
• 为什么梯度的反方向是函数值下降最快的方向？

梯度是什么？

梯度是个向量，在某个点的梯度定义有两部分组成：1）梯度的方向：在当前点函数值增长最快的方向 2）梯度的值：函数在当前点最大的增长率$|\nabla f|$。

从这个描述当中我们可以把最初的疑惑，分解为两个问题

• 为什么上面的向量表示的方向是函数值增长最快的方向
• 为什么这个向量表示的长度为最大的增长率

梯度是怎么来的？

为了回答以上的问题，我们需要知道梯度是怎么来的，这是我们需要引入方向导数。

方向导数的定义：假设$f$为$R^n$上的函数，且包含某个区间$D$，$P_0$为$D$上的一个点，$\vec{l}$为一个非零向量，如果极限
$$\underset{t\to 0}{\lim }\frac{f(P_{0x1}+l_{x1}t,P_{0x2}+l_{x2}t,...)-f(P_{0x1},P_{0x2},...)}{t}$$
存在，则此极限为$f$在方向$\vec{l}$上的方向导数$\frac{\partial f}{\partial l}$

为什么需要方向导数呢，其实我们可以注意到梯度的方向为函数值增加最快的方向，那么就有增加没那么快的方向，这些没那么快的方向是什么呢？很明显，就是某一个方向导数的方向。其实梯度的方向也是包含在这个某个点的所有方向导数内的，也就是说梯度的大小只是一个特别的方向导数的值，梯度的方向就是那个特殊的$\vec{l}$。也就是说梯度是从方向导数来的。

梯度怎么表示？

就如最开始的疑惑中提到的，在三维空间，直角坐标系下的梯度是由函数$f(x,y,z)$在每个方向上的偏导乘以向量然后相加
$$\nabla =\frac{\partial f(x,y,z)}{\partial x}\ast \vec{i}+\frac{\partial f(x,y,z)}{\partial y}\ast \vec{j}+\frac{\partial f(x,y,z)}{\partial z}\ast \vec{k}$$
更为一般化的说，梯度就是函数在各个维度的偏导组成的向量$[\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},..,\frac{\partial f}{\partial x_3}]$

梯度为什么这么表示？

梯度的表示方式是由一个和方向导数有关的定理确定的：

如果函数$f$在$P_0$处可微(注意不是极限存在)，向量$\vec{l}$的方向余弦为$cos{\alpha }_1,cos{\alpha }_2,cos{\alpha }_3,...,cos{\alpha }_n$，则函数在$P_0$处方向$\vec{l}$的方向导数为：
$$\frac{\partial f}{\partial l}{|}_{P_0}=\frac{\partial f}{\partial x_1}{|}_{P_0}\ast cos{\alpha }_1+\frac{\partial f}{\partial x_2}{|}_{P_0}\ast cos{\alpha }_2+...\frac{\partial f}{\partial x_n}{|}_{P_0}\ast cos{\alpha }_n$$
注：方向余弦是一个单位向量，处于$f$在$P_0$处的切面上，可以想象在此平面有无数个方向余弦。

首先注意可微这个条件，这个条件比极限存在范围更小，也就是说在某些可以用定义求梯度，但是不能通过这个定理求出梯度。其次在注意，这里面出现了每个方向的导数，和我们最开始的有疑问的表示方式有点像了，只不过这个导数表示的是个标量。同时，我们可以注意到这个方向导数可以表示为
$$\frac{\partial f}{\partial l}{|}_{P_0}=[\frac{\partial f}{\partial x_1}{|}_{P_0},\frac{\partial f}{\partial x_2}{|}_{P_0},..,\frac{\partial f}{\partial x_3}{|}_{P_0}{]}^T[cos{\alpha }_1,cos{\alpha }_2,..,cos{\alpha }_n]$$
如果$\vec{g}=[\frac{\partial f}{\partial x_1}{|}_{P_0},\frac{\partial f}{\partial x_2}{|}_{P_0},..,\frac{\partial f}{\partial x_3}{|}_{P_0}]$ 而且$\vec{l}=[cos{\alpha }_1,cos{\alpha }_2,..,cos{\alpha }_n]$根据余弦定理我们有
$$\frac{\partial f}{\partial l}{|}_{P_0}=||\vec{g}||\ast ||\vec{l}||\ast cos\theta$$
由此可知，当方向余弦和偏导向量的夹角为0°时，方向导数最大，且这个值为$||\vec{g}||$，所以我们可以回答前面的分解问题

• 为什么偏导数组成的向量的方向是梯度方向？
  因为方向导数最大的方向余弦是和偏导数组成的向量方向相同的，又因为我们知道让方向导数的值最大的方向余弦是梯度方向，所以偏导数组成的向的方向是梯度方向。
• 为什么梯度的值是偏导数组成的向量的大小？
  因为当$\theta$为0°时，$cos\theta =1$而且已知$||\vec{l}||=1$，所以
  $$\frac{\partial f}{\partial l}{|}_{P_0}=||\vec{g}||$$

为什么梯度的反方向是函数值下降最快的方向

根据梯度的定义：梯度的方向是函数值上升最快的方向。所以梯度的反方向就是函数值下降最快的方向。