“不同特征值对应的特征向量不可以进行正交化”的理解

下文主要围绕以下问题展开：

1. 施密特正交化的物理意义
2. 特征子空间的含义
3. 如何理解“实对称矩阵只用对同一特征值对应的特征向量进行正交化”（重点！）

施密特正交化的物理意义

施密特正交化的过程：

对 ${\alpha }_1$ 和 ${\alpha }_2$ 进行施密特正交化（下简称为”正交化“）

1. ${\beta }_1={\alpha }_1$
2. ${\beta }_2={\alpha }_2-\frac{({\alpha }_2,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1$

整体上理解一下，$({\alpha }_2,{\beta }_1)$ 表示 ${\alpha }_2$ 和 ${\beta }_1$ 的内积，是一个数；同样地，$({\beta }_1,{\beta }_1)$ 也是一个数；${\beta }_1$ 就是 ${\alpha }_1$。

所以 ${\beta }_2$ 本质上就是 ${\alpha }_1$ 和 ${\alpha }_2$ 的线性组合。

化简一下 ${\beta }_2={\alpha }_2-\frac{({\alpha }_2,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1$ ：

$$\begin{gathered} {\beta }_2={\alpha }_2-\frac{({\alpha }_2,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1 \\ ={\alpha }_2-\frac{|{\alpha }_2||{\beta }_1|cos\theta }{|{\beta }_1{|}^2}{\beta }_1 \\ ={\alpha }_2-\frac{|{\alpha }_2|cos\theta }{|{\beta }_1|}{\beta }_1 \\ ={\alpha }_2-|{\alpha }_2|\frac{{\beta }_1}{|{\beta }_1|}cos\theta \end{gathered}$$
其中 $\theta$ 为 ${\alpha }_1$ 和 ${\alpha }_2$ 的夹角。

可视化后：

特征子空间的含义

简单理解：对于一个矩阵 $A$ 的一个特征值 $\lambda$ ，该特征值对应的线性无关的特征向量为 ${\alpha }_1$ 、 ${\alpha }_2$ 、 …… 、${\alpha }_s$，这 $s$ 个线性无关的特征向量线性组合能构成的全部向量与零向量构成的集合称为 $A$ 的特征值 $\lambda$ 的特征子空间。

严谨定义：

给定 $n$ 阶矩阵 $A$ ，规定 $V_{\lambda }=\{\alpha \in C^n|A\alpha =\lambda \alpha \}$

（1）$V_{\lambda }$ 非空：$0\in V_{\lambda }$

（2）$V_{\lambda }$ 对加法封闭：
$$\begin{gathered} \alpha ,\beta \in V_{\lambda } \\ \Rightarrow A\alpha =\lambda \alpha ,A\beta =\lambda \beta \\ \Rightarrow A(\alpha +\beta )=\lambda (\alpha +\beta ) \\ \Rightarrow \alpha +\beta \in V_{\lambda } \end{gathered}$$
（3）$V_{\lambda }$ 对数乘封闭：
$$\begin{gathered} \alpha \in V_{\lambda } \\ \Rightarrow A\alpha =\lambda \alpha \\ \Rightarrow A(k\alpha )=k(A\alpha )=k(\lambda \alpha )=\lambda (k\alpha ) \\ \Rightarrow k\alpha \in V_{\lambda } \end{gathered}$$

（4）${\alpha }_1,{\alpha }_2,...,{\alpha }_s\in V_{\lambda }\Rightarrow k_1{\alpha }_1+k_2{\alpha }_2+...+k_s{\alpha }_s\in V_{\lambda },k_i\in C$

（5）$V_{\lambda }$ 是 $n$ 维复向量空间的子空间

$\lambda$ 是 $A$ 的特征值 $\iff$ $V_{\lambda }\ne 0$

$V_{\lambda }$ 称为 $A$ 的特征值 $\lambda$ 的特征子空间

如何理解“实对称矩阵只用对同一特征值对应的特征向量进行正交化”

引发这个思考的原因来自一类线性代数题：

已知矩阵 $A=?$（实对称矩阵）
（1）求可逆矩阵 $P$，使得 $P^{-1}AP$ 为对角矩阵
（2）求正交矩阵 $Q$，使得 $Q^{T}AQ$ 为对角矩阵

复习全面的同学肯定很熟练地就能计算出来。
第一问：将每个特征值对应的全部线性无关的特征向量排在一起；
第二问：将同一个特征值对应的全部线性无关的特征向量进行施密特正交化后，对全部特征向量进行规范化，再将全部线性无关的特征向量排在一起.
  \space 
我们都知道实对称矩阵不同特征值对应的特征向量不仅线性无关，而且还正交（这个比较容易证明）；所以我们只需要对同一特征值对应的全部特征向量进行正交化。
但是你可能从未见过一类题，“规定矩阵 $A$ 不是实对称矩阵，要求求正交矩阵 $Q$，使得 $Q^{T}AQ$ 为对角矩阵”，因为非实对称矩阵相似对角化过程中不可对特征向量进行正交规范化。
  \space 
这是为什么呢？下面就将讲解原因。

“非实对称矩阵相似对角化过程中不可对特征向量进行正交规范化”的根本原因在于不同特征值对应的特征向量进行施密特正交化会导致新向量对应的特征值发生改变。

举个例子二维向量的例子，假设 $A=\left(\begin{array}{cc}1& -1\\ 0& 2\end{array}\right)$，其特征值 ${\lambda }_1=1、{\lambda }_2=2$，对应的特征向量分别为 ${\alpha }_1=\left(\begin{array}{c}1\\ 0\end{array}\right)、{\alpha }_2=\left(\begin{array}{c}1\\ -1\end{array}\right)$，将它们正交化得到 ${\beta }_1=\left(\begin{array}{c}1\\ 0\end{array}\right)、{\beta }_2=\left(\begin{array}{c}0\\ 1\end{array}\right)$。但很显然，$A{\beta }_2\ne {\lambda }_2{\beta }_2$，也就是说正交化后的 ${\beta }_2$ 对应的特征值不再是 ${\lambda }_2$ 了。

为什么“不同特征值对应的特征向量进行施密特正交化会导致新向量对应的特征值发生改变”

可视化上面的例子：

经过施密特正交化确实让两个向量正交了，但是根据特征值与特征向量的如下性质，由于 ${\beta }_2$ 不能由 ${\alpha }_2$ 线性表示，所以 ${\beta }_2$ 不是特征值 ${\lambda }_2$ 的特征向量，也即 ${\beta }_2$ 不在 ${\lambda }_2$ 的特征子空间中，所以 ${\beta }_2$ 对应的特征值也就不是 ${\lambda }_2$。这样一来正交化就失去了意义。

性质：若 ${\alpha }_1,{\alpha }_2,...,{\alpha }_t$ 都是矩阵 $A$ 的属于特征值 $\lambda$ 的特征向量，则当 $k_1{\alpha }_{+}{k}_2{\alpha }_2+...+k_t{\alpha }_t$ 非零时，$k_1{\alpha }_{+}{k}_2{\alpha }_2+...+k_t{\alpha }_t$ 仍是矩阵 $A$ 属于特征值 $\lambda$ 的特征向量。

为了更清楚地展示，我们扩展到三维空间中。

假设矩阵 $A=\left(\begin{array}{ccc}\frac{3}{2}& 0& \frac{1}{2}\\ 0& 2& 0\\ \frac{1}{2}& 0& \frac{3}{2}\end{array}\right)$ 为三阶实对称矩阵，其三个特征值分别为 ${\lambda }_1=1、{\lambda }_2=2、{\lambda }_3=2$，其中 ${\lambda }_2={\lambda }_3$，由于实对称矩阵线性无关的特征向量个数一定与阶数相同，所以 ${\lambda }_1$ 对应的特征向量为 ${\alpha }_1=(-1,0,1{)}^T$，${\lambda }_2$ 和 ${\lambda }_3$ 对应的特征向量分别为 ${\alpha }_2=(0,1,0{)}^T$ 和 ${\alpha }_3=(1,2,1{)}^T$，且不同特征值对应的特征向量正交，即 $({\alpha }_1,{\alpha }_2)=0$，$({\alpha }_1,{\alpha }_3)=0$，${\alpha }_2$ 和 ${\alpha }_3$ 不正交。

假设 ${\alpha }_1$、${\alpha }_2$ 和 ${\alpha }_3$ 在三维空间中如下：

对 ${\alpha }_2$ 和 ${\alpha }_3$ 进行施密特正交化后：

计算可以发现三个向量是两两正交的，且 ${\beta }_2$ 和 ${\beta }_3$ 对应的特征值还是 $2$。

如果我们处理的矩阵 $A$ 不是一个实对称矩阵，只是一个一般矩阵，那么也就是说即使是不同的特征值对应的特征向量也不一定正交，如果我们对不同特征值对应的两个特征向量进行正交化会发生什么？

首先我们要明确一点，如果 $\lambda$ 的特征子空间是由两个线性无关的向量确定的，那么该特征值的特征子空间应该为由这两个线性无关的向量确定的平面内的全部向量组成，也就是说满足该特征值的特征向量应该在该平面内，不满足该特征值的向量都在平面外。

假设对于一个非实对称三阶矩阵 $A$ 而言，其特征值记为 ${\lambda }_1、{\lambda }_2、{\lambda }_3$，其中 ${\lambda }_2={\lambda }_3$，假设三个特征值对应的特征向量 ${\alpha }_1$、${\alpha }_2$ 和 ${\alpha }_3$ 如下：

很显然三者都不是正交的。

如果对 ${\alpha }_2$ 和 ${\alpha }_3$ 进行施密特正交化，由于正交化只是对两个向量进行加法和数乘操作，所以不会影响二者构成的平面，也就是说 ${\alpha }_2$ 和 ${\alpha }_3$ 经过施密特正交化后得到的 ${\beta }_2$ 和 ${\beta }_3$ 仍是在 ${\alpha }_2$ 和 ${\alpha }_3$ 所构成的平面内，即 ${\beta }_2$ 和 ${\beta }_3$ 处于同一个特征值的特征子空间中，即施密特正交后二者的特征值没有发生改变。

如果对 ${\alpha }_1$ 和 ${\alpha }_2$ 进行施密特正交化，将 ${\alpha }_2$ 视为 ${\beta }_1$，将 ${\alpha }_1$ 转换为 ${\beta }_2$，则可以得到 ${\beta }_1={\alpha }_2=(1,1,0{)}^T$，${\beta }_2=(\frac{1}{2},1,\frac{1}{2}{)}^T$，作图如下：

其中淡蓝色虚线表示的是 ${\lambda }_1$ 的特征子空间，即一维空间。经过施密特正交化后 ${\lambda }_1$ 对应的特征向量 ${\alpha }_1$ 变成了 $(\frac{1}{2},1,\frac{1}{2}{)}^T$，很显然该向量已经不在 ${\lambda }_1$ 的特征子空间中了，这说明 ${\beta }_2=(\frac{1}{2},1,\frac{1}{2}{)}^T$ 对应的特征值不是 ${\lambda }_1$；

类似地，也可以将 ${\alpha }_1$ 视为 ${\beta }_1$，将 ${\alpha }_2$ 转换为 ${\beta }_2$，经过施密特正交化后会发现 ${\beta }_2$ 已经不在由 ${\alpha }_2$ 和 ${\alpha }_3$ 构成的平面内，说明 ${\beta }_2$ 的特征值发生改变。

通过上面的例子，可以总结出之所以不同特征值对应的特征向量进行施密特正交化会导致新向量对应的特征值发生改变，是因为施密特正交化的本质是向量的加法和数乘，对于同一个特征子空间内的向量进行施密特正交化后得到的向量仍在原特征子空间中，但不同特征子空间的向量进行正交化就不好说了。

汤家凤的教案上提到一个性质：
设 $A$ 为 $n$ 阶矩阵，${\lambda }_1$，${\lambda }_2$ 为 $A$ 的两个不相同的特征值，又 $A\alpha ={\lambda }_1\alpha$，$A\beta ={\lambda }_2\beta$（$\alpha$ 和 $\beta$ 为非零向量），对任意的 $a\ne 0$，$b\ne 0$，向量 $a\alpha +b\beta$ 一定不是特征向量。
  \space 
施密特正交化就是一个线性组合的过程，根据该性质也可以说明不同特征值对应的特征向量进行正交化得到的不是特征向量。

做题时的施密特正交化

如果要计算一个正交矩阵 $Q$，使得 $Q^{T}AQ=\Lambda$，则 $A$ 一定是一个实对称矩阵，且需要对同一个特征值对应的特征向量进行施密特正交，再对全部的特征向量进行规范化，将规范化后的特征向量排列起来得到 $Q$；

如果要计算一个可逆矩阵 $P$，使得 $P^{-1}AP=\Lambda$，则 $A$ 的要求就没那么苛刻了。如果 $A$ 是非实对称矩阵，那么 $P$ 一定不能化成正交矩阵。