矩阵理论| 基础：特征值与特征向量、代数重数/几何重数、相似对角化和Jordan标准型

特征值与特征向量

矩阵$\mathbf{A}$的特征值与特征向量满足$\mathbf{Ax}=\lambda \mathbf{x}$，即$(\mathbf{A}-\lambda \mathbf{I})\mathbf{x}=0$，且$\mathbf{x}\ne 0$

• 特征值：$det(\mathbf{A}-\lambda \mathbf{I})=0$的根，其中$p(\lambda )=det(\mathbf{A}-\lambda \mathbf{I})$为特征多项式
  $\mathbf{A}$全体所有特征值也称为$\mathbf{A}$的谱，记为$\lambda (\mathbf{A})$
• 特征向量：$(\mathbf{A}-\lambda \mathbf{I})\mathbf{x}=0$的非零解，可见特征向量可能充满一整个子空间，该子空间就是零空间$N(\mathbf{A}-\lambda \mathbf{I})$，称为特征子空间

不同特征值对应的特征子空间的交为{0}

相关的小技巧：若$\mathbf{A}$的特征值为$\lambda$，则$\mathbf{A}-k\mathbf{I}$的特征值为$\lambda -k$

代数重数与几何重数

首先注意，代数重数与几何重数的概念，都是针对某一个特征值${\lambda }_i$而言的

将$n$阶矩阵$\mathbf{A}$的特征多项式写为$p(t)=\det (A-tI)={\left({\lambda }_1-t\right)}^{{\beta }_1}\cdots {\left({\lambda }_k-t\right)}^{{\beta }_k}$
其中，${\beta }_1+{\beta }_2+...{\beta }_k=n$（$n$阶多项式，有$n$个根）

• 特征值${\lambda }_i$的代数重数为${\beta }_i$
  ps. 代数重数也可以定义为${\beta }_i=dim[N((\mathbf{A}-{\lambda }_i\mathbf{I}{)}^n)]$，见特征值的代数重数与几何重数
• 特征值${\lambda }_i$的几何重数为其特征子空间的维数，即$dim[N(\mathbf{A}-{\lambda }_i\mathbf{I})]$

对于任一特征值${\lambda }_i$，几何重数<=代数重数

• 当特征值有重根时，就可能有几何重数<代数重数，此时“缺少”特征向量，对应降维变换，并且矩阵无法相似对角化

相似对角化和Jordan标准型

• 当所有特征值的几何重数=代数重数，有$dim[N(\mathbf{A}-{\lambda }_1\mathbf{I})]+...+dim[N(\mathbf{A}-{\lambda }_k\mathbf{I})]=n$，矩阵可相似对角化：
  可以用$n$个线性无关的特征向量组成可逆矩阵$\mathbf{P}$，使$\mathbf{A}=\mathbf{P\Lambda }{\mathbf{P}}^{-1}$

此时，$\mathbf{A}$的特征向量可以给出${\mathbb{C}}^n$空间的一组基
或者说，$\mathbf{A}$的所有特征子空间给出了整个空间的直和分解：$$N\left(A-{\lambda }_{1}I\right)\oplus \cdots \oplus N\left(A-{\lambda }_{k}I\right)={\mathbb{C}}^n$$

实对称矩阵（n个正交的特征向量）、幂等矩阵（证明见后文）必然可以相似对角化

• 更一般的，矩阵没有$n$个线性无关的特征向量，则无法相似对角化，此时只能求Jordan标准型$\mathbf{J}$，使$\mathbf{A}=\mathbf{PJ}{\mathbf{P}}^{-1}$
  此时仅满足$dim[N((\mathbf{A}-{\lambda }_1\mathbf{I}{)}^n)]+...+dim[N((\mathbf{A}-{\lambda }_k\mathbf{I}{)}^n)]=n$（代数重数的定义2）

定义特征值${\lambda }_i$的广义特征向量为$(\mathbf{A}-\lambda \mathbf{I}{)}^n\mathbf{x}=0$的非零解，
将$N((\mathbf{A}-{\lambda }_i\mathbf{I}{)}^n)$称为广义特征子空间（其维数=代数重数，${\beta }_i=dim[N((\mathbf{A}-{\lambda }_i\mathbf{I}{)}^n)]$）

那么，可以用$n$个线性无关的广义特征向量组成可逆矩阵$\mathbf{P}$，使$\mathbf{A}=\mathbf{PJ}{\mathbf{P}}^{-1}$，见Jordan 标准型-寻找广义特征向量
此时，广义特征子空间给出了整个空间的直和分解：$$N\left({\left(A-{\lambda }_{1}I\right)}^n\right)\oplus \cdots \oplus N\left({\left(A-{\lambda }_{k}I\right)}^n\right)={\mathbb{C}}^n$$

例题：证明幂等矩阵一定可以相似对角化

对于幂等矩阵$\mathbf{P}$有${\mathbf{P}}^2=\mathbf{P}$，幂等矩阵的特征值只可能为0和1（由$\mathbf{Px}=\lambda \mathbf{x}$和${\mathbf{P}}^2\mathbf{x}={\lambda }^2\mathbf{x}$可知）
另外，$(\mathbf{I}-\mathbf{P})$也是幂等矩阵（$(\mathbf{I}-\mathbf{P}{)}^2=\mathbf{I}-\mathbf{P}$）
因此有$N({\mathbf{P}}^n)=N(\mathbf{P})$和$N({(\mathbf{I}-\mathbf{P})}^n)=N(\mathbf{I}-\mathbf{P})$，由上面的知识，特征值0的代数重数等于几何重数，特征值1的代数重数也等于几何重数，故幂等矩阵一定可以相似对角化