UTF8gbsn
实对称矩阵一定可以对角化.
最近看共轭梯度下降的时候看到有人的推导里面用到了这个命题. 虽然以前学过,
但是学得很渣, 所以没有自己想过这个命题怎么样成立的.
现在将这些证明过程梳理一下.
实对称矩阵含有n个实根
首先我们来证明一个命题, 实对称矩阵含有n个实根,
注意,n个实根并不一定都是不同的, 可能含有重根.
比如( r − 1 ) 2 = 0 (r-1)^2=0(r−1)2=0就含有两个重根r = 1 r=1r=1.在计算根数目的时候这个方程的解算两个.
首先, 任意的矩阵A \mathbf{A}A,它的特征多项式
∣ A − λ I ∣ = 0 |\mathbf{A}-\lambda\mathbf{I}|=0∣A−λI∣=0
是一个n nn次多项式(这是很显然的).
由于n nn次多项式必定有n nn个根(在复数域上). 这个命题暂不证明,
直接使用. 我写过另外一篇文章简要的证明了一下这个定理.有了上一步的结论,
我们现在只需要证明每一个根λ i \lambda_iλi是实根就可以了.
这个证明过程很简单. 假设λ i \lambda_iλi是任意根之一,
并且α i \mathbf{\alpha}_iαi(当然也是在复数域),
那么根据特征值和特征向量的定义.我们可以得
A α i = λ i α i \mathbf{A}\mathbf{\alpha}_i=\lambda_i\mathbf{\alpha}_iAαi=λiαi 取共轭得
A α ‾ i = λ ‾ i α ‾ i \mathbf{A}\mathbf{\overline{\alpha}}_i=\overline{\lambda}_i\mathbf{\overline{\alpha}}_iAαi=λiαi
再进行转置得, 注意A T = A A^T=AAT=A, 对称矩阵.
α ‾ i T A = λ ‾ i α ‾ i T \mathbf{\overline{\alpha}}_i^T\mathbf{A}=\overline{\lambda}_i\mathbf{\overline{\alpha}}_i^TαiTA=λiαiT
右边乘α i \mathbf{\alpha}_iαi得
α ‾ i T A α i = λ ‾ i α ‾ i T α i \mathbf{\overline{\alpha}}_i^T\mathbf{A}\mathbf{\alpha}_i=\overline{\lambda}_i\mathbf{\overline{\alpha}}_i^T\mathbf{\alpha}_iαiTAαi=λiαiTαi再看A α i = λ i α i \mathbf{A}\mathbf{\alpha}_i=\lambda_i\mathbf{\alpha}_iAαi=λiαi,
对它左边乘α ‾ i T \overline{\mathbf{\alpha}}_i^{T}αiT可得
α ‾ i T A α i = λ i α ‾ i T α i \mathbf{\overline{\alpha}}_i^T\mathbf{A}\mathbf{\alpha}_i=\lambda_i\mathbf{\overline{\alpha}}_i^T\mathbf{\alpha}_iαiTAαi=λiαiTαi上面两个式子相减得
0 = ( λ ‾ i − λ i ) α ‾ i T α i 0=(\mathbf{\overline{\lambda}_i-\lambda_i})\mathbf{\overline{\alpha}}_i^T\mathbf{\alpha}_i0=(λi−λi)αiTαi
因为,α ‾ i T α i \mathbf{\overline{\alpha}}_i^T\mathbf{\alpha}_iαiTαi是非0向量.所以我们可得λ ‾ i − λ i = 0 \overline{\lambda}_i-\lambda_i=0λi−λi=0.
也就是说λ i \lambda_iλi是实数.
又因为λ i \lambda_iλi是任意的特征值,所以A \mathbf{A}A,
的所有特征值都是实数.
实对称矩阵属于不同特征值的特征向量正交
接下来我们再来证明一个命题,实对称矩阵属于不同特征值的特征向量正交.我们先假设两个不同的特征值位λ i , λ j \lambda_i,\lambda_jλi,λj,
他们对应的特征向量为α i , α j \mathbf{\alpha}_i, \mathbf{\alpha}_jαi,αj. 假如,
我们定义( α i , α j ) (\mathbf{\alpha}_i, \mathbf{\alpha}_j)(αi,αj)表示点积.
那么我们可以按照下面的推导.
λ i ( α i , α j ) = ( λ i α i , α j ) = ( A α i , α j ) = α j T A α i = α i T A α j \lambda_i(\mathbf{\alpha}_i, \mathbf{\alpha}_j)=(\lambda_i\mathbf{\alpha}_i, \mathbf{\alpha}_j)=(\mathbf{A\alpha}_i, \mathbf{\alpha}_j)=\mathbf{\alpha_j^TA\alpha_i}=\mathbf{\alpha_i^TA\alpha_j}λi(αi,αj)=(λiαi,αj)=(Aαi,αj)=αjTAαi=αiTAαj
λ j ( α i , α j ) = ( α i , λ j α j ) = ( α i , A α j ) = α i T A α j \lambda_j(\mathbf{\alpha}_i, \mathbf{\alpha}_j)=(\mathbf{\alpha}_i, \lambda_j\mathbf{\alpha}_j)=(\mathbf{\alpha}_i, \mathbf{A\alpha}_j)=\mathbf{\alpha_i^TA\alpha_j}λj(αi,αj)=(αi,λjαj)=(αi,Aαj)=αiTAαj
下相减得( λ i − λ j ) ( α i , α j ) = 0 (\lambda_i-\lambda_j)(\mathbf{\alpha}_i, \mathbf{\alpha}_j)=0(λi−λj)(αi,αj)=0,
又因为λ i ≠ λ j ⇒ α i T ⋅ α j = 0 \lambda_i\neq \lambda_j \Rightarrow \mathbf{\alpha}_i^T\cdot \mathbf{\alpha}_j=0λi=λj⇒αiT⋅αj=0,
也就是正交成立.
实对称矩阵可对角化
这里我们使用归纳法来证明.
首先假设n = 1 n=1n=1. A = a 11 \mathbf{A}=a_{11}A=a11. 这个不证自明.
假设n = k − 1 n=k-1n=k−1, 命题撤成立.
现在n = k n=kn=k, 我们假设其中一个特征值位λ 1 \lambda_1λ1,
那么我可以利用第一个特征值对应的特征向量构造一组R n R^nRn的正交基.
T = ( η 1 , η 2 , ⋯ , η n ) T=(\eta_1, \eta_2,\cdots, \eta_n)T=(η1,η2,⋯,ηn). 那么我们可以得
T − 1 A T = ( T − 1 λ 1 η 1 , T − 1 A η 2 , ⋯ , T − 1 A η n ) T^{-1}AT=(T^{-1}\lambda_1\eta_1, T^{-1}A\eta_2, \cdots, T^{-1}A\eta_n)T−1AT=(T−1λ1η1,T−1Aη2,⋯,T−1Aηn)
又因为T − 1 T = I T^{-1}T=IT−1T=I, 那么,
我们可以得T − 1 η 1 = ε 1 T^{-1}\eta_1=\mathbf{\varepsilon}_1T−1η1=ε1. 那么可得
T − 1 A T = ( λ 1 α 0 B ) T^{-1}AT=\left( \begin{array}{cc} \lambda_1 & \mathbf{\alpha} \\ \mathbf{0} & \mathbf{B} \end{array} \right)T−1AT=(λ10αB)由于A AA, 是一个实对称矩阵,
那么T − 1 A T T^{-1}ATT−1AT也是一个实对称矩阵.进而α = 0 \mathbf{\alpha}=\mathbf{0}α=0.
由此可见B BB也是一个( k − 1 ) × ( k − 1 ) (k-1)\times (k-1)(k−1)×(k−1)的实对称矩阵. 按照假设,
它是可以对角化的.现在假设.
T 2 − 1 B T 2 = d i a g { λ 2 , λ 3 , ⋯ , λ n } T_2^{-1}BT_{2}=diag\{\lambda_2, \lambda_3, \cdots, \lambda_n\}T2−1BT2=diag{λ2,λ3,⋯,λn}
并设 T f = T ( 1 0 0 T 2 ) T_f=T\left( \begin{array}{cc} 1 & 0 \\ 0 & T_2 \end{array} \right)Tf=T(100T2) 那么 T f − 1 A T f = ( 1 0 0 T 2 ) − 1 T − 1 A T ( 1 0 0 T 2 ) = ( 1 0 0 T 2 − 1 ) ( λ 1 0 0 B ) ( 1 0 0 T 2 ) T^{-1}_fAT_{f}=\left( \begin{array}{cc} 1 & 0 \\ 0 & T_2 \end{array} \right)^{-1}T^{-1}AT\left( \begin{array}{cc} 1 & 0 \\ 0 & T_2 \end{array} \right)=\left( \begin{array}{cc} 1 & 0 \\ 0 & T_2^{-1} \end{array} \right)\left( \begin{array}{cc} \lambda_1 & 0 \\ 0 & B \end{array} \right)\left( \begin{array}{cc} 1 & 0 \\ 0 & T_2 \end{array} \right)Tf−1ATf=(100T2)−1T−1AT(100T2)=(100T2−1)(λ100B)(100T2) = ( λ 1 0 0 T 2 − 1 B T 2 ) = d i a g { λ 1 , λ 2 , ⋯ , λ n } =\left( \begin{array}{cc} \lambda_1& 0 \\ 0 & T_2^{-1}BT_{2} \end{array} \right)=diag\{\lambda_1,\lambda_2, \cdots, \lambda_n\}=(λ100T2−1BT2)=diag{λ1,λ2,⋯,λn}
至此, 原式得证. 也就是说实对称矩阵一定可以对角化.
反过来也说明实对称矩阵的特征多项式的代叔重述等于几何重数.