[线性代数]Note4--A的LU分解&转置-置换-向量空间

继续是线性代数的学习笔记，这次的笔记包含第四、五、六节三节课的内容。

第四节课是介绍A的LU分解。A的LU分解是指将矩阵A分解成一个下三角矩阵和一个上三角矩阵的乘积。其主要应用在数值分析中，用来解线性方程、求反矩阵或者计算行列式。

第五节课是介绍转置-置换-向量空间，介绍了转置矩阵，置换矩阵以及向量空间的基本概念。

第六节课是介绍列空间和零空间，介绍了向量空间中的两种空间–列空间和零空间。

乘积的逆

首先是介绍如何求解两个矩阵乘积的逆。

假设矩阵A和B都是可逆矩阵，也就是有$AA^{-1}=BB^{-1}=I$，则两者的乘积$(AB)(B^{-1}A^{-1})=I$,同理也有$B^{-1}A^{-1}AB=I$。

另外如果$AA^{-1}=I$，则对$A,A^{-1}$转置，有$(A^{-1})^T A^T=I$，也就是说矩阵A转置的逆矩阵等于逆矩阵$A^{-1}$的转置。

A的LU分解

要实现对矩阵A的LU分解，首先需要将A通过初等行交换变成一个上三角矩阵，其变换矩阵就是一个单位下三角矩阵。

比如，有一个矩阵$A=\begin{bmatrix} 2 & 1 \\ 8 & 7 \end{bmatrix}$,那么其变换矩阵为$E_{21}=\begin{bmatrix} 1 & 0 \\ -4 & 1 \end{bmatrix}$,既有如下所示：

$$E_{21}A=\begin{bmatrix} 1 & 0 \\ -4 & 1 \end{bmatrix}\begin{bmatrix} 2 & 1 \\ 8 & 7 \end{bmatrix}=\begin{bmatrix} 2 & 1 \\ 0 & 3 \end{bmatrix} = U$$
从而有 $A=LU-->\begin{bmatrix} 2 & 1 \\ 8 & 7 \end{bmatrix}=\begin{bmatrix} 1 & 0 \\ 4 & 1 \end{bmatrix}\begin{bmatrix} 2 & 1 \\ 0 & 3 \end{bmatrix}$

也就是说这里得到的下三角矩阵$L$其实是变换矩阵$E_{21}$将其第二行第一列的元素取正值后的矩阵。

而如果矩阵$A$是一个$3\times 3$的矩阵，也是同样的道理，先使用初等行变换变成一个上三角矩阵，而这里需要让矩阵A的元素$a_{21}、a_{31}以及a_{32}$都变为0，所以变换矩阵分别是$E_{21}、E_{31}和E_{32}$,即有

$$E_{32}E_{31}E_{21}A=U$$

所以有：

$$A = E_{21}^{-1}E_{31}^{-1}E_{32}^{-1}U=LU$$

此外，对于$A=LU$,如果不存在行交换，则消元系数可以直接写在L中。就如上述第一个例子中得到的矩阵$L=\begin{bmatrix} 1 & 0 \\ 4 & 1 \end{bmatrix}$，其中的$l_{21}=4$就是消元的系数。

置换矩阵

置换矩阵就是行重新排列了的单位矩阵，记作P，它可以完成行互换。

对任意可逆的矩阵$A$,有$PA = LU$。

一个$n\times n$的置换矩阵的可能个数为$n! = n(n-1)\cdots 2*1$。

最后对于置换矩阵，有一个性质，即$P^{-1}=P^T$,即置换矩阵的逆矩阵就是置换矩阵的转置矩阵。所以也有$P^TP=I$。

转置

转置符号用T表示，其公式为$(A)^T_{ij}=A_{ji}$。

一个对称的矩阵有$A^T=A$,比如矩阵$\begin{bmatrix}3 & 1 & 7 \\ 1 & 2 & 9 \\ 7 & 9 & 4 \end{bmatrix}$就是一个对称矩阵，也满足这个性质。

更进一步有对于矩阵$A=R^TR$，则A必然是对称的。

令矩阵$R=\begin{bmatrix}1 & 2 & 4 \\ 3 & 3 & 1 \end{bmatrix}$,有$R^TR=\begin{bmatrix}1 & 3 \\ 2 & 3 \\ 4 & 1\end{bmatrix}\begin{bmatrix}1 & 2 & 4 \\ 3 & 3 & 1 \end{bmatrix}=\begin{bmatrix}10 & 11 & 7 \\ 11 & 13 & 11 \\ 7 & 11 & 17 \end{bmatrix}$

这里可以通过再对该式子求转置来验证，即$(R^TR)=R^TR$。

向量空间R

向量空间是包括许多向量的空间。

$R^2$表示的是所有的二维实向量组成的空间，并且默认是列向量，例如$\begin{bmatrix}3 \\ 2 \end{bmatrix},\begin{bmatrix}0 \\ 0 \end{bmatrix},\begin{bmatrix}\pi \\ e \end{bmatrix}$。

同理，$R^3$表示的就是所有三维实向量组成的空间，$R^n$就是所有n维实向量组成的空间。

向量空间必须满足的条件是对数乘和加法，或者对线性组合是封闭的。也就是说在向量空间内的任意向量，其加上同一空间另一个向量所得到的向量必须也存在该向量空间内，并且其乘以任何一个数得到的向量也存在该向量空间内。

对于子空间，在$R^2$内的子空间有3种，包括$R^2$本身，还有就是过原点的直线，以及零向量。

而$R^3$内的子空间则有4种，包括$R^3$，零向量，过原点的平面和直线。

对于在$R^3$内的两个子空间$P和L$,其并集，即$P\bigcup L$并不是一个子空间，但是其交集$P\bigcap L$则是$R^3$的子空间。

列空间

假设有一个矩阵$A$,其列空间是由其各列的线性组合构成的，记作$C(A)$。

设$A=\begin{bmatrix}1 & 1 & 2 \\ 2 & 1 & 3 \\ 3 & 1 & 4 \\ 4 & 1 & 5 \end{bmatrix}$,对于$Ax=b$,对任意的$b$并不总是有解的。

只有满足当且仅当向量$b$是$A$各列的线性组合，即存在于$C(A)$中，才总是有解的。这是因为$A$的列空间是包含$A$各列的所有线性组合的。

零空间

矩阵$A$的零空间$N(A)$=满足$Ax=0$的解，即向量$x$。

利用上述给定的矩阵$A$,有$Ax=\begin{bmatrix}1 & 1 & 2 \\ 2 & 1 & 3 \\ 3 & 1 & 4 \\ 4 & 1 & 5 \end{bmatrix}\begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \\ 0 \\ 0 \end{bmatrix}$,则其中一个解必定是零向量$\begin{bmatrix} 0 \\ 0 \\ 0 \end{bmatrix}$,即零向量肯定是存在零空间的，而继续研究可以知道还有满足如$\begin{bmatrix} 1 \\ 1 \\ -1 \end{bmatrix},\begin{bmatrix} 2 \\ 2 \\ -2 \end{bmatrix}$,也就是形如$\begin{bmatrix} c \\ c \\ -c \end{bmatrix}$,其中$c$是任意实数，也就是这是一个$R^3$空间中的一条过原点的直线。

下面证明$Ax=0$的解总是构成一个子空间。

如果$Av=0,Aw=0$,那么则有$A(v+w)=Av+Aw=0$，也就是如果向量$v,w$在零空间，则$v+w$也是在零空间的。同理可证明如果$Av=0$,有$A(cv)=0$，其中c是一个任意实数。

小结

本节内容首先是介绍了矩阵$A$的$LU$分解以及其解法，然后介绍了置换矩阵，转置，向量空间，包括列空间和零空间在内的基本概念。