线性代数及其应用笔记

线代最近好多地方都要用到，然而之前学的太渣啦，这次复yu习xi一遍记一下~
本文应配合原书食用，只是作为通读全书之后方便查阅的参考，而非用作单独学习线代

第1章 线性代数中的线性方程组

1. 线性方程组等价$\Leftrightarrow$解集相同$\Leftrightarrow$增广矩阵行等价
2. 线性方程组的解：null/one/infinite
3. 线性方程组相容：有解（one/infinite）
4. 行初等变换：
   
   • 倍加：加上另一行的倍数
   • 对换：两行互换
   • 倍乘：一行各元素乘一个标量
5. 行初等变换是可逆的
6. （行）阶梯形矩阵（缩写为REF）
   
   • 每一非零行在每一零行之上
   • 下方的行的先导元素在右方
   • 推论：先导元素（一行的最左非零元素）所在列的下面全是零
7. 简化（行）阶梯形（缩写为RREF）
   
   • 先导元素都是1
   • 先导元素是所在列唯一的非零元素
8. 简化阶梯形是唯一的
9. 主元位置：阶梯形中先导元素的位置；主元列*：含主元位置的列
10. 主元列对应基本变量，非主元列对应自由变量
11. 方程组通解的形式（举例说明）：
    $$\left\{ \begin{array}{ll} x_1 = 5x_3+1 \\ x_2 = -x_3 + 4 \\ x_3 \text{is free} \end{array} \right.$$
12. 线性方程组相容$\Leftrightarrow$增广矩阵最右列不是主元列（没有$0=b$情况出现，其中$b$为非零常数）
13. 线性组合：$c_1\vec{v_1}+c_2\vec{v_2}\cdots + c_n\vec{v_n}$
14. 向量方程$x_1 \vec{a_1} + x_2 \vec{a_2}+\cdots + x_n\vec{a_n}=\vec{b}$与增广矩阵$[\vec{a_1}\vec{a_2}\cdots \vec{a_n} \vec{b}]$解集相同
15. $Span\{\vec v_1, \vec v_2 , \cdots , \vec v_p \}$为这些向量生成的子集，即它们线性组合产生的向量的集合
16. $A\vec x$可以理解为$A$中各列以$\vec x$中对应分量为权重的线性组合
17. $A\vec x = \vec b$有解$\Leftrightarrow$$\vec b$中各列是$A$中各列的线性组合
18. 下列命题等价：
    
    • $A\vec x = \vec b$对$\mathbb R^m$中的每个$\vec b$都有解
    • $\mathbb R^m$中的每个$\vec b$都是$A$的列的线性组合
    • $A$的各列生成$\mathbb R^m$
    • $A$的每一行都有一个主元位置
    • （注意$A$是系数矩阵而非增广矩阵）
    • 齐次线性方程组：$A\vec x = \vec 0$（等式右边不为$\vec 0$称为非齐次线性方程组）
    • $A\vec x = \vec 0$存在非平凡解$\Leftrightarrow$存在自由变量
    • 非齐次线性方程组的解：若$A\vec x = \vec b$有一个特解$\vec p$，则它的通解为所有形如$\vec w = \vec p + \vec v_h$的向量，其中$\vec v_h$为$A \vec x = \vec 0$的任意一个解
    • 线性无关：$x_1 \vec v +x_2\cdots + x_p \vec v_p= \vec 0$仅有平凡解，那么这些向量线性无关
    • 线性相关集的特征：$S=\{v_1, v_2, \cdots v_p\}$线性相关$\Leftrightarrow$至少有一个向量是其他向量的线性组合
    • $\mathbb R^n$中的$p$个向量的集合，当$p>n$时一定为线性相关集
    • 若向量集中含有$\vec 0$，则它们线性相关
    • 由$\mathbb R^n$到$\mathbb R^m$的变换$T$是一个规则将$\mathbb R^n$每个向量$\vec x$对应到$\mathbb R^m$中的向量$T(\vec x)$.
      $\mathbb R^n$为定义域，$\mathbb R^m$为余定义域
      $T(\vec x)$为$\vec x$在$T$作用于的像，像的集合为值域
    • 矩阵变换$\vec x \mapsto A \vec x$，$A$有$m$行$n$列时的变换是$\mathbb R^n \rightarrow \mathbb R^m$
    • 线性变换：
      $T(\vec u+\vec v)=T(\vec u)+T(\vec v)$
      $T(c\vec u) = cT(\vec u)$
      推论：
      $T(\vec 0) = \vec 0$
      $T(c\vec u + d\vec v) = cT(\vec u)+dT(\vec v)$（推广到多个向量，称为叠加原理，即系统的相应是对各个信号响应的线性组合）
    • 线性变换都对应唯一一个矩阵$A$（称为该变换的标准矩阵），使得$T(\vec x) = A\vec x$
      $A$的求法为：将单位矩阵的各列分别进行该变换，即$A=[T(\vec e_1) \cdots T(\vec e_n)]$
    • $T: \mathbb R^n \rightarrow R^m$称为到$\mathbb R^m$的映射当它是满射；若它是单射，则称其为一对一映射
    • $T$是一对一映射$\Leftrightarrow$$A \vec x = \vec 0$仅有平凡解（没有自由变量）
    • $T$满射 $\Leftrightarrow$$A$的列生成$\mathbb R^m$
    • $T$为一一映射 $\Leftrightarrow$$A$的各列线性无关

第2章 矩阵代数

1. 对角矩阵：非对角元素为0的矩阵；零矩阵$0_{m\times n}$：所有元素为0的矩阵
2. $A_{m\times n}B_{n\times p} = (AB)_{m\times p} = [A\vec b_1 \cdots A\vec b_p]$
3. $A(B\vec x) = (AB)\vec x$（复合映射变成一个矩阵的映射，矩阵乘法对应线性变换的复合）
4. $AB$的每一列都是$A$中各列的线性组合，以$B$的对应列的元素为权
   $A$的列数等于$B$的行数
5. $AB$的第$i$行第$j$列的元素是$A$的第$i$行与$B$的第$j$列的内积
6. 矩阵乘法满足结合律和分配律，但不满足交换律、消去律
   $A(BC)=(AB)C$
   $A(B+C)=AB+AC$, $(B+C)A=BA+CA$
   $AC=AC$不能推出$B=C$
   $AB=0$不能推出$A=0$或$B=0$
7. 矩阵转置的性质：
   
   • $(A+B)^T = A^T+B^T$
   • $(AB)^T=B^TA^T$（可以推广到多个矩阵）
8. 可逆矩阵（一定是方阵）：$A_{n\times n}$可逆，若存在矩阵与它左乘、右乘都得到单位矩阵
9. 可逆矩阵又称非奇异矩阵(nonsingular)，不可逆矩阵又叫奇异矩阵(singular)
10. $A=\begin{bmatrix} a&b\\c&d\end{bmatrix}$，若$\det A = ad-bc\neq 0$，则$A$可逆且$A^{-1}=\frac{1}{\det A}\begin{bmatrix} d&-b\\-c&a\end{bmatrix}$
11. 可逆矩阵性质：
    
    • $(A^{-1})^{-1}=A$
    • $(AB)^{-1}=B^{-1}A^{-1}$（可以推广到多个）
    • $(A^T)^{-1}=(A^{-1})^T$
12. 初等矩阵$E$：单位矩阵$I$进行一次变换得到的矩阵
13. $A$进行某种初等行变换的结果为$EA$，其中$E$是由单位矩阵$I$经过相同变换得到的
14. 初等矩阵都是可逆的
15. 方阵$A$可逆$\Leftrightarrow$方阵$A$行等价于$I$。
16. 将$A$变成$I$的变换能将$I$变成$A^{-1}$（此为$A^{-1}$的求解方法）
17. 可逆矩阵定理：对于方阵$A_{n\times n}$，下列命题等价：
    
    • $A$可逆
    • $A$等价于$I$
    • $A$有$n$个主元位置
    • $A\vec x=\vec 0$仅有平凡解
    • $A$的各列线性无关
    • 线性变换$\vec x \mapsto A \vec x$是一对一的
    • 任意$A \vec x = \vec b$都有唯一解
    • $A$的各列生成$\mathbb R^n$
    • 线性变换$\vec x \mapsto A \vec x$把$\mathbb R^n$映到$\mathbb R^n$上
    • 存在矩阵$C$使得$CA=I$
    • 存在矩阵$D$使得$AD=I$
    • $A^T$可逆
    • $0$不是$A$的特征值
    • $\det A \neq 0$
18. 分块矩阵的加法、标量乘法、矩阵乘法都可以先将子矩阵看做一个数字，依之前的规则计算
19. $AB$的列行展开：
    $$AB=\begin{bmatrix} \text{col}_1(A) \cdots \text{col}_n(A) \end{bmatrix} \begin{bmatrix} \text{row}_1(B) \\ \cdots \\ \text{row}_n(B) \end{bmatrix} = \text{col}_1(A)\text{row}_1(B)+\cdots+\text{col}_n(A)\text{row}_n(B)$$
20. 分块矩阵的逆：列方程组$A_{\text{某某} } B_{\text{某某}} = 0$、$A_{\text{某某} } B_{\text{某某}} = I$求解即可
21. 矩阵因式分解：将一个矩阵表示为矩阵的乘积
22. $LU$分解：将矩阵分解为$LU$相乘的形式，其中$L$为下三角矩阵，$U$为上三角矩阵
23. $LU$分解用于求解一系列具有相同系数矩阵的线性方程$A\vec x = \vec b_1, \cdots A\vec x = \vec b_p$，过程如下：
    
    • 利用初等行变换得到第一个解，同时得到$A$的$LU$分解
    • $L$、$U$这种三角系数矩阵易于求解，利用得到的$L$和$U$求解其他方程
24. $LU$分解算法
    
    • 可能的话，用一系列倍加变换$E_p\cdots E_1$将$A$换成$U$
    • 求这样一个$L$，使得相同的变换能使$L$变成$I$，即$L=(E_p\cdots E_1)^{-1}$
    • （通常需要行对换，产生置换下三角矩阵$L$，只需将$\vec b$做相应交换即可）
25. $\mathbb R^n$的子空间：$\mathbb R^n$中的集合$H$，它具有下列性质：
    
    • $\vec 0 \in H$
    • $\vec u, \vec v \in H \Rightarrow \vec u + \vec v \in H$（子空间对加法封闭）
    • $\vec u \in H \Rightarrow \forall c, c \vec u \in H$（子空间对标量乘法封闭）
    • 生成子集是子空间；只含有$\vec 0$的空间叫做零子空间
    • 矩阵$A$的列空间$\text{Col} A$是$A$的各列的线性组合的集合
    • 矩阵$A$的零空间$\text{Nul} A$是$A\vec x = \vec 0$的解集
    • 子空间的基：$H$的一组基是$H$中的一个线性无关集，它生成$H$
    • 单位矩阵的各列的集合称为标准基
    • 矩阵$A$的主元列构成列空间的基。注意：要用$A$本身的列而非化为阶梯形之后的列作为基。
    • 子空间的任意向量都可以被表示我基向量线性组合的唯一形式，线性组合的各权值组成的列向量称为坐标向量。
    • $H$的维数$\dim H$

2.7 计算机图形学中的应用

1. 考虑用一组直线段描述图形对象。当对象被变换后，它的像可以用映射后的线段连接起来得到。
2. 齐次坐标：增加一维“1”，如$\mathbb R^2$中的$(x,y)$，齐次坐标为$\mathbb R^3$中的$(x,y,1)$。升高一维的好处是可以将用高维空间的线性变换表示低维空间的线性变换和平移。
3. 低维空间原来的线性变换可以通过齐次坐标乘以分块矩阵$\begin{bmatrix} A && 0 \\ 0 && 1 \end{bmatrix}$实现
4. 复合变换可以用多个变换矩阵相乘得到它的标准矩阵
5. 齐次三维坐标$(X,Y,Z,H)$对应的三维坐标为$(\frac{X}{H},\frac{Y}{H},\frac{Z}{H})$
6. 齐次坐标中变换的标准矩阵的理解：$\begin{bmatrix} *&*&*&\Delta x \\ *&*&*&\Delta y\\*&*&*&\Delta z\\0&0&0&1 \end{bmatrix}$，其中$*$部分组成的$3\times3$矩阵为原线性变换的矩阵$A$，$\Delta x, \Delta y, \Delta z$分别为$x,y,z$的偏移量。
7. 习惯上，绕一个轴的正方向为从正半轴想原点看过去的逆时针方向。例如绕$y$轴旋转的正方向为蓝色箭头（右手系）
8. 透视投影：三维物体投影到二维平面，如$xy$平面，假设眼睛位于$(0,0,d)$（透视中心），向正$z$轴向看过去，将$(x,y,z)$映射为$(x^*,y^*,0)$（这两点与透视中心共线）
9. 齐次坐标$(x,y,z,1)$经过透视投影会映射到$(\frac{x}{1-z/d},\frac{y}{1-z/d},0.1)$，这个坐标各分量乘以$1-z/d$（等价变换，因为对应的三维坐标相同），映射到$(x,y,0,1-z/d)$，对应的投影矩阵为 $$P=\begin{bmatrix} 1 & 0 & 0 & 0 \\ 0 & 1 &0&0\\ 0&0&1&0 \\ 0&0&0&1-z/d \end{bmatrix}$$

第5章 特征值与特征向量

1. $A$为$n \times n$矩阵，$\vec x$为非零向量，若$\exists \lambda$使得$A \vec x = \lambda \vec x$，则$\lambda$为$A$的特征值，$\vec x$为$\lambda$对应的特征向量
2. 可以用行化简求特征向量（解$A\vec x = \lambda x \Leftrightarrow$解$(A-\lambda I) = \vec 0$）；不能用行化简求特征值（行化简后特征值一般要变）
3. $\lambda$的特征空间：$(A-\lambda I)\vec x=\vec 0$的解集（包括$\vec 0$）
4. 三角阵的主对角线的元素是它的特征值
5. $\lambda_1 \cdots \lambda_n$是$A$相异的特征值，则其对应的$n$个特征向量组成的集合线性无关
6. 行列式的性质：
   
   • $A$可逆$\Leftrightarrow \det A \neq 0$
   • $\det AB = \det A \det B$
   • $\det A^T = \det A$
   • $A$是三角阵$\Rightarrow$$\det A$为主对角线元素乘积
   • 行替换后行列式不变；行变换后行列式反号；某一行数乘一个数字，行列式也乘以这个数字
7. $A_{n\times n}$的特征方程为$\det (A - \lambda I) = 0$，它是关于$\lambda$的$n$次方程。等式左边展开称为$A$的特征多项式
8. 重数举例：特征方程$(\lambda - 5)^3(\lambda - 3)^2=0$，5的重数是3,3的重数是2

第6章 正交性和最小二乘法

1. 点积/内积（略）
2. 长度/范数：$\left\| \vec v \right\| = \sqrt{v_1^2+\cdots + v_n^2}$, $\left\| \vec v^2 \right\| = \vec v \cdot \vec v$
3. $\text{dist}(\vec u, \vec v) = \left\| \vec u -\vec v \right\|$
4. 正交：$\vec u \cdot \vec v = 0 \Leftrightarrow \left\| \vec u + \vec v \right\|^2 = \left\| \vec u\right\|^2+\left\| \vec v \right\|^2$
5. 子空间$W$的正交补$W^\perp$：与$W$正交的向量构成的集合
6. $(\text{Row} A)^\perp = \text{Nul} A$, $(\text{Col} A^\perp) = \text{Nul} A^T$
7. 正交集：集合内任意两个向量都正交。正交集一定线性无关，因此是一组基（叫做正交基）
8. 正交基$\{\vec u_1, \vec u_2, \cdots , \vec u_p\}$确定其向量空间中任意一个向量$y$各向量权重的公式：$\vec y = c_1 \vec u_1 + \cdots + c_p \vec u_p$，其中$c_j = \frac{\vec y \cdot \vec u_j}{\vec u_j \cdot \vec u_j}$
9. $U_{m\times n}$各列正交，且各列都是单位向量，则：
   
   • $\left\| U \vec x \right\| = \left\| \vec x \right\|$
   • $(U\vec x)\cdot(U\vec y) = \vec x \cdot \vec y$
   • $(U\vec x) \cdot (U \vec y) = 0 \Leftrightarrow \vec x \cdot \vec y = 0$
   • 上述性质第一条和第三条表明：线性映射$\vec x \mapsto U \vec x$保持长度和正交性
10. 正交矩阵：满足$U^{-1} = U^T$的矩阵。（易知它的行与列皆为正交的单位向量）