矩阵篇（二）-- 线性变换的矩阵表示、常用变换及其矩阵、常见的特殊矩阵

1 线性变换与矩阵

1.1 线性变换及其运算

1. 定义
           设 $V$ 是数域 $K$ 上的线性空间，$T$ 是 $V$ 到自身的一个映射，使得对于 $V$ 中的任意元素 $\mathbf{x}$ 均存在唯一的 $\mathbf{y}\in V$ 与之对应，则称 $T$ 为 $V$ 的一个变换或算子，记为：
   $$T(\mathbf{x})=\mathbf{y}\text{\hspace{1em}(1-1)}$$
           称 $\mathbf{y}$ 为 $\mathbf{x}$ 在变换 $T$ 下的象， $\mathbf{x}$ 为 $\mathbf{y}$ 的原象（或象源）。
           如果数域 $K$ 上的线性空间 $V$ 的一个变换 $T$ 具有下列性质（齐次可加性）：对任意 $\mathbf{x},\mathbf{y}\in V，k,l\in K$，都有，$$T(k\mathbf{x}+l\mathbf{y})=kT(\mathbf{x})+lT(\mathbf{y})\text{\hspace{1em}(1-2)}$$
           则称 $T$ 为 $V$ 的一个线性变换或线性算子。

2. 性质
   （1）线性变换把零元素仍变为零元素
   （2）负元素的象为原来元素的象的负元素
   （3）线性变换把线性相关的元素组仍变为线性相关的元素组
           注： 线性无关的元素组经过线性变换不一定再是线性无关的， 变换后的情况与元素组和线性变换有关。若线性变换 $T$ 将所有的元素组仍变换为线性无关的元素组，则称之为满秩的线性变换，其变换矩阵为满秩矩阵。

3. 线性变换的运算
   （1） 恒等变换(单位变换) $T_e：\forall \mathbf{x}\in V，T_e\mathbf{x}=\mathbf{x}$
   （2） 零变换 $T_0：\forall \mathbf{x}\in V，T_0\mathbf{x}=0$
   （3） 变换的相等：$T_1、T_2$ 是 $V$ 的两个线性变换，$\forall \mathbf{x}\in V$，均有 $T_1\mathbf{x}=T_2\mathbf{x}$，则称 $T_1=T_2$
   （4） 线性变换的和 $T_1+T_2：\forall \mathbf{x}\in V，(T_1+T_2)\mathbf{x}=T_1\mathbf{x}+T_2\mathbf{x}$
   （5） 线性变换的数乘 $kT：\forall \mathbf{x}\in V，(kT)\mathbf{x}=k(T\mathbf{x})$
                                   负变换：$(-T)\mathbf{x}=-(T\mathbf{x})$
   （6） 线性变换的乘积 $T_1{T}_2：\forall \mathbf{x}\in V，(T_1{T}_2)\mathbf{x}=T_1(T_2\mathbf{x})$
   （7） 逆变换 $T^{-1}：\forall \mathbf{x}\in V$，若存在线性变换 $S$ 使得 $(ST)\mathbf{x}=(TS)\mathbf{x}=\mathbf{x}$，则称 $S$ 为 $T$ 的逆变换，即 $S=T^{-1}$
   （8）线性变换的多项式：
   $$\begin{gathered} T^n=\underset{n}{\underbrace{TT\cdots T}}，并规定T^0=T_e \\ f(t)=\sum _{n=0}^N{a}_n{T}^n\to f(T)\mathbf{x}=\sum _{n=0}^N{a}_n{T}^n\mathbf{x}\text{\hspace{1em}(1-3)} \end{gathered}$$
           注： 和矩阵的乘积一样，线性变换的乘积不满足交换律；不是所有的变换都具有逆变换，只有满秩变换才有逆变换，$ST=T_e$。

1.2 线性变换的矩阵表示

1. 推导
        设 $T$ 是线性空间 $V_n$ 的线性变换，$\mathbf{x}\in V_n$，且 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_{\mathbf{n}}$ 是 $V_n$的一个基，则有：
$$\begin{gathered} \mathbf{x}=a_1{\mathbf{x}}_1+a_2{\mathbf{x}}_2+\cdots +a_n{\mathbf{x}}_{\mathbf{n}} \\ T\mathbf{x}=a_1(T{\mathbf{x}}_1)+a_2(T{\mathbf{x}}_2)+\cdots +a_n(T{\mathbf{x}}_{\mathbf{n}})\text{\hspace{1em}(1-4)} \end{gathered}$$
        这表明，$V^n$ 中任一向量 $\mathbf{x}$ 的象由基象组 $T{\mathbf{x}}_1，T{\mathbf{x}}_2，\cdots ，T{\mathbf{x}}_{\mathbf{n}}$ 唯一确定。因为基象组仍属于 $V_n$，故可令

$$\{\begin{array}{l}T{\mathbf{x}}_1=a_{11}{\mathbf{x}}_1+a_{21}{\mathbf{x}}_2+\cdots +a_{n1}{\mathbf{x}}_{\mathbf{n}},\\ T{\mathbf{x}}_2=a_{12}{\mathbf{x}}_1+a_{22}{\mathbf{x}}_2+\cdots +a_{n2}{\mathbf{x}}_{\mathbf{n}},\\ \cdots \cdots \\ T{\mathbf{x}}_{\mathbf{n}}=a_{1n}{\mathbf{x}}_1+a_{2n}{\mathbf{x}}_2+\cdots +a_{nn}{\mathbf{x}}_{\mathbf{n}},\end{array}\text{\hspace{1em}(1-5)}$$
        即
$$T{\mathbf{x}}_{\mathbf{i}}=\sum _{j=1}^n{a}_{ji}{\mathbf{x}}_{\mathbf{i}}（i=1，2，\cdots ，n）\text{\hspace{1em}(1-6)}$$
        采用矩阵乘法的形式，式(1-5)可表示为
$$T({\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_{\mathbf{n}})\stackrel{def}{=}（T{\mathbf{x}}_1,T{\mathbf{x}}_2,\cdots ,T{\mathbf{x}}_{\mathbf{n}}）=({\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_{\mathbf{n}})\mathbf{A}\text{\hspace{1em}(1-7)}$$
        其中
$$\mathbf{A}=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& ⋮& \\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right]\text{\hspace{1em}(1-8)}$$

        矩阵 $\mathbf{A}$ 的第 $i$ 列恰是 $T{\mathbf{x}}_{\mathbf{i}}$ 的坐标($i=1,2,\cdots ,n$)。

        式(1-7)中的矩阵 $\mathbf{A}$ 称为 $T$ 在 $V_n$ 基 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_{\mathbf{n}}$ 下的矩阵，简称 $\mathbf{A}$ 为 $T$ 的矩阵。
        注：对于任意 $n$ 阶矩阵 $\mathbf{A}$ 存在唯一的一个线性变换 $T$。所以线性变换可以用矩阵来表示。
        $T_0$ 的矩阵为 $\mathbf{O}$，$T_e$ 的矩阵为 $\mathbf{I}$，$T_m$ 的矩阵为 $m\mathbf{I}$（数量矩阵）。

        详细推导，请阅读：线性代数笔记——线性变换及对应矩阵。
2. 定理

• 定理一：设 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_{\mathbf{n}}$ 是 $V^n$ 的一个基，$T_1、T_2$ 在该基下的矩阵分别为 $\mathbf{A}、\mathbf{B}$。则有：
  （1）$(T_1+T_2)[{\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_{\mathbf{n}}]=[{\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_{\mathbf{n}}](\mathbf{A}+\mathbf{B})$
  （2）$kT[{\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_{\mathbf{n}}]=[{\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_{\mathbf{n}}](k\mathbf{A})$
  （3）$(T_1{T}_2)[{\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_{\mathbf{n}}]=[{\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_{\mathbf{n}}](\mathbf{AB})$
  （4）$T^{-1}[{\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_{\mathbf{n}}]=[{\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_{\mathbf{n}}]{\mathbf{A}}^{-1}$

• 定理二：设线性变换 $T$ 在 $V^n$ 的基 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_{\mathbf{n}}$ 下的矩阵 $\mathbf{A}=(a_{ij})$，向量 $\mathbf{x}$ 在该基下的坐标是 $({\xi }_1,{\xi }_2,\cdots ,{\xi }_n{)}^T$，则 $T\mathbf{x}$ 在该基下的坐标 $({\eta }_1,{\eta }_2,\cdots ,{\eta }_n{)}^T$ 满足
  $$({\eta }_1,{\eta }_2,\cdots ,{\eta }_n{)}^T=\mathbf{A}({\xi }_1,{\xi }_2,\cdots ,{\xi }_n{)}^T\text{\hspace{1em}(1-9)}$$

• 定理三： 设 $V^n$ 的线性变换 $T$，对于 $V^n$ 的两个基 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_{\mathbf{n}}$ 和 ${\mathbf{y}}_1,{\mathbf{y}}_2,\cdots ,{\mathbf{y}}_{\mathbf{n}}$ 的矩阵依次是 $\mathbf{A}$ 和 $\mathbf{B}$，并且
  $${\mathbf{y}}_1,{\mathbf{y}}_2,\cdots ,{\mathbf{y}}_{\mathbf{n}}={\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_{\mathbf{n}}\mathbf{C}\text{\hspace{1em}(1-10)}$$
  则可以得到：$\mathbf{B}={\mathbf{C}}^{-1}\mathbf{AC}$。

        矩阵和线性变换之间的关系：矩阵本身描述了一个坐标系，矩阵与矩阵的乘法描述了一个运动（线性变换）。换言之：如果矩阵仅仅自己出现，那么他描述了一个坐标系，如果他和另一个矩阵或向量同时出现，而且做乘法运算，那么它表示运动（线性变换）。

         补充： 对线性变换直观的理解可以参考视频：线性代数的本质 - 03 - 矩阵与线性变换 和 线性代数的本质 - 04 - 矩阵乘法与线性变换复合，学习笔记：https://zhuanlan.zhihu.com/p/111123005

2 常用变换及其矩阵

2.1 正交变换与正交矩阵

1. 定义
        设 $V$ 是一个欧式空间，$T$ 是 $V$ 上的一个线性变换，如果对于任何向量 $\mathbf{x},\mathbf{y}\in V$，变换 $T$ 恒能使下式成立（即不改变向量的內积）：
$$(T(\mathbf{x}),T(\mathbf{y}))=(\mathbf{x},\mathbf{y})\text{\hspace{1em}(2-1)}$$
        则称 $T$ 是 $V$ 上的正交变换。
2. 性质

• 定理一：设 $T$ 是欧式空间 $V$ 上的线性变换，下面写出的任一条件都是 $T$ 成为正交变换的充要条件：
  （1）T 是向量长度保持不变，即：对任何 $\mathbf{x}\in V$，有
  $$(T(\mathbf{x}),T(\mathbf{x}))=(\mathbf{x},\mathbf{x})；\text{\hspace{1em}(2-2)}$$
  （2）任一组标准正交基经 $T$ 变换后的象仍是一组标准正交基；
  （3）$T$ 在任意一组标准正交基下的矩阵 $\mathbf{A}$ 满足
  $${\mathbf{A}}^T\mathbf{A}=\mathbf{A}{\mathbf{A}}^T=\mathbf{I}或{\mathbf{A}}^{-1}={\mathbf{A}}^T\text{\hspace{1em}(2-3)}$$

• 定理二：在欧氏空间中，正交变换在标准正交基下的矩阵是正交矩阵；反过来，如果线性变换 $T$ 在标准正交基下的矩阵是正交矩阵，则 $T$ 是正交变换。

2.2 对称变换与对称矩阵

1. 定义
        设 $V$ 是一个欧式空间，$T$ 是 $V$ 上的一个线性变换，如果对于任何向量 $\mathbf{x},\mathbf{y}\in V$，变换 $T$ 恒能使下式成立：
$$(T(\mathbf{x}),\mathbf{y})=(\mathbf{x},T(\mathbf{y}))\text{\hspace{1em}(2-4)}$$
        则称 $T$ 是 $V$ 上的一个对称变换。
2. 性质

• 定理一：$n$ 维欧氏空间 $V$ 的线性变换 $T$ 是对称变换的充要条件是：$T$ 在标准正交基下的矩阵 $\mathbf{A}$ 是实对称矩阵，即有 ${\mathbf{A}}^T=\mathbf{A}$。

2.3 Hermite变换及其矩阵

1. 定义
        设 $V$ 是一个酉空间，$T$ 是 $V$ 上的一个线性变换，如果对于任何向量 $\mathbf{x},\mathbf{y}\in V$，变换 $T$ 恒能使下式成立（即不改变向量的內积）：
$$(T(\mathbf{x}),\mathbf{y})=(\mathbf{x},T(\mathbf{y}))\text{\hspace{1em}(2-5)}$$
        则称 $T$ 是 $V$ 上的一个Hermite变换（厄米特变换）。
2. 性质

• 定理一：Hermite变换在酉空间的标准正交基下的矩阵 $\mathbf{A}$ 是Hermite矩阵，即${\mathbf{A}}^H=\mathbf{A}（H表示共轭转置）$。

3 常见的特殊矩阵

3.1 正交矩阵

1. 定义
        如果 $n$ 阶实方阵 $\mathbf{A}$ 满足${\mathbf{A}}^T\mathbf{A}={\mathbf{A}}^{-1}\mathbf{A}=\mathbf{I}$，则称 $\mathbf{A}$ 为正交矩阵，简称正交阵。

2. 性质

• 正交矩阵是非奇异的，且 $det\mathbf{A}=1$或-1，（行列式等于1的正交矩阵叫正常的，等于-1的叫非正常的）。
• 正交矩阵的逆矩阵仍是正交矩阵。
• 两个正交矩阵的乘积仍为正交矩阵。
• 实数域上方阵$\mathbf{A}$是正交矩阵的充分必要条件是：A的行（或列）向量组为标准正交向量组。

3.2 对称矩阵

1. 定义
        如果 $n$ 阶方阵 $\mathbf{A}$ 满足 ${\mathbf{A}}^T=\mathbf{A}$，则称 $\mathbf{A}$ 为对称矩阵，简称对称阵。
2. 性质

• 实对称矩阵的特征值都是实数。
• 实对称矩阵的不同特征值所对应的特征向量是正交的。

3.3 酉矩阵

1. 定义
        若 $n$ 阶复矩阵 $\mathbf{A}$ 满足 ${\mathbf{A}}^H\mathbf{A}=\mathbf{A}{\mathbf{A}}^H=\mathbf{I}$，则称 $\mathbf{A}$ 是酉矩阵。
2. 性质

• 酉矩阵的逆矩阵也是酉矩阵，两个有矩阵的乘积还是酉矩阵。

3.4 Hermite矩阵

1. 定义
        设 $\mathbf{A}\in {\mathbf{C}}^{n\times n}$，若${\mathbf{A}}^H=\mathbf{A}$，则称 $\mathbf{A}$ 为Hermite矩阵。若${\mathbf{A}}^H=-\mathbf{A}$，则称 $\mathbf{A}$ 为反Hermite矩阵。
2. 性质

• Hermite矩阵的特征值都是实数。
• Hermite矩阵的不同特征值所对应的特征向量是正交的。

3.5 正规矩阵

        设 $\mathbf{A}\in {\mathbf{C}}^{n\times n}$，若$\mathbf{A}{\mathbf{A}}^H={\mathbf{A}}^H\mathbf{A}$，则称 $\mathbf{A}$ 为正规矩阵。

3.6 幂等矩阵

        设 $\mathbf{A}\in {\mathbf{C}}^{n\times n}$，若${\mathbf{A}}^2=\mathbf{A}$，则称 $\mathbf{A}$ 为幂等矩阵。

3.7 奇异矩阵

        当 $|\mathbf{A}|=0$时，$\mathbf{A}$ 称为奇异矩阵，否则称非奇异矩阵。由上面两定理可知：$\mathbf{A}$ 是可逆矩阵的充分必要条件是 $|\mathbf{A}|\ne 0$，即可逆矩阵就是非奇异矩阵。

3.8 初等矩阵

        初等矩阵是指由单位矩阵经过一次初等变换得到的矩阵。初等变换有三种：（1）交换矩阵中某两行（列）的位置；（2）用一个非零常数 $k$ 乘以矩阵的某一行（列）；（3）将矩阵的某一行（列）乘以常数 $k$ 后加到另一行（列）上去。

3.9 正定矩阵

        正定矩阵是一种实对称矩阵。正定二次型 $f(x_1,x_2,\cdots ,x_n)={\mathbf{X}}^T\mathbf{AX}$ 的矩阵 $\mathbf{A}$ 称为正定矩阵。
（1）广义定义：设 $\mathbf{A}$ 是 $n$ 阶方阵，如果对任何非零向量 $\mathbf{z}$，都有 ${\mathbf{z}}^T\mathbf{Az}>0$，就称 $\mathbf{A}$ 为正定矩阵。
（2）狭义定义：一个 $n$ 阶的实对称矩阵 $\mathbf{A}$ 是正定的的条件是当且仅当对于所有的非零实系数向量 $\mathbf{z}$，都有 ${\mathbf{z}}^T\mathbf{Az}>0$。

4 矩阵的等价

        如果矩阵 $\mathbf{A}$ 经有限次初等变换变成矩阵 $\mathbf{B}$，就称矩阵 $\mathbf{A}$ 与 $\mathbf{B}$ 等价。等价描述的是一种关系，满足反身性对称性以及传递性。矩阵常见的等价关系有三个，相抵，相似以及合同。相抵是一种比较弱的等价关系；相似关系是比较强的等价关系；合同关系是另一种等价关系。

4.1 矩阵的相抵

1. 定义
        设 $\mathbf{A}$ 和 $\mathbf{B}$ 都是 $m\times n$ 阶矩阵，如果存在非奇异的 $m$ 阶方阵 $\mathbf{D}$ 和 $n$ 阶方阵 $\mathbf{C}$，使
$$\mathbf{B}=\mathbf{DAC}\text{\hspace{1em}(4-1)}$$
        成立，则称矩阵 $\mathbf{A}$ 和 $\mathbf{B}$ 是相抵的，记为$\mathbf{A}\simeq \mathbf{B}$。
        相抵关系在几何上的解释：在两个不同维的线性空间 $V^n$ 和 $V^m$ 中，同一个线性算子 $\mathcal{A}$ 在不同基所对应的矩阵 $\mathbf{A}$ 和 $\mathbf{B}$ 之间的关系。
2. 定理

• 定理一：相抵矩阵具有相同的秩。

4.2 矩阵的相似

1. 定义
        如果 $\mathbf{A}$ 与 $\mathbf{B}$是数域 $K$ 上的两个 $n$ 阶方阵，如果存在非奇异的 $n$ 阶方阵 $\mathbf{C}$，使得
$$\mathbf{B}={\mathbf{C}}^{-1}\mathbf{AC}\text{\hspace{1em}(4-2)}$$
        成立，则称矩阵 $\mathbf{A}$ 和 $\mathbf{B}$ 是相似的，记为$\mathbf{A}\sim \mathbf{B}$。
        几何解释：同一线性变换在不同基下的矩阵是相似的；反之。如果两个矩阵相似，它们可以看做是同一个线性变换在两个不同基下的矩阵。

2. 定理

• 定理一：相似矩阵具有反身性，对称性与传递性。
• 定理二：相似矩阵有相同的迹。
• 定理三：相似矩阵有相同的特征多项式，特征值，行列式、秩。
• 定理四：相似矩阵有相同的最小多项式。

4.3 矩阵的合同

1. 定义
        设 $\mathbf{A}$ 与 $\mathbf{B}$是两个 $n$ 阶方阵，如果存在非奇异的 $n$ 阶方阵 $\mathbf{C}$，使得
$$\mathbf{B}={\mathbf{C}}^T\mathbf{AC}\text{\hspace{1em}(4-3)}$$
        成立，则称矩阵 $\mathbf{A}$ 和 $\mathbf{B}$ 是相合（或合同）的。

2. 定理

• 定理一：合同矩阵具有反身性，对称性与传递性。
• 定理二：合同矩阵有相同的秩、正负惯性指数。
• 定理三：与对称矩阵合同的矩阵是对称矩阵.
• 定理四：数域 $K$ 上任一对称矩阵都合同于一个对角矩阵。

小结：
        总之，相抵、相似、合同反映了两矩阵之间的三种内在联系，这三种关系是既有区别又有联系的，相似与合同只不过是相抵的特殊情况，而且相似与合同只有在 ${\mathbf{C}}^T={\mathbf{C}}^{-1}$ 时（即$\mathbf{C}$为正交阵）才一致。

• $\mathbf{A}$ 与 $\mathbf{B}$ 相抵 $⟺\mathbf{PAQ}=\mathbf{B}(\mathbf{P},\mathbf{Q}可逆)$：

$⟺\mathbf{A}$ 可经由初等变换化为 $\mathbf{B}$

$⟺\mathbf{A}与\mathbf{B}$ 同型且同秩

$⟺\mathbf{A}与\mathbf{B}$ 有相同的相抵标准形

• $\mathbf{A}$ 与 $\mathbf{B}$ 相似 $⟺{\mathbf{P}}^{-1}\mathbf{AP}=\mathbf{B}(\mathbf{P}可逆)$：

$⟺\mathbf{A}与\mathbf{B}$有相同的秩、特征多项式、特征值、行列式

$⟺\mathbf{B}$ 矩阵可对角化

• $\mathbf{A}$ 与 $\mathbf{B}$ 合同 $⟺{\mathbf{P}}^T\mathbf{AP}=\mathbf{B}(\mathbf{P}可逆)$：
  $⟺\mathbf{A}与\mathbf{B}$有相同的秩、正负惯性指数

参考

• 矩阵的合同、矩阵合同的性质、合同的应用、线性替换的矩阵上表示：https://blog.csdn.net/qq_43940950/article/details/117337790
• 对称矩阵、Hermite矩阵、正交矩阵、酉矩阵、奇异矩阵、正规矩阵、幂等矩阵、合同矩阵、正定矩阵：https://www.cnblogs.com/yuluoxingkong/p/8534563.html
• 线性变换及其矩阵：https://web.xidian.edu.cn/qlhuang/files/20150705_224234.pdf