【回归分析】2. 随机向量(2)

2.4 正态随机向量的二次型

定理 2.4.1：正态随机向量的二次型的方差：

(1) 设 $X\sim N_n(\mu ,\Sigma )$ ，$A$ 为 $n\times n$ 的实对称矩阵，则
$$\mathrm{V}\mathrm{a}\mathrm{r}\left(X^{\prime }AX\right)=2\mathrm{t}\mathrm{r}(A\Sigma {)}^2+4{\mu }^{\prime }A\Sigma A\mu .$$
(2) 设 $X\sim N_n\left(\mu ,{\sigma }^2{I}_n\right)$ ，$A$ 为 $n\times n$ 的实对称矩阵，则
$$\mathrm{V}\mathrm{a}\mathrm{r}\left(X^{\prime }AX\right)=2{\sigma }^4\mathrm{t}\mathrm{r}\left(A^2\right)+4{\sigma }^2{\mu }^{\prime }{A}^2\mu .$$

(1) 设 $Y={\Sigma }^{-1/2}X$ ，则 $Y\sim N\left({\Sigma }^{-1/2}\mu ,I_n\right)$ ，所以 $Y$ 的各个分量相互独立，且有
$$\mathrm{V}\mathrm{a}\mathrm{r}\left(X^{\prime }AX\right)=\mathrm{V}\mathrm{a}\mathrm{r}\left(Y^{\prime }{\Sigma }^{1/2}A{\Sigma }^{1/2}Y\right).$$
把问题转化为求 $Y$ 的二次型的方差，注意到
$$m_3=\mathrm{E}{\left[Y_i-\mathrm{E}(Y_i)\right]}^3=0,m_4=\mathrm{E}{\left[Y_i-\mathrm{E}(Y_i)\right]}^4=3.$$
由定理 2.2.2 可知
$$\begin{array}{rl}\mathrm{V}\mathrm{a}\mathrm{r}\left(Y^{\prime }{\Sigma }^{1/2}A{\Sigma }^{1/2}Y\right)& =2\mathrm{t}\mathrm{r}{\left(A\Sigma \right)}^2+4{\left({\Sigma }^{-1/2}\mu \right)}^{\prime }{\left({\Sigma }^{1/2}A{\Sigma }^{1/2}\right)}^2\left({\Sigma }^{-1/2}\mu \right)\\ & \\ & =2\mathrm{t}\mathrm{r}{\left(A\Sigma \right)}^2+4{\mu }^{\prime }{\Sigma }^{-1/2}{\Sigma }^{1/2}A\Sigma A{\Sigma }^{1/2}{\Sigma }^{-1/2}\mu \\ & \\ & =2\mathrm{t}\mathrm{r}{\left(A\Sigma \right)}^2+4{\mu }^{\prime }A\Sigma A\mu .\end{array}$$
(2) 把 $\Sigma ={\sigma }^2{I}_n$ 代入 (1) 中结果，即可得证。

设 $X\sim N_n(\mu ,I_n)$ ，称随机变量 $Y=X^{\prime }X$ 的分布为自由度为 $n$ ，非中心参数为 $\lambda ={\mu }^{\prime }\mu$ 的非中心 ${\chi }^2$ 分布，记为 $Y\sim {\chi }^2(n,\lambda )$ 。当 $\lambda =0$ 时，称 $Y$ 的分布为中心 ${\chi }^2$ 分布，记为 $Y\sim {\chi }^2(n)$ 。

定理 2.4.2：${\chi }^2$ 分布的性质：

(1) 可加性：设 $Y_i\sim {\chi }^2(n_i,{\lambda }_i),i=1,2,\cdots ,k$ 且相互独立，则
$$Y_1+Y_2+\cdots +Y_k\sim {\chi }^2(n,\lambda ),n=\sum _{i=1}^k{n}_i,\lambda =\sum _{i=1}^k{\lambda }_i.$$
(2) 数字特征：设 $Y\sim {\chi }^2(n,\lambda )$ ，则 $\mathrm{E}(Y)=n+\lambda ,\mathrm{V}\mathrm{a}\mathrm{r}(Y)=2n+4\lambda$ 。

(1) 非中心 ${\chi }^2$ 分布的特征函数为
$$\Phi (t)=(1-2it{)}^{-n/2}\exp \left\{\frac{it\lambda }{1-2it}\right\}.$$
设 $Y=Y_1+Y_2+\cdots +Y_k$ ，其特征函数为 $\Phi (t)$ ，设 $Y_i$ 的特征函数为 ${\Phi }_i(t)$ ，利用 $Y_i$ 的独立性可知
$$\begin{array}{rl}\Phi (t)& ={\Phi }_1(t){\Phi }_2(t)\cdots {\Phi }_k(t)\\ & \\ & =\prod _{i=1}^k(1-2it{)}^{-n_i/2}\exp \left\{\frac{it{\lambda }_i}{1-2it}\right\}\\ & \\ & =(1-2it{)}^{-(n_1+n_2+\cdots +n_k)/2}\exp \left\{\frac{it({\lambda }_1+{\lambda }_2+\cdots +{\lambda }_k)}{1-2it}\right\}\\ & \\ & =(1-2it{)}^{-n/2}\exp \left\{\frac{it\lambda }{1-2it}\right\}.\end{array}$$
(2) 根据非中心 ${\chi }^2$ 分布的定义，
$$Y\stackrel{d}{=}{X}_1^2+X_2^2+\cdots +X_{n-1}^2+X_n^2,$$
其中 $X_i\sim N(0,1),i=1,2,\cdots ,n-1,X_n\sim N\left(\sqrt{\lambda },1\right)$ ，且相互独立，于是有
$$\mathrm{E}(Y)=\sum _{i=1}^n\mathrm{E}\left(X_i^2\right),\mathrm{V}\mathrm{a}\mathrm{r}(Y)=\sum _{i=1}^n\mathrm{V}\mathrm{a}\mathrm{r}\left(X_i^2\right).$$
又因为

$$\mathrm{E}\left(X_i^2\right)=\mathrm{V}\mathrm{a}\mathrm{r}\left(X_i\right)+{\left[\mathrm{E}\left(X_i\right)\right]}^2=\{\begin{array}{ll}1,& i=1,2,\cdots ,n-1,\\ 1+\lambda ,& i=n,\end{array}$$

所以 $\mathrm{E}(Y)=n+\lambda$ 。

此外，利用正态分布的概率密度函数，经积分计算可得
$$\mathrm{E}\left(X_i^4\right)=\{\begin{array}{ll}3,& i=1,2,\cdots ,n-1,\\ {\lambda }^2+6\lambda +3,& i=n,\end{array}$$

于是有
$$\mathrm{V}\mathrm{a}\mathrm{r}\left(X_i^2\right)=\mathrm{E}\left(X_i^4\right)-{\left[\mathrm{E}\left(X_i^2\right)\right]}^2=\{\begin{array}{ll}2,& i=1,2,\cdots ,n-1,\\ 4\lambda +2,& i=n,\end{array}$$
所以 $\mathrm{V}\mathrm{a}\mathrm{r}(Y)=2n+4\lambda$ 。

推论 2.4.1：设 $X\sim N_n(0,\Sigma )$ ，$\Sigma$ 为正定矩阵，则 $X^{\prime }{\Sigma }^{-1}X\sim {\chi }^2(n)$ 。

证明：记 $Y={\Sigma }^{-1/2}X$ ，则可知 $Y\sim N_n\left(0,I_n\right)$ ，又因为
$$X^{\prime }{\Sigma }^{-1}X={\left({\Sigma }^{-1/2}X\right)}^{\prime }{\Sigma }^{-1/2}X=Y^{\prime }Y,$$
所以 $X^{\prime }{\Sigma }^{-1}X\sim {\chi }^2(n)$ 。

推论 2.4.2：设 $X\sim {\chi }^2(n)$ ，则 $\mathrm{E}(X)=n,\mathrm{V}\mathrm{a}\mathrm{r}(X)=2n$ 。

推论 2.4.3：设 $X_1,X_2,\cdots ,X_k$ 相互独立，且 $X_i\sim {\chi }^2\left(n_i\right),i=1,2,\cdots ,k$ ，则
$$X_1+X_2+\cdots +X_k\sim {\chi }^2(n_1+n_2+\cdots +n_k).$$
定理 2.4.3：设 $A$ 为 $n\times n$ 实对称矩阵，$X\sim N_n\left(\mu ,I_n\right)$ ，则 $X^{\prime }AX\sim {\chi }^2\left(r,{\mu }^{\prime }A\mu \right)$ 当且仅当 $A$ 是幂等矩阵且 $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)=r$ 。

这里我们只证明充分性。设 $A$ 是对称幂等矩阵且 KaTeX parse error: Undefined control sequence: \rank at position 2: {\̲r̲a̲n̲k̲}(A)=r 。

易证对称幂等矩阵的特征根只能为 $0$ 或 $1$ ，于是存在正交矩阵 $Q$ 使得
$$A=Q\left(\begin{array}{cc}{I}_r& 0\\ 0& 0\end{array}\right)Q^{\prime }.$$
令 $Y=Q^{\prime }X$ ，则 $Y\sim N_n\left(Q^{\prime }\mu ,I_n\right)$ 。对 $Y$ 和 $Q^{\prime }$ 做分块
$$Y=\left(\begin{array}{c}{Y}_1\\ Y_2\end{array}\right),Q^{\prime }=\left(\begin{array}{c}{Q}_1\\ Q_2\end{array}\right),$$
其中 $Y_1$ 是 $r\times 1$ 向量，$Q_1$ 是 $r\times n$ 矩阵，于是 $A=Q_1^{\prime }{Q}_1,Y_1\sim N_r\left(Q_1\mu ,I_r\right)$ ，所以有
$$X^{\prime }AX=X^{\prime }Q\left(\begin{array}{cc}{I}_r& O\\ O& O\end{array}\right)Q^{\prime }X=Y’\left(\begin{array}{cc}{I}_r& O\\ O& O\end{array}\right)Y=Y_1^{\prime }{Y}_1\sim {\chi }^2(r,\lambda ),$$
其中 $\lambda ={\left(Q_1\mu \right)}^{\prime }(Q_1\mu )={\mu }^{\prime }{Q}_1^{\prime }{Q}_1\mu ={\mu }^{\prime }A\mu$ 。

推论 2.4.4：设 $A$ 为 $n\times n$ 实对称矩阵，$X\sim N(\mu ,I_n)$ ，则 $X^{\prime }AX\sim {\chi }^2(k)$ 当且仅当 $A$ 是幂等矩阵且 $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)=k,A\mu =0$ 。

推论 2.4.5：设 $A$ 为 $n\times n$ 实对称矩阵，$X\sim N(0,I_n)$ ，则 $X^{\prime }AX\sim {\chi }^2(k)$ 当且仅当 $A$ 是幂等矩阵且 $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)=k$ 。

推论 2.4.6：设 $A$ 为 $n\times n$ 实对称矩阵，$X\sim N(\mu ,\Sigma ),\Sigma >0$ ，则 $X^{\prime }AX\sim {\chi }^2\left(r,{\mu }^{\prime }A\mu \right)$ 当且仅当 $A\Sigma A=A$ 且 $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)=k$ 。

定理 2.4.3 及其推论把判定正态随机向量的二次型是否服从 ${\chi }^2$ 分布的问题，等价转化为研究相应的二次型矩阵的问题，而后者往往容易处理。

定理 2.4.4：设 $A$ 为 $n\times n$ 实对称矩阵，$X\sim N_n(\mu ,I_n)$ ，已知
$$X^{\prime }AX=X^{\prime }{A}_{1}X+X^{\prime }{A}_{2}X\sim {\chi }^2(r,\lambda ),X^{\prime }{A}_{1}X\sim {\chi }^2(s,{\lambda }_1),$$
其中 $A_2=A-A_1\ge 0,\lambda ={\mu }^{\prime }A\mu ,{\lambda }_1={\mu }^{\prime }{A}_1\mu$ ，则有

(1) $X^{\prime }{A}_{2}X\sim {\chi }^2(r-s,{\lambda }_2)$ ，其中 ${\lambda }_2={\mu }^{\prime }{A}_2\mu$ ；

(2) $X^{\prime }{A}_{1}X$ 与 $X^{\prime }{A}_{2}X$ 相互独立；

(3) $A_1{A}_2=O$ 。

因为 $X^{\prime }AX\sim {\chi }^2(r,\lambda )$ ，故由定理 2.4.3 知 $A$ 是幂等矩阵且 $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)=r$ 。于是，存在 $n\times n$ 的正交矩阵 $P$ 使得
$$P^{\prime }AP=\left(\begin{array}{cc}{I}_r& O\\ O& O\end{array}\right).$$

因为 $A_1$ 是对称幂等矩阵，所以是非负定矩阵，所以有 $A-A_1\ge 0,A-A_2\ge 0$ ，所以
$$P^{\prime }(A-A_1)P\ge 0,P^{\prime }(A-A_2)P\ge 0.$$
由 $P^{\prime }AP$ 的矩阵形式可知，存在 $r\times r$ 的对称矩阵 $B_1$ 和 $B_2$ ，使得
$$P^{\prime }{A}_{1}P=\left(\begin{array}{cc}{B}_1& O\\ O& O\end{array}\right),P^{\prime }{A}_{2}P=\left(\begin{array}{cc}{B}_2& O\\ O& O\end{array}\right).$$
由于 $A_1^2=A_1$ ，因此有 $B_1^2=B_1$ 。故存在 $r\times r$ 的正交矩阵 $Q$ 使得
$$Q^{\prime }{B}_{1}Q=\left(\begin{array}{cc}{I}_s& O\\ O& O\end{array}\right),s\le r.$$
记
$$S^{\prime }=\left(\begin{array}{cc}{Q}^{\prime }& O\\ O& I_{n-r}\end{array}\right)P^{\prime },$$
则
$$S^{\prime }S=\left(\begin{array}{cc}{Q}^{\prime }& O\\ O& I_{n-r}\end{array}\right)P^{\prime }P\left(\begin{array}{cc}Q& O\\ O& I_{n-r}\end{array}\right)=\left(\begin{array}{cc}{Q}^{\prime }& O\\ O& I_{n-r}\end{array}\right)\left(\begin{array}{cc}Q& O\\ O& I_{n-r}\end{array}\right)=I_n.$$
即 $S^{\prime }$ 为正交矩阵，且使
$$S^{\prime }AS=S^{\prime }{A}_{1}S+S^{\prime }{A}_{2}S,$$
形如
$$\left(\begin{array}{ccc}{I}_s& O& O\\ O& I_{r-s}& O\\ O& O& O\end{array}\right)=\left(\begin{array}{ccc}{I}_s& O& O\\ O& O& O\\ O& O& O\end{array}\right)+\left(\begin{array}{ccc}O& O& O\\ O& I_{r-s}& O\\ O& O& O\end{array}\right).$$
作变换 $Y=S^{\prime }X$ ，则 $Y\sim N_n\left(S^{\prime }\mu ,I_n\right)$ ，于是
$$\begin{array}{rl}& X^{\prime }AX=Y^{\prime }{S}^{\prime }ASY=\sum _{i=1}^r{Y}_i^2,\\ & \\ & X^{\prime }{A}_{1}X=Y^{\prime }{S}^{\prime }{A}_{1}SY=\sum _{i=1}^s{Y}_i^2,\\ & \\ & X^{\prime }{A}_{2}X=Y^{\prime }{S}^{\prime }{A}_{2}SY=\sum _{i=s+1}^s{Y}_i^2.\end{array}$$
因为 $Y_1,Y_2,\cdots ,Y_n$ 相互独立，所以 $X^{\prime }{A}_{1}X$ 和 $X^{\prime }{A}_{2}X$ 相互独立。因为 $S^{\prime }{A}_{2}S$ 是对称幂等矩阵，秩为 $r-s$ ，所以
$$X^{\prime }{A}_{2}X=Y^{\prime }{S}^{\prime }{A}_{2}SY\sim {\chi }^2(r-s,{\lambda }_2),{\lambda }_2={\mu }^{\prime }{A}_2\mu .$$
最后有
$$A_1{A}_2=S\left(\begin{array}{ccc}{I}_s& O& O\\ O& O& O\\ O& O& O\end{array}\right)S^{\prime }S\left(\begin{array}{ccc}O& O& O\\ O& I_{r-s}& O\\ O& O& O\end{array}\right)S^{\prime }=O.$$

推论 2.4.7：设 $X\sim N_n(\mu ,I_n)$ ，$A_1$ 和 $A_2$ 为 $n\times n$ 实对称矩阵，$X^{\prime }{A}_{1}X$ 和 $X^{\prime }{A}_{2}X$ 都服从 ${\chi }^2$ 分布，则 $X^{\prime }{A}_{1}X$ 和 $X^{\prime }{A}_{2}X$ 相互独立当且仅当 $A_1{A}_2=O$ 。

首先证明充分性。设 $A_1{A}_2=O$ ，于是 $A_2{A}_1=(A_1{A}_2{)}^{\prime }=O$ ，令 $A=A_1+A_2$ 。

由 $X^{\prime }{A}_{1}X$ 和 $X^{\prime }{A}_{2}X$ 都服从 ${\chi }^2$ 分布知 $A_1$ 和 $A_2$ 都是幂等矩阵，从而有
$$A^2=(A_1+A_2{)}^2=A_1^2+A_2^2+A_1{A}_2+A_2{A}_1=A_1+A_2=A.$$
所以 $A$ 是对称幂等矩阵。由定理 2.4.4 (2) 可知 $X^{\prime }{A}_{1}X$ 和 $X^{\prime }{A}_{2}X$ 相互独立。

然后证明必要性。设 $X^{\prime }{A}_{1}X$ 和 $X^{\prime }{A}_{2}X$ 相互独立。由 ${\chi }^2$ 分布的可加性知 $X^{\prime }AX$ 服从 ${\chi }^2$ 分布。

由定理 2.4.4 (3) 可知 $A_1{A}_2=O$ 。

我们可以将上述两个结论中的协方差阵 $\mathrm{C}\mathrm{o}\mathrm{v}(X)=I_n$ ，推广到 $\mathrm{C}\mathrm{o}\mathrm{v}(X)=\Sigma >0$ 的情形，即可得到如下两个推论。

推论 2.4.8：设 $A$ 为 $n\times n$ 实对称矩阵，$X\sim N_n(\mu ,\Sigma ),\Sigma >0$ ，已知
$$X^{\prime }AX=X^{\prime }{A}_{1}X+X^{\prime }{A}_{2}X\sim {\chi }^2(r,\lambda ),X^{\prime }{A}_{1}X\sim {\chi }^2(s,{\lambda }_1),$$
其中 $A_2=A-A_1\ge 0,\lambda ={\mu }^{\prime }A\mu ,{\lambda }_1={\mu }^{\prime }{A}_1\mu$ ，则有

(1) $X^{\prime }{A}_{2}X\sim {\chi }^2(r-s,{\lambda }_2)$ ，其中 ${\lambda }_2={\mu }^{\prime }{A}_2\mu$ ；

(2) $X^{\prime }{A}_{1}X$ 与 $X^{\prime }{A}_{2}X$ 相互独立；

(3) $A_1\Sigma A_2=O$ 。

推论 2.4.9：设 $X\sim N_n(\mu ,\Sigma ),\Sigma >0$ ，$A_1$ 和 $A_2$ 为 $n\times n$ 实对称矩阵，$X^{\prime }{A}_{1}X$ 和 $X^{\prime }{A}_{2}X$ 都服从 ${\chi }^2$ 分布，则 $X^{\prime }{A}_{1}X$ 和 $X^{\prime }{A}_{2}X$ 相互独立当且仅当 $A_1\Sigma A_2=O$ 。

接下来讨论二次型 $X^{\prime }AX$ 和线性型 $CX$ 的独立性条件，这些结果将主要应用于在线性模型的参数估计和假设检验中。

定理 2.4.5：设 $X\sim N_n(\mu ,I_n)$ ，$A$ 为 $n\times n$ 实对称矩阵，$C$ 为 $m\times n$ 实矩阵，若 $CA=O$ ，则 $CX$ 与 $X^{\prime }AX$ 相互独立。

因为 $A$ 为实对称矩阵，所以存在正交阵 $Q$ 使得
$$A=Q\left(\begin{array}{cc}\Lambda & O\\ O& O\end{array}\right)Q^{\prime },$$
其中 $\Lambda =\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_r)$ 为 $A$ 的非零特征根，$\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)=r$ 。

把 $Q$ 分块成 $Q=(Q_1{Q}_2)$ ，其中 $Q_1$ 是 $n\times r$ 矩阵。作正交变换
$$Y=\left(\begin{array}{c}{Y}_1\\ Y_2\end{array}\right)=Q^{\prime }X.$$
于是 $Y_1=Q_1^{\prime }X,Y_2=Q_2^{\prime }X$ ，且有 $Y\sim N_n\left(Q^{\prime }\mu ,I_n\right)$ ，所以
$$Y_1\sim N_r\left(Q_1^{\prime }\mu ,I_r\right),Y_2\sim N_{n-r}\left(Q_2^{\prime }\mu ,I_{n-r}\right),$$
且 $Y_1$ 与 $Y_2$ 相互独立。注意到
$$\begin{array}{rl}& X^{\prime }AX=Y^{\prime }{Q}^{\prime }AQY=Y_1^{\prime }\Lambda Y_1,\\ & \\ & CX=CQY\stackrel{def}{=}DY,D=CQ,\end{array}$$
由于 $CA=O$ ，所以
$$O=CAQ=CQ{Q}^{\prime }AQ=D{Q}^{\prime }AQ=D\left(\begin{array}{cc}\Lambda & O\\ O& O\end{array}\right).$$
把 $D$ 分块成 $D=(D_1{D}_2)$ ，其中 $D_1$ 是 $m\times r$ 矩阵，则上式可以推出 $D_1=O$ ，从而代回得到
$$CX=DY=D_2{Y}_2.$$
再由 $Y_1$ 和 $Y_2$ 的独立性可知，$Y_1^{\prime }\Lambda Y_1$ 和 $D{Y}_2$ 相互独立，从而 $CX$ 和 $X^{\prime }AX$ 相互独立。

将上述结论中的协方差阵 $\mathrm{C}\mathrm{o}\mathrm{v}(X)=I_n$ 推广到 $\mathrm{C}\mathrm{o}\mathrm{v}(X)=\Sigma >0$ 的情形，有如下推论。

推论 2.4.10：设 $X\sim N_n(\mu ,\Sigma ),\Sigma >0$ ，$A$ 为 $n\times n$ 实对称矩阵，$C$ 为 $m\times n$ 实矩阵，若 $C\Sigma A=O$ ，则 $CX$ 与 $X^{\prime }AX$ 相互独立。

接下来讨论两个二次型 $X^{\prime }AX$ 和 $X^{\prime }BX$ 的独立性条件。

定理 2.4.6：设 $X\sim N_n(\mu ,I_n)$ ，$A$ 和 $B$ 均为 $n\times n$ 实对称矩阵，若 $AB=O$ ，则 $X^{\prime }AX$ 与 $X^{\prime }BX$ 相互独立。

由 $A$ 和 $B$ 的对称性及 $AB=O$ 可知 $AB=BA=O$ ，即 $AB$ 可交换。所以可用同一正交矩阵将这两个矩阵对角化，即存在正交矩阵 $Q$ 使得
$$\begin{array}{rl}& Q^{\prime }AQ={\Lambda }_1=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left({\lambda }_1^{(1)},{\lambda }_2^{(1)},\cdots ,{\lambda }_n^{(1)}\right),\\ & \\ & Q^{\prime }BQ={\Lambda }_2=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left({\lambda }_1^{(2)},{\lambda }_2^{(2)},\cdots ,{\lambda }_n^{(2)}\right).\end{array}$$
由 $AB=O$ ，可推得 ${\Lambda }_1{\Lambda }_2=O$ ，即 ${\lambda }_i^{(1)}$ 和 ${\lambda }_i^{(2)}$ 至少有一个为 $0$ ，$i=1,2,\cdots ,n$ 。

令 $Y=Q^{\prime }X$ ，则 $Y\sim N_n\left(Q^{\prime }\mu ,I_n\right)$ ，于是 $Y$ 的所有分量相互独立。另一方面，由于
$$\begin{array}{r}{X}^{\prime }AX=Y^{\prime }{Q}^{\prime }AQY=Y^{\prime }{\Lambda }_{1}Y,\\ \\ X^{\prime }BX=Y^{\prime }{Q}^{\prime }BQY=Y^{\prime }{\Lambda }_{2}Y,\end{array}$$
所以可知 $X^{\prime }AX$ 与 $X^{\prime }BX$ 依赖于 $Y$ 的不同分量，所以 $X^{\prime }AX$ 与 $X^{\prime }BX$ 相互独立。

同样的，该定理可以推广到 $\mathrm{C}\mathrm{o}\mathrm{v}(X)=\Sigma >0$ 的情形。

推论 2.4.11：设 $X\sim N_n(\mu ,\Sigma ),\Sigma >0$ ，$A$ 和 $B$ 均为 $n\times n$ 实对称矩阵，若 $A\Sigma B=O$ ，则 $X^{\prime }AX$ 与 $X^{\prime }BX$ 相互独立。

2.5 矩阵微商

设 $X=(x_{ij})$ 是 $m\times n$ 矩阵，$y=f(X)$ 为 $X$ 的一个实值函数，定义矩阵
$$\frac{\partial y}{\partial X}\stackrel{def}{=}{\left(\begin{array}{cccc}\frac{\partial y}{\partial x_{11}}& \frac{\partial y}{\partial x_{12}}& \cdots & \frac{\partial y}{\partial x_{1n}}\\ \frac{\partial y}{\partial x_{21}}& \frac{\partial y}{\partial x_{22}}& \cdots & \frac{\partial y}{\partial x_{2n}}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial y}{\partial x_{m1}}& \frac{\partial y}{\partial x_{m2}}& \cdots & \frac{\partial y}{\partial x_{mn}}\end{array}\right)}_{m\times n},$$
称为 $y$ 对 $X$ 的微商。

定理 2.5.1：设 $a$ 和 $x$ 均为 $n$ 维向量，$y=a^{\prime }x$ ，则有 $\frac{\partial y}{\partial x}=a$ 。

因为
$$y=a^{\prime }x=\sum _{i=1}^n{a}_i{x}_i,$$
所以
$$\frac{\partial y}{\partial x}=\left(\begin{array}{c}\frac{\partial y}{\partial x_1}\\ \frac{\partial y}{\partial x_2}\\ ⋮\\ \frac{\partial y}{\partial x_n}\end{array}\right)=\left(\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_n\end{array}\right)=a.$$
此外可知
$$\frac{\partial x^{\prime }a}{\partial x}=\frac{\partial y}{\partial x}=\frac{\partial a^{\prime }x}{\partial x}=a.$$

定理 2.5.2：设 $A$ 为 $m\times n$ 矩阵，$x$ 为 $n$ 维向量，$y=x^{\prime }Ax$ ，则有 $\frac{\partial y}{\partial x}=Ax+A^{\prime }x$ 。

因为
$$y=x^{\prime }Ax=\sum _{i=1}^n\sum _{j=1}^n{a}_{ij}{x}_i{x}_j,$$
所以
$$\begin{array}{rl}\frac{\partial y}{\partial x_1}& =\sum _{i=1}^n{a}_{i1}{x}_i+\sum _{j=1}^n{a}_{1j}{x}_j,\\ & \\ \frac{\partial y}{\partial x_2}& =\sum _{i=1}^n{a}_{i2}{x}_i+\sum _{j=1}^n{a}_{2j}{x}_j,\\ & \\ & ⋮\\ & \\ \frac{\partial y}{\partial x_n}& =\sum _{i=1}^n{a}_{in}{x}_i+\sum _{j=1}^n{a}_{nj}{x}_j.\end{array}$$
因此可以看出
$$\frac{\partial y}{\partial x}=\left(\begin{array}{c}\frac{\partial y}{\partial x_1}\\ \frac{\partial y}{\partial x_2}\\ ⋮\\ \frac{\partial y}{\partial x_n}\end{array}\right)=\left(\begin{array}{c}\sum _{i=1}^n{a}_{i1}{x}_i+\sum _{j=1}^n{a}_{1j}{x}_j\\ \sum _{i=1}^n{a}_{i2}{x}_i+\sum _{j=1}^n{a}_{2j}{x}_j\\ ⋮\\ \sum _{i=1}^n{a}_{in}{x}_i+\sum _{j=1}^n{a}_{nj}{x}_j\end{array}\right)=Ax+A^{\prime }x.$$
此外，若 $A$ 为 $n\times n$ 对称矩阵，则
$$\frac{\partial x^{\prime }Ax}{\partial x}=2Ax.$$