实高斯随机向量与复高斯随机向量

本文内容主要来自David Tse etc., Fundamentals of Wireless Communication，Cambridge University Press, 2004中的附录A。

文章目录

1、实高斯随机向量

若w 1 , w 2 , … , w n w_1,w_2,\ldots,w_nw1​,w2​,…,wn​为i.i.d.标准高斯分布随机变量，则标准高斯分布向量w = [ w 1 , w 2 , … , w n ] T {\bf w}=[w_1,w_2,\ldots,w_n]^{\rm T}w=[w1​,w2​,…,wn​]T的概率密度函数为
p ( w ) = 1 ( 2 π ) n exp ⁡ ( − ∣ ∣ w ∣ ∣ 2 2 ) , w ∈ R n . p({\bf w})=\frac{1}{(\sqrt{2\pi})^n}\exp(-\frac{||{\bf w}||^2}{2}),\qquad {\bf w}\in {\mathbb R}^n.p(w)=(2π​)n1​exp(−2∣∣w∣∣2​),w∈Rn.这里∣ ∣ w ∣ ∣ = ∑ i = 1 n w i 2 ||{\bf w}||=\sqrt{\sum_{i=1}^{n}w_i^2}∣∣w∣∣=∑i=1n​wi2​​表示从原点到w : = [ w 1 , w 2 , … , w n ] T {\bf w}:=[w_1,w_2,\ldots,w_n]^{\rm T}w:=[w1​,w2​,…,wn​]T的距离。不难发现，这里的概率密度函数只与幅度有关。
进一步，由于正交变换O {\bf O}O【即O O T = O T O = I {\bf O}{\bf O}^{\rm T}={\bf O}^{\rm T}{\bf O}={\bf I}OOT=OTO=I】不改变信号幅度，可得如下结论

如果w \bf ww为标准高斯随机向量，则O W \bf OWOW也为标准高斯分布随机变量。

上述结果表明w \bf ww在任何正态基上都具有相同分布。从几何上看，w \bf ww的分布不随旋转和反射改变，因此w \bf ww不偏好任何特定方向。此外，由于矩阵O \bf OO的行是标准正交的，标准高斯随机向量在正交方向上的投影是独立的。∣ ∣ w ∣ ∣ 2 ||{\bf w}||^2∣∣w∣∣2等于n nn个i.i.d.零均值高斯随机变量的平方和，称为具有n nn个自由度的卡方分布，用χ n 2 \chi_{n}^2χn2​表示。

高斯分布随机向量可以看作标准高斯分布随机向量的线性变换，加上常数向量，即
x = A w + μ . \bf x=Aw+\bm \mu.x=Aw+μ.几个性质如下：
1）对于任意的c ∈ R n {\bf c}\in {\mathbb R}^nc∈Rn，都有随机变量
c T x ∼ N ( c T μ , c T A A T c ) . {\bf c}^{\rm T}{\bf x}\sim {\mathcal N}({\bf c}^{\rm T}{\bm \mu},{\bf c}^{\rm T}{\bf A}{\bf A}^{\rm T}{\bf c}).cTx∼N(cTμ,cTAATc).因此，高斯随机向量（x {\bf x}x）中元素的任意线性组合都为高斯随机变量（c T x {\bf c}^{\rm T}{\bf x}cTx）。更一般来说，高斯随机向量的任意线性组合也是高斯的。
2) 如果A \bf AA可逆，则对于x = A w + μ {\bf x}={\bf Aw+\bm \mu}x=Aw+μ，其中w ∼ N ( 0 , 1 ) {\bf w}\sim \mathcal{N}({\bf 0},{\bf 1})w∼N(0,1)，有PDF为
p ( x ) = 1 ( 2 π ) n det ⁡ ( A A T ) exp ⁡ ( − 1 2 ( x − μ ) T ( A A T ) − 1 ( x − μ ) ) , x ∈ R n . p({\bf x})=\frac{1}{(\sqrt{2\pi})^n\sqrt{\det({\bf AA}^{\rm T})}}\exp {\large(} -\frac{1}{2}({\bf x}-{\bm \mu})^{\rm T}({\bf AA}^{\rm T})^{-1}({\bf x}-{\bm \mu}){\large)},\quad {\bf x}\in \mathbb{R}^n.p(x)=(2π​)ndet(AAT)​1​exp(−21​(x−μ)T(AAT)−1(x−μ)),x∈Rn.这里的A A T {\bf AA}^{\rm T}AAT为x \bf xx的协方差矩阵：
K : = E [ ( x − μ ) ( x − μ ) T ] = A A T {\bf K}:=\mathbb{E}{\large [} ({\bf x}-{\bm \mu}) ({\bf x}-{\bm \mu})^{\rm T} {\large ]}={\bf AA}^{\rm T}K:=E[(x−μ)(x−μ)T]=AAT对于可逆矩阵A \bf AA，高斯随机向量可以完全由其均值向量μ \bm \muμ和协方差矩阵K = A A T {\bf K}={\bf AA}^{\rm T}K=AAT来刻画，这里的K \bf KK为对称且非负定矩阵。我们再来看几个推导：

  • 由于O w \bf OwOw与w \bf ww同分布，因此A O w A\bf OwAOw与A w \bf AwAw同分布。
  • 如果K \bf KK为对角阵，则高斯随机向量中的元素统计独立（不相关）。这样的随机向量也称为白高斯随机向量。当协方差矩阵K \bf KK为单位阵时，则该高斯随机向量为标准高斯随机向量。
  • 现在考虑A \bf AA不可逆的情况。此时，A w \bf AwAw将标准高斯随机向量w \bf ww映射到维度小于n nn的子空间上。这意味着A w \bf AwAw中的一些成分可以表示为其它部分的线性组合。这样我们可以只关注A w \bf AwAw中线性独立的元素，将其表示为具有更低维度的向量x ~ \bf \tilde{x}x~，同时将A w \bf AwAw中的其它元素表示为x ~ \bf \tilde{x}x~的线性组合。这样，我们可以使得协方差矩阵K \bf KK可逆。

通常来说，高斯随机向量可以由其均值向量μ \bm \muμ和协方差矩阵K \bf KK来完全刻画，我们表示为x ∼ N ( μ , K ) {\bf x}\sim \mathcal{N}({\bm \mu}, {\bf K})x∼N(μ,K)。

2、复高斯随机向量

下面我们来考虑复随机向量x = x R + x I {\bf x}={\bf x}_R+{\bf x}_Ix=xR​+xI​。如果向量[ x R , x I ] T [{\bf x}_R,{\bf x}_I]^{\rm T}[xR​,xI​]T为实高斯随机向量，则x {\bf x}x为复高斯向量。分布完全由实向量[ x R , x I ] T [{\bf x}_R, {\bf x}_I]^{\rm T}[xR​,xI​]T的均值和协方差矩阵来决定。可以证明，同样的信息包含在x \bf xx的均值向量μ \bm \muμ、协方差矩阵K \bf KK以及伪协方差矩阵J \bf JJ中，即
μ : = E [ x ] \bm \mu:={\mathbb E}[\bf x]μ:=E[x]K : = E [ ( x − μ ) ( x − μ ) ∗ ] {\bf K}:={\mathbb E} {\large [ } (\bf x-\bm \mu)(x-\mu)^{*} {\large]}K:=E[(x−μ)(x−μ)∗]J : = E [ ( x − μ ) ( x − μ ) T ] . \bf J:={\mathbb E} {\large [} (\bf x-\bm \mu)(x-\mu)^{\rm T} {\large]}.J:=E[(x−μ)(x−μ)T].注意通常来说，复随机向量x \bf xx的协方差矩阵K \bf KK是不能完全刻画其二阶统计特性的。事实上，由于K \bf KK为Hermitian矩阵（复共轭对称矩阵），则它是由n 2 n^2n2个实参数来决定的。另外一方面，x \bf xx的全部二阶统计量是由2 n × 2 n 2n \times 2n2n×2n维的协方差矩阵[ x R , x I ] T [{\bf x}_R,{\bf x}_I]^{\rm T}[xR​,xI​]T中的n ( 2 n + 1 ) n(2n+1)n(2n+1)个实参数决定的。

循环对称特性：如果对于任意θ \thetaθ，e j θ x e^{j\theta}\bf xejθx都与x \bf xxx \bf xx同分布，则称$\bf $具有循环对称性。

对于任意θ \thetaθ，循环对称复随机变量x \bf xx都有
E [ x ] = E [ e j θ x ] = e j θ E [ x ] , {\mathbb E}[{\bf x}]={\mathbb E}[e^{j\theta}{\bf x}]=e^{j\theta}{\mathbb E}[{\bf x}],E[x]=E[ejθx]=ejθE[x],因此均值μ = 0 \bm \mu=\bf 0μ=0。进一步，对于任意θ \thetaθ，有
E [ x x T ] = E [ e j θ x ( e j θ x ) T ] = e j 2 θ E [ x x T ] , {\mathbb E}[{\bf xx}^{\rm T}]={\mathbb E}[e^{j\theta}{\bf x}(e^{j\theta}{\bf x})^{\rm T}]=e^{j2\theta}{\mathbb E}[{\bf xx}^{\rm T}],E[xxT]=E[ejθx(ejθx)T]=ej2θE[xxT],因此伪协方差矩阵J \bf JJ也为零。故协方差矩阵K \bf KK可以完全刻画循环对称随机向量的一阶和二阶统计特性。并且如果随机向量为高斯的，则K \bf KK可以刻画所有统计特性。协方差矩阵为K \bf KK的循环对称高斯随机向量记为C N ( 0 , K ) {\mathcal CN}(0,\bf K)CN(0,K)。
下面来看几个特例：

  • 复高斯随机变量w = w R + j w I w=w_R+jw_Iw=wR​+jwI​，这里的实部和虚部为.零均值高斯i.i.d实随机变量，则w ww为循环对称，而其循环对称性其实就是实高斯随机向量[ w R , w I ] T [w_R,w_I]^{\rm T}[wR​,wI​]T的旋转不变形。事实上，循环对称复高斯随机变量的实部和虚部一定是零均值i.i.d.的。其统计特性可以完全由方差σ 2 : = E [ ∣ w ∣ 2 ] \sigma^2:={\mathbb E}[|w|^2]σ2:=E[∣w∣2]来决定，记为w ∼ C N ( 0 , σ 2 ) w\sim {\mathcal CN}(0,\sigma^2)w∼CN(0,σ2)。注意如果不是循环对称的，则复高斯随机变量需要用五个参数来给定：实部均值、虚部均值、实部方差、虚部方差以及虚实部相关。w ww的相位在[ 0 , 2 π ] [0,2\pi][0,2π]上均匀分布，并与幅度r = ∣ ∣ w ∣ ∣ r=||w||r=∣∣w∣∣独立，后者的PDF为
    P ( r ) = r σ 2 exp ⁡ { − r 2 2 σ 2 } , r ≥ 0 P(r)=\frac{r}{\sigma^2}\exp{\Large \{} \frac{-r^2}{2\sigma^2}{\Large \}},\quad r\ge 0P(r)=σ2r​exp{2σ2−r2​},r≥0满足瑞利分布。幅度的平方，即r 2 = w R 2 + w I 2 r^2=w_R^2+w_I^2r2=wR2​+wI2​，满足χ x 2 \chi_x^2χx2​分布即指数分布。
  • n nn个i.i.d.C N ( 0 , 1 ) {\mathcal CN}(0,1)CN(0,1)随机变量构成标准循环对称高斯随机向量w ∼ C N ( 0 , I ) {\bf w}\sim {\mathcal CN}(0,\bf{I})w∼CN(0,I)，其PDF为
    P ( w ) = 1 π n exp ⁡ ( − ∣ ∣ w ∣ ∣ 2 ) , w ∈ C n . P({\bf w})=\frac{1}{\pi^n}\exp (-||{\bf w}||^2),\quad {\bf w}\in {\mathbb C}^n.P(w)=πn1​exp(−∣∣w∣∣2),w∈Cn.与实高斯随机向量N ( 0 , I ) {\mathcal N}(0,{\bf I})N(0,I)类似，我们有如下特性特性

U w \bf UwUw与w \bf ww同分布，这里的U \bf UU为酉矩阵。

与实数情况相似，w \bf ww的幅度满足χ 2 n 2 \chi_{2n}^2χ2n2​分布。

  • 如果w ∼ C N ( 0 , I ) {\bf w}\sim {\mathcal CN}(0,\bf I)w∼CN(0,I)并且A \bf AA为复矩阵，则x = A w \bf x=Awx=Aw也是循环对称高斯的，且x ∼ C N ( 0 , K ) {\bf x}\sim {\mathcal CN}(0,\bf K)x∼CN(0,K)。如果A \bf AA可逆，则x \bf xx的PDF为
    p ( x ) = 1 π n det ⁡ K exp ⁡ ( − x ∗ K − 1 x ) , x ∈ C n . p({\bf x})=\frac{1}{\pi^n \sqrt{\det {\bf K}}}\exp(-\bf x^*K^{-1}x),\quad x\in \mathbb C^n.p(x)=πndetK​1​exp(−x∗K−1x),x∈Cn.