概率论与数理统计 Chapter3. 随机变量的数字特征

• 概率论与数理统计 Chapter3. 随机变量的数字特征
  • 1. 重要定义 & 定理
    • 1. 数学期望（均值）
      • 1. 定义
      • 2. 性质
    • 2. 中位数
    • 3. 方差 & 标准差
      • 1. 定义
      • 2. 性质
    • 4. 协方差 & 相关系数
      • 1. 协方差
      • 2. 相关系数
    • 5. 大数定理
      • 1. 大数定理
      • 2. 马尔可夫不等式
      • 3. 切比雪夫不等式
    • 6. 中心极限定理
      • 1. 林德伯格-莱维定理
      • 2. 棣莫弗-拉普拉斯定理
  • 2. 几种典型分布
    • 1. 二项分布
      • 1. 均值
      • 2. 方差
    • 2. 泊松分布
      • 1. 均值
      • 2. 方差
    • 3. 均匀分布
      • 1. 均值
      • 2. 方差
      • 3. 中位数
    • 4. 指数分布
      • 1. 均值
      • 2. 方差
    • 5， 正态分布
      • 1. 均值
      • 2. 方差
      • 3. 中位数
    • 6. 自由度为n的卡方分布${\chi }_n^2$
      • 1. 均值
      • 2. 方差
    • 7. 自由度为n的学生分布$t_n(x)$
      • 1. 均值
      • 2. 方差
    • 8. 自由度为m,n的F分布$f_{mn}(x)$
      • 1. 均值
      • 2. 方差

1. 重要定义 & 定理

1. 数学期望（均值）

1. 定义

1. 离散变量的数学期望

   • 设随机变量X的取值范围为$a_1,...,a_n$，其对应的概率分布为$P(X=a_i)=p_i$，则X的数学期望$E(X)$（或记为$EX$）定义为：

     $$E(X)=\sum _{i=1}^n{a}_i{p}_i$$

2. 无限级数的数学期望

   • 设随机变量X的取值范围为$a_1,a_2,...$，其对应的概率分布为$P(X=a_i)=p_i$，且满足${\sum }_{i=1}^{\infty }|a_i|p_i<\infty$，则变量X存在数学期望，且其数学期望表达式与上述离散分布相同，即：

     $$E(X)=\sum _{i=1}^{\infty }{a}_i{p}_i$$

3. 连续变量的数学期望

   • 设X有概率密度函数$f(x)$，如果${\int }_{-\infty }^{\infty }|x|f(x)dx<\infty$，则X存在数学期望，其数学期望表达式为：

     $$E(X)={\int }_{-\infty }^{\infty }xf(x)dx$$

2. 性质

1. 若干个随机变量之和的期望等于他们各自的期望之和，即：

   $$E(X_1+...+X_n)=E(X_1)+...+E(X_n)$$

2. 若干个独立随机变量之积的期望等于他们各自的期望之积，即：

   $$E(X_1{X}_2...X_n)=E(X_1)E(X_2)...E(X_n)$$

3. 随机变量函数的期望可以表示为：

   1. 离散型

      $$E(g(X))=\sum _{i}g(a_i)p_i$$

   2. 连续型

      $$E(g(X))={\int }_{-\infty }^{\infty }g(x)f(x)dx$$

4. 如果$c$为一个常数，则：

   $$E(c\cdot X)=c\cdot E(X)$$

2. 中位数

• 设连续型随机变量X的分布函数为$F(x)$，则满足条件$P(X\le m)=F(m)=1/2$的数m成为X或者分布F的中位数。

3. 方差 & 标准差

1. 定义

• 设$X$为随机变量，分布为$F$，则定义
  $$Var(X)=E(X-EX{)}^2=E(X^2)-E{X}^2$$
  称为$X$（或者分布F）的方差，其平方根$\sqrt{Var(X)}$称为$X$（或者分布$F$）的标准差。

推广：矩的定义

• 设$X$为随机变量，$c$为常数，$k$为正整数，则定义$E[(X-c{)}^k]$称为$X$关于$c$点的$k$阶矩。
  • 若$c=0$，则称$a_k=E(X^k)$为$X$的$k$阶原点矩，特别的，一阶原点矩就是期望；
  • 若$c=EX$，这时${\mu }_k=E[(X-EX{)}^k]$称为$X$的$k$阶重心矩，特别的，一阶中心矩为常数0，二阶中心矩即为方差；

2. 性质

1. 常数的方差为0；
2. 若C为常数，则$Var(X+C)$ = Var(X);
3. 若C为常数，则$Var(CX)=C^2\cdot Var(X)$;
4. 独立随机变量之和的方差等于各变量方差之和：
   $$Var(X_1+...+X_n)=Var(X_1)+...+Var(X_n)$$

4. 协方差 & 相关系数

1. 协方差

考察两个一维随机变量$X,Y$，假设：

$$EX=m_1,EY=m_2,Var(X)={\sigma }_1^2,Var(Y)={\sigma }_2^2$$

则我们有定义：

• 称$E[(X-m_1)(Y-m_2)]$为X和Y的协方差，记作$Cov(X,Y)$。

我们有性质：

1. 若X和Y独立，则$Cov(X,Y)=0$;
2. $Cov(X,Y{)}^2\le {\sigma }_1^2{\sigma }_2^2$，等号当且仅当X和Y满足严格的线性关系（即$Y=aX+b$）时成立；

2. 相关系数

在上述协方差的基础上，我们可以定义相关系数如下：

• 定义相关系数$Corr(X,Y)=Cov(X,Y)/({\sigma }_1{\sigma }_2)$.

同样的，有性质：

1. 若$X,Y$独立，则$Corr(X,Y)=0$；
2. $|Corr(X,Y)|\le 1$，且等号当且仅当X和Y存在严格线性关系时取到。

5. 大数定理

1. 大数定理

• 设$X_1,X_2,...,X_n,...$是独立同分布的随机变量，记它们的公共均值为$a$，方差为${\sigma }^2$，则对任意给定的$ϵ>0$，有：
  $${lim}_{n\to \infty }P(|\overline{X_n}-a|\ge ϵ)=0$$

用直白的语言来说：

• 就是当重复实验足够多时，频率总能够无限趋近于概率。

2. 马尔可夫不等式

• 若Y为只取非负值的随机变量，则对于任意常数$ϵ>0$，有：
  $$P(Y\ge ϵ)\le E(Y)/ϵ$$

3. 切比雪夫不等式

• 若$Var(X)$存在，则：
  $$P(|Y-EY|\ge ϵ)\le Var(Y)/{ϵ}^2$$

6. 中心极限定理

中心极限定理是一系列定理的集合，整体来说就是一系列独立同分布的变量之和满足正态分布。

1. 林德伯格-莱维定理

• 设$X_1,X_2,...,X_n,...$为独立同分布的随机变量，$E(X_i)=a,Var(X_i)={\sigma }^2$，则对任意实数$x$有：
  $$li{m}_{n\to \infty }P(\frac{1}{\sqrt{n}\sigma }(X_1+...+X_n-na)\le x)=\Phi (x)$$
  其中$\Phi (x)$是标准正态分布$N(0,1)$的分布函数，即$\Phi (x)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{-t^2/2}dt$

2. 棣莫弗-拉普拉斯定理

• 设$X_1,X_2,...,X_n,...$独立同分布，$X_i$为二次分布，即$P(X_i=1)=p,P(X_i=0)=1-p$，则对于任意实数$x$，有：
  $$li{m}_{n\to \infty }P(\frac{1}{\sqrt{np(1-p)}}(X_1+...+X_n-np)\le x)=\Phi (x)$$

本质上来说这个算是上方林德伯格-莱维定理的一个实例。

2. 几种典型分布

1. 二项分布

$$P(x=i;n,p)=C_n^i\cdot p^i\cdot (1-p{)}^{n-i}$$

1. 均值

$$E(X)=np$$

类似的，对于负二项分布$P(x=k;r,p)=C_{k+r-1}^{r-1}\cdot p^r\cdot (1-p{)}^k$，同样可以计算其均值为：

$$E(X)=r\frac{1-p}{p}$$

2. 方差

$$Var(x)=np(1-p)$$

2. 泊松分布

$$P(x=i)=e^{-\lambda }\cdot {\lambda }^i/i!$$

1. 均值

$$E(X)=\lambda$$

2. 方差

$$Var(X)=\lambda$$

3. 均匀分布

$$f(x)=1/(b-a)$$

1. 均值

$$E(X)=\frac{a+b}{2}$$

2. 方差

$$Var(X)=(b-a{)}^2/12$$

3. 中位数

$$m=\frac{a+b}{2}$$

4. 指数分布

$$f(x)=\lambda \cdot e^{-\lambda x}$$

1. 均值

$$E(X)=1/\lambda$$

2. 方差

$$Var(X)=1/{\lambda }^2$$

5， 正态分布

$$f(x)=\frac{1}{\sqrt{2\pi }\cdot \sigma }\cdot exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$

1. 均值

$$E(X)=\mu$$

2. 方差

$$Var(X)={\sigma }^2$$

3. 中位数

$$m=\mu$$

6. 自由度为n的卡方分布${\chi }_n^2$

$$k_n(x)=\frac{1}{\Gamma (n/2)2^{n/2}}{e}^{-x/2}{x}^{(n-2)/2}$$

1. 均值

$$E(X)=n$$

2. 方差

$$Var(X)=2n$$

7. 自由度为n的学生分布$t_n(x)$

$$t_n(x)=\frac{\Gamma ((n+1)/2)}{\sqrt{n\pi }\Gamma (n/2)}(1+\frac{x^2}{n}{)}^{-\frac{n+1}{2}}$$

1. 均值

$$E(X)=0$$

2. 方差

$$Var(X)=\frac{n}{n-2}$$

8. 自由度为m,n的F分布$f_{mn}(x)$

$$f_{mn}(x)=m^{m/2}{n}^{n/2}\frac{\Gamma ((m+n)/2)}{\Gamma (m/2)\Gamma (n/2)}{x}^{m/2-1}(mx+n{)}^{-(m+n)/2}$$

1. 均值

$$E(X)=\frac{n}{n-2}$$

2. 方差

$$Var(X)=\frac{2n^2(n+m-2)}{m(n-2{)}^2(n-4)}$$