心得

这部分内容是概率论的基础理论,可视为数学部分。从学到后面的感觉来看，重要的是正确认识这些概率的基本理论。

1.概率模型

概率模型是对不确定现象的数学描述。组成部分：样本空间，概率率。概率有时候像物理。

样本空间

样本空间$\Omega$：一个试验的所有可能结果的集合。
注意：例如在掷骰子时，不能把“1或2”和“1或3”同时作为一个试验结果(样本空间的元素)。在确定样本空间的时候，不同的试验结果必须是相互排斥的，即试验过程中只可能产生唯一的一个结果。
序贯模型：方便研究概率问题的模型工具，关系图(它不是一种概率律模型)。

概率律

概率律即概率公理：它给每一个事件$A$确定一个数$P(A)$，满足下面的3条公理：

• 非负性:$P(A)\ge 0$
• 可加性:设$A、B$是不相容事件：$A\cap B=\varnothing$ ,则：$P(A\cap B)=P(A)+P(B)$.结论可以推广到多个事件的情况。
• 归一化：$P(\Omega )=1$，整个样本空间是必然事件。

疑问：以上三条公理并似乎并不能把“概率”与我们对概率的直观感受联系在一起。例如定义掷均匀硬币，朝上的概率为$1/3$，朝下$2/3$.这个概率率是符合概率公理的，但它不符合现实的规律，问题是数学不需要与现实规律相符合。概率律只需要对概率公理负责，大概这就是概率悖论非常多的原因。

概率率模型-离散模型

设样本空间由有限个可能的结果组成,则使用离散模型构造概率律，另外的一种是连续模型。
由3条公理可以证明一些概率率性质，例如：
$$\begin{gathered} P(A\cup B)=P(A)+P(B)-P(A\cap B) \\ P(A\cup B)=P(A\cup (A^c\cap B))=P(A)+P(A^c\cap B) \\ P(B)=P(B\cap A)+P(B\cap A^c) \end{gathered}$$
概率分析的步骤：
1.在一个适当的样本空间中给出概率律。要求满足概率的3条公理。因此甚至可以建立明显违反现实直觉的模型，只因该模型便于计算。
2.在概率模型下进行严格的逻辑推导。

对同一个问题，在步骤1选择不同的模型，计算结果可能不同。如贝特朗悖论(样本空间不同)。(我一向不喜欢数学试卷上的文字应用题，歧义不少，语义不明更是常见现象。)

古典概型

设样本空间由$n$个等可能的试验结果组成，则基本事件A的概率为
$$P(A)=\frac{1}{n}$$

这是一种模型，可理解为公理，反正我从数学上讲不出道理。

条件概率

给定事件$B$已发生的条件下，事件A发生的概率
$$P(A|B)=\frac{P(A\cap B)}{P(B)}$$
注意条件概率$P(\_|B)$也是一个概率律，事件B即是必然事件或者理解为样本空间。上面这个公式不依赖于概率模型，而是条件概率的定义。如：
$P(A\cup C|B)=P(A|B)+P(C|B)-P(A\cap C|B)$
$P(A\cap B)=P(A)P(B|A)=P(B)P(A|B)$

经典例子：三门问题。$A$:第一门有奖品，$B$:第二门有奖品，$C$:第三门有奖品。
假设直接选择第一门(把这当作事实，不属于概率范围)，打开一扇无奖品的第二门(把这个当作已知条件,设为事件E)以后：
$P(E)=P(EA)+P(EB)+P(EC)=1/2$
$P(AE)=1/3\ast 1/2=1/6,P(BE)=0,P(CE)=1/3$
$$\begin{gathered} P(A|E)=\frac{P(AE)}{P(E)}=\frac{1/6}{1/2}=\frac{1}{3} \\ P(B|E)=0 \end{gathered}$$.
$P(C|E)=\frac{P(CE)}{P(E)}=\frac{1/3}{1/2}=\frac{2}{3}$
所以换一门才是更优的选择。

全概率定理和贝叶斯准则

全概率定理:设$A_1,A_2,...,A_n$是样本空间的一个分割($A_1,A_2,...,A_n$互不相容且必定有一个发生),$P(A_i)>0$,则：
$$\begin{gathered} P(B)=P(A_1\cap B)+P(A_2\cap B)+...+P(A_n\cap B) \\ P(B)=P(A_1)P(B|A_1)+P(A_2)P(B|A_2)+...+P(A_n)P(B|A_n) \end{gathered}$$
贝叶斯准则：设$A_1,A_2,...,A_n$是样本空间的一个分割,$P(A_i)>0$,则：
$$P(C|B)=\frac{P(C\cap B)}{P(B)}=\frac{P(C)P(B|C)}{P(B\cap A_1)+P(B\cap A_2)+...+P(B\cap A_n)}$$

用全概率公式可以证明贝叶斯准则。贝叶斯准则联系了$P(A|B)$与$P(B|A)$.贝叶斯准则可以用来进行因果推理，即知道结果，推测原因。这种概率称为后验概率。计算这种概率应严格采用贝叶斯公式计算，否则极易出错。

经典例子：假阳性问题。对于某种少见疾病(发病率0.001):有病检测结果成阳性的概率为0.95，无病检测结果成阳性的概率是0.05.
现有一结果成阳性的被检人，其患病概率是多少。
$A_1$:有病 $A_2$:无病。$B$:检测成阳性。
$P(B|A_1)=0.95,P(B|A_2)=0.05,P(A_1)=0.001,P(A_2)=0.999，$
$P(B)=P(A_1)P(B|A_1)+P(A_2)P(B|A_2)=0.00095+0.4995=0.0509$则
$P(A_1|B)=\frac{P(A_{1}B)}{P(B)}=\frac{P(A_1)P(B|A_1)}{P(B)}=0.0187$
这说明仪器的检测误差远大于发病率时，仪器的误诊率会相当高。当然这里面还存在一个问题，即被检人不是随意选取的，而是本身就怀疑自己患病的。

独立性

若事件$A，B$满足：$P(AB)=P(A\cap B)=P(A)P(B)$,则称事件A，B互相独立。
注意：独立性的定义是从上面概率的关系式出发的。例如在区间[0,1]任选一实数,则事件A={x=0.1}，事件B={x<0.5}，A与B是相互独立的。
A，B互不相容是从事件本身出发定义的，一定不能同时发生，而独立则不同。事件A发生没有给事件B的概率提供任何信息则独立(即使提供了也不一定不独立)。
若事件A，B满足：
$P(A\cap B|C)=P(A|C)P(B|C)$
则称A,B在条件C下条件独立。

注意:独立与条件独立不能互相推导出。A,B互相独立不能推出A,B在某条件下是否条件独立，反之亦然。例如：星期二男孩问题。
$$独立≮=>条件独立$$

一组事件的独立性:设$A_1,A_2,...,A_n$是$n$个事件的集合，则对其任意子集都有$P(A_i{A}_j...)=P(A_i)P(A_j)...$,则称这组事件相互独立。
注意：两两独立不能说明相互独立。相互独立需要满足的式子很多很多…

独立试验&二项概率
设试验由一系列独立并且相同的小试验组成，这种试验称为“独立试验序列”。当每个阶段的小试验只有两种结果时，称为独立的伯努利试验序列。
n次试验其中k次成功的概率是
$P(X=k)=C_n^k{p}^k(1-p{)}^{n-k}=\frac{(n!)}{(k!)(n-k)!}{p}^k(1-p{)}^{n-k}$

2.离散随机变量

对于样本空间的一个试验结果，都关联着一个特定的数，这种关联关系就形成随机变量，随机变量是试验结果的实值函数。
随机变量的函数定义另一个随机变量。可以在某条件下定义随机变量。对于随机变量，可以定义均值和方差。
若随机变量的值域为有限集或者可数无限集，则称离散随机变量。本章的随机变量都是指离散随机变量

分布列

离散随机变量有一个分布列，它对于随机变量的每一个值给出一个概率。

伯努利分布列

伯努利随机变量分布列是：

二项随机变量：n次伯努利试验结果取到1的次数为二项随机变量。X=k的概率是
$$P(X=k)=C_n^k{p}^k(1-p{)}^{n-k}=\frac{(n!)}{(k!)(n-k)!}{p}^k(1-p{)}^{n-k}$$
几何随机变量:伯努利试验序列，直到试验结果取到1的所需的次数。
$$P(X=k)=(1-p{)}^{k-1}{p}^k$$
泊松随机变量：设随机变量的分布由下式给出：
$$P(X=k)=e^{-\lambda }\frac{{\lambda }^k}{k!}$$
$k=0,1,2,...$
利用泊松分布可以逼近二项分布，$\lambda \approx np$(n很大,p很小时).

随机变量的函数

设$Y=g(X)$,则$Y$的分布列为：
$$P(Y=y)=\underset{x\in \{g(X)=y\}}{\sum P(X=x)}$$
求Y分布列的方法：

1. 确定X的值域。
2. 确定Y的值域。
3. 确定Y的值域中每一个值对应的概率

注意:步骤1,2中都不涉及概率。有时候X的分布列是用一个分段函数表示的，这个分段函数里的表达式通常和X的值域没有半毛钱关系，不要被迷惑了。

期望均值方差

期望(加权平均值)为$E(X)=\sum xP(X=x)$
n阶矩:$E(X^n)$
方差$Var(X)=E[(X-E_x{)}^2]$
标准差：$\sigma (X)=\sqrt{Var(x)}$ (标准差的好处是其单位和X相同)

随机变量函数的期望为：
$$E(g(X))=\sum _{x}g(x)P(X=x)$$
方差标准差都可以看作随机变量的函数。
$$Var(X)=E(X^2)-E_X^2$$

若$Y=aX+b$,则
$$E(Y)=aE(X)+b.Var(Y)=a^{2}Var(X).$$

伯努利随机变量的
期望$E(X)=E(X^n)=1^{n}p=p$
方差$Var(X)=p-p^2$
泊松分布的方差和期望都是$\lambda$。利用$e^x$的泰勒展开式可以证明。

多个随机变量的联合分布

$P(X=x,Y=y)$

联合分布列的归一化条件是表格所有的概率值的和为1，不是每一行(列)的和为1.求联合分布列往往要用到条件概率的公式。
关于X的边缘分布列为:
$$P(X=x)=\sum _{y}P(X=x,Y=y)$$
注意上式右边是对y求和，是关于x的函数。
联合随机变量的函数$g(X,Y)$的分布:
$$P(Z=z)=\sum _{g(x,y)=z}P(X=x,Y=y)=\sum _x\sum _{y}g(x,y)P(X=x,Y=y)$$
期望：$$E(Z)=\sum _{g(x,y)=z}g(x,y)P(X=x,Y=y)$$

在某个条件下的随机变量

条件随机变量仍然是随机变量，其不同点只是计算概率分布时为$P(X=x|A)$.
$$\begin{gathered} P(X=x|Y=y)=P_{X|Y}(x|y). \\ {P}_{X,Y}(x,y)=P(X=x,Y=y)=P(X=x)P(Y=y|X=x)=P(Y=y)P(X=x|Y=y) \end{gathered}$$
上式常用来计算联合分布列、期望等。另外当x不同时X=x是互不相容事件。

经典问题：两个信封悖论。有2个信封，其中一个钱数是另一个的2倍。
这个问题一般的错误在于一上来就计算另一封信的钱数的期望0.5c+0.5*2c=1.5c。最开始计算的应该是两封信钱数X，Y的联合分布。如果不能确定联合分布，又怎么能确定期望。按照通常理解的“总是应该交换信封”的错误之处在于此时期望值都是无穷大，不存在大小关系。

独立性

随机变量X与事件A独立：$$P(X=x,A)=P(X=x)P(A)$$
随机变量X与随机变量Y独立：$$P(X=x,Y=y)=P(X=x)P(Y=y)$$
若X与Y独立，则:

• $$E(XY)=E(X)E(Y).E(g(X)f(Y))=E(g(X))E(f(Y))$$
• $$Var(X+Y)=Var(X)+Var(Y)$$

3.连续随机变量

对于随机变量$X$，若存在一个非负函数$f_X$,使得
$$P(X\in B)=\underset{B}{\int }{f}_X(x)dx$$
对每一个实轴上的集合$B$都成立，则称$X$为连续随机变量，$f_X$为$X$的概率密度函数(PDF)。积分式可理解为黎曼积分。
若B是一个区间[a,b],则
$$P(a\le X\le b)={\int }_b^a{f}_X(x)dx$$

$$P(a\le X\le a)={\int }_a^a{f}_X(x)dx=0$$
函数$f_X$能成为PDF的条件：1）非负.2)归一性，即
$${\int }_{-\infty }^{\infty }{f}_X(x)dx=1$$

估算积分值：当$\Delta x$很小时，在区间$[x,x+\Delta x]$上的概率约为$f_X(x)\Delta x$.

期望：
$$\begin{gathered} E(X)={\int }_{-\infty }^{\infty }x{f}_X(x)dx \\ E(g(X))={\int }_{-\infty }^{\infty }g(x)f_X(x)dx \end{gathered}$$
方差$$Var(X)=E[(X-E_X{)}^2]$$

均匀分布的随机变量的PDF$:f_X=c$。图像是一条直线。
指数随机变量:
若随机变量X的的PDF为：
$$f_X=\lambda e^{-\lambda x},x\ge 0;f_X=0,x<0.$$
则X为指数分布的随机变量。可以验证PDF满足归一性。
指数分布的特性是:$X\ge a$的概率随着a的增加呈指数递减:
$$P(X\ge a)={\int }_a^{\infty }\lambda e^{-\lambda x}dx=-e^{\infty \cdot \lambda }-(-e^{-\lambda a})=e^{-\lambda a}$$
指数分布的期望是$1/\lambda$ ,方差是$\frac{1}{{\lambda }^2}$.

分布函数F(X)

离散随机变量用分布列表示$X$的取值规律，连续随机变量用PDF表示X的取值规律，将两种统一起来，就是分布函数(CDF)。
随机变量X的分布函数就是$x$的函数，记为$F_X(x)=P(X\le x)$.$X$可以是离散的，也可以是连续的，也可以既不连续也不离散(混合)。
CDF又称累计分布函数。(这里注意区分$X$与$x$，2013年考研数学一有一概率题，题设条件X与x不分。)
CDF的性质:
1)单调(不严格的)递增函数:若$x_1<x_2$，则$F(x_1)\le F(x_2)$.
2)$F(-\infty )=0,F(\infty )=1$
3)若X是离散随机变量，则$F(x)$是阶梯型函数。$F(x)$与分布列可利用求和/差分 互相求得。
4)若X是连续随机变量，则$F(x)$是关于$x$的连续函数。$F(x)$与$f(x)$可利用积分/微分互相求得:
$$F(x)={\int }_{-\infty }^{x}f(x)dx,f(x)=\frac{dF(x)}{dx}$$

正态分布(高斯分布)

一个随机变量$X$服从正态分布(高斯分布)，如果其PDF为:
$$f_X(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-(x-\mu {)}^2/2{\sigma }^2}$$
正态分布$E(x)=\mu$ 标准差$\sigma$ 。
若随机变量$X$服从正态分布，则$Y=aX+b$，$a̸=0$也服从正态分布。
标准正态分布:$\mu =0,\sigma =1$，即
$$f_X(x)=\frac{1}{\sqrt{2\pi }}{e}^{-(x{)}^2/2}$$
标准正态分布的分布函数CDF记为$\Phi (x)$，通常使用表格查询函数值。

联合分布

联合概率密度函数PDF:
$$P(a\le X\le b,c\le y\le d)={\int }_c^d{\int }_a^b{f}_{XY}(x,y)dxdy$$
PDF:$f_{XY}(x,y)$就是$(X,Y)$落入$(x,y)$附近单位面积正方形的概率。
布丰抛针试验估算$\pi$ 值。蒙特卡罗方法:设计一个适当的试验，它的概率与我们感兴趣的一个量有关，然后利用试验结果来估计这个量，随着计算机等现代技术的发展，这一方法已经发展为具有广泛应用性的蒙特卡罗方法.

例如画一个边长为2的正方形,在正方形内部画一个半径为1的圆，设计一个沙漏实验，沙子等概率落在正方形内部，则沙子落入圆内的概率就是$\pi /4$.

联合CDF:
$$F_{XY}(x,y)=P(X\le x,Y\le y)={\int }_{-\infty }^x{\int }_{-\infty }^{y}f(s,t)dtds$$
PDF:
$$f_{XY}(x,y)=\frac{\partial F_{XY}(x,y)}{\partial x\partial y}$$
期望E:
$$E(g(X,Y))={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f_{XY}(x,y)dxdy$$

条件

在连续随机变量中可能遇到以0概率事件为条件的问题。

以事件为条件的随机变量

$$P(X\in B|A)=\frac{P(X\in B,X\in A)}{P(A)}={\int }_B^{}{f}_{X|A}(x)dx$$
设A是一个实数集合,$P(X\in A)>0$,则
$$f_{X|X\in A}=\frac{f_X(x)}{P(x\in A)}$$ ,$x\in A.f_{X|X\in A}=0,x\notin A$.
利用分布函数F_{X|B}(x)对比F_X(x)可以得到.
全概率定理的一个变形：
设$A_1,A_2,...,A_n$是样本空间的一个分割，则
$$f_X(x)=\sum _{i=1}^n{A}_i{f}_{X|A_i}(x)$$
.

以随机变量为条件的随机变量

设$X,Y$是联合连续随机变量，联合PDF为$f_{XY}(x,y)$,$X$的条件概率密度函数为:
$$f_{X|Y}(x|y)=\frac{f_{XY}(x,y)}{f_Y(y)}$$.
可以利用$F_{X|Y}(x,y)$对$x,y$求偏导数得到。

独立性

设$X,Y$是联合连续随机变量，如果$f_{XY}(x,y)=f_X(x)f_Y(y)$对一切$x,y$成立,则称$X，Y$互相独立。
若$X，Y$独立：$E(XY)=E(X)E(Y),Var(X+Y)=Var(X)+Var(Y)$

连续贝叶斯准则

连续随机变量的贝叶斯准则可以根据条件PDF推导出来的。
$$f_{X|Y}(x|y)=\frac{f_{XY}(x,y)}{f_Y(y)}=\frac{f_{Y|X}(y|x)f_X(x)}{{\int }_{-\infty }^{+\infty }{f}_{XY}(t,y)dt}=\frac{f_{Y|X}(y|x)f_X(x)}{{\int }_{-\infty }^{+\infty }{f}_{Y|X}(y|t)f_X(t)dt}$$

4.随机变量的深入内容

研究方法均是1)研究CDF:$F(x)$;2)求$F(x)$导数得PDF:$f(x)$.

随机变量函数的概率密度函数

考虑$Y=g(X)$的概率密度函数。
设$X$是连续随机变量，PDF:$f_X(x)$.随机变量$Y=g(X)$,则
$$F_Y(y)=P(g(X)\le y)={\int }_{\{x|g(x)\le y\}}^{}f(x)dx$$ .
对y求导数得:
$$f_Y(y)=\frac{d{F}_Y(y)}{dy}$$

若$Y=aX+b.a̸=0$,易证$Y$和$X$服从同一类型的分布。

例题：若$X，Y$均服从$[0,1]$上的均匀分布且互相独立，求$Z=Y/X$的PDF。
由全概率定理可得(为了便于理我自己理解写成求和形式)
$$F_Z(z)=P(Y/X\le z)=\sum _{x}P(\{Y\le xz\}|X=x)P(X=x)$$
已知:$P(X=x)={\lim }_{\Delta x\to 0}{f}_X(x)\Delta x$
注意XY独立的条件，把右边式子的积分改写成积分形式：
$$F_Z(z)={\int }_0^1{F}_Y(xz)f_X(x)dx={\int }_0^1{F}_Y(xz)\cdot 1dx$$
令$xz=t,dt=zdx$,于是：
$$F_Z(z)=\frac{1}{z}{\int }_0^z{F}_Y(t)dt$$
$F_Y(y)=0,y\le 0$
$F_Y(y)=y,y\in [0,1]$
$F_Y(y)=1,y\ge 1$
故:
$F_Z(z)=0,z\le 0$;
$F_Z(z)=\frac{1}{z}{\int }_0^{z}tdt=\frac{z}{2},z\in [0,1]$
$F_Z(z)=\frac{1}{z}({\int }_0^{1}tdt+{\int }_1^{z}1dt)=1-\frac{1}{2z},z>1$
求$F_Z(z)$的导数即得PDF:$f_Z(z)$。
也可以由联合概率密度函数$f_{XY}(x,y)$,事实上$P(Y\le Xz)$的概率就是$f_{XY}$在指定$(x,y)$范围上的二重积分。
$$F_Z(z)=P(Y/X\le z)={\iint }_{y/x\le z}{f}_{XY}(x,y)dxdy$$
也可以由类似线性规划的方式采用图形解决，但"数形结合"只能处理低维度的,用来理解概念是很不错的,用来研究解决问题就力不从心了。到了像线性代数之类的维度很高的学科，图形都很难建立起来,这可能牵扯到另一个现代数学分支:代数几何。我不是很懂,但我的意思就是不应当依赖于图形解决问题了。

随机变量的和-卷积

$Z=X+Y$,X与Y独立.
(1)$X,Y$均是离散.
$p_Z(z)=P(X+Y=z)=\sum _{ x }^{ }{ P(X=x)P(Y=z-x|X=x) } $
$$p_Z(z)=\sum _x{p}_X(x)p_Y(z-x)$$
$p_Z$称为$X$和$Y$的卷积。
(2)$X,Y$均是连续.
对利用$Z=X+Y$可以证明$F_{Z|X}(z|x)=F_Y(z-x)$，取z微分：
$$若Z=X+Y,则f_{Z|X}(z|x)=f_Y(z-x)$$
又有:
$$f_{X,Z}(x,z)=f_X(x)f_{Z|X}(z|x),总是成立的。$$
所以：
$f_Z(z)={\int }_{-\infty }^{+\infty }{f}_{X,Z}(x,z)dx={\int }_{-\infty }^{+\infty }{f}_X(x)f_Y(z-x)dx$
上式积分以后x没有了，只是z的函数。
同离散的式子比较，用密度函数代替来分布列，积分代替求和。
利用这个结论可以证明两个独立的正态分布之和仍然是正态分布。

协方差相关

协方差定义:
$$cov(X,Y)=E[(X-E_X)(Y-E_Y)]=E(XY)-E_X{E}_Y$$

当$cov(X,Y)=0$，X,Y不相关,$E(XY)=E_X{E}_Y$。
协方差可以表征X与Y的值“趋向”,相关性。

$cov(X,X)=E(X^2)-E_X^2=var(X)$
X与其自身肯定是相关的。

$cov(X,aY+b)=a\ast cov(X,Y)$
Y与X相关，g(Y)则当然也应该与X相关。aY+b与Y的关系是a(常数在“差关系”中可忽略)

$cov(X,Y+Z)=cov(X,Y)+cov(X,Z)$
整体相关性可以分解为部分之间的相关性

注意:独立==>不相关，反之不成立。
相关系数$\rho$:
$$\rho =\frac{cov(X,Y)}{\sqrt{va{r}_X\ast va{r}_Y}}$$
可以证明$\rho \in [-1,-1]$
$\rho$可以视作协方差的标准化。如果X的方差很大，即$X-E_X$很大，则协方差也很大，但这时候显然不代表$X,Y$相关性很强。用方差可以“中和“单一变量方差大的影响。所以$\rho$的分母会出现方差。

协方差可用于计算随机变量和的方差:
$$var(X+Y)=var(X)+var(Y)+2cov(X,Y)$$
从这个式子可以看出"协方差"的定义。
$$var(X_1+X_2+X_3)=\sum _{i}var(X_i)+\sum _{i!=j}cov(X_i,X_j)$$

条件期望/条件方差

条件期望$E(X|Y=y)=g(y)$是关于y的函数。因此$Z=E(X|Y)=g(Y)$可以视为一个随机变量，分布依赖于Y的分布。
$E(Z)={\sum }_{z}zP(Z=z)={\sum }_{y}g(y)P(Y=y)={\sum }_{y}E(X|Y=y)p_Y(y)$
$E(Z)=\int _{-\infty}^{+\infty}{E(X|Y=y)f_Y(y)dy} $

全期望定理(X的期望等于条件期望的和)：
$$E(X)=\sum _{i}E(X|A_i)P(A_i)$$
可以得出重期望法则:
$$E(E(X|Y))=E(X)$$
例如X为全班学生的成绩，Y为学生的分组编号。那么全班学生的平均成绩显然等于 全部分组平均成绩的平均。整体的平均=部分平均的平均。
条件期望重要性质：
$E(Xg(Y)|Y)=g(Y)E(X|Y)$
成立的原因是在求期望的过程中当Y=y时g(y)是常数。注意在条件期望的期望中，g(y)不能提出来，因为是对y求期望！

将条件期望作为估计量

$$\hat{X}=E[X|Y]$$
有时候想要直接知道X的真实值不容易，那么可以通过做实验，观测在Y条件下X的值，并把此时得到的X的期望当作X的估计量，即上式。$E(\hat{X})=E(X)$.
既然是估计，那就要研究估计误差:
$$\tilde{X}=\hat{X}-X$$
$E(\tilde{X})=E(E(X|Y))-E(X)=0$
$E(\tilde{X}|Y)=0$
把均值当作估计量一般都有这个性质，即估计误差的期望为0(没有系统性的正负偏倚，而是互相抵消)。
$E(\hat{X}\tilde{X})=E(E(\hat{X}\tilde{X}|Y))=E(E(g(Y)\tilde{X}|Y)=E(g(Y)E(\tilde{X}|Y))=0=E(\hat{X})E(\tilde{X})$
$cov(\hat{X},\tilde{X})=E(\hat{X}\tilde{X})-E(\hat{X})E(\tilde{X})=0$
这说明把条件期望当作估计量时，误差和估计量没有相关性。原因是$\hat{X}$是关于Y的函数。由此又可以得到:
$var(X)=var(\hat{X})+var(\tilde{X})$

条件方差

$var(X|Y)=g(Y)=E[(X-E(X|Y){)}^2|Y]=E({\tilde{X}}^2|Y)$
右边的式子是估计误差的二阶矩，容易联想到估计误差的方差:
$var(\tilde{X})=E({\tilde{X}}^2)-(E(\tilde{X}){)}^2=E({\tilde{X}}^2)=E(E({\tilde{X}}^2|Y))=E(var(X|Y))$
意思是把条件期望当作估计量时，估计(条件期望)误差的方差可以等于条件方差的期望。
$$var(X)=E(var(X|Y))+var(E(X|Y))$$
上式又叫全方差法则。X的方差=条件方差的期望 + 条件期望的方差。这个公式可以简化方差计算：比如X的分布不是那么清晰，而是依赖于其他的一个参数Y。而Y的分布是已知的，那么此时就可以计算X的方差了。

为什么会相等呢，值得思考。注意这里都是在把条件期望E(X|Y)当作估计量时得出的结论。

矩母函数(变换函数)

矩母函数是研究随机变量的一种工具函数，非常类似于研究信号时的拉普拉斯变换。可以简化很多计算。
随机变量$X$的矩母函数:
$$M_X(s)=E[e^{sX}]$$
所以$M_X(s)$分为离散和连续两种:
$M_X(s)={\sum }_x{e}^{sx}P(X=x)$
$M_X(s)={\int }_{\infty }^{+\infty }{e}^{sx}{f}_{X}dx$
注意$s$的定义域是使求和/积分存在。常见随机变量的矩母函数:
多利用$e^x$的泰勒展开式(用多项式去逼近任何函数,任意阶导数相等).

• 参数为p的伯努利分布:$M(s)=1-p+p{e}^s$
• 参数为n,p的二项分布:$M(s)=(1-p+p{e}^s{)}^n$
• 参数为p的几何分布(第一次成功为k的概率):$M(s)=\frac{p{e}^s}{1-(1-p)e^s}$
• 参数为$\lambda $的泊松分布:$M(s)=e^{\lambda (e^s-1)}$
• $(a,b)$均匀分布($k=a,a+1,...,b,l=b-a+1$):$M(s)=\frac{e^{as}}{l}\ast \frac{e^{ls}-1}{e^s-1}$
• U(a,b)的矩母函数:$M(s)=\frac{1}{b-a}\frac{e^{sb}-e^{sa}}{s}$
• 参数为$\lambda$的指数分布$f_X=\lambda e^{-\lambda x}$:$M(s)=\frac{\lambda }{\lambda -s}$
• 参数为$\mu ,{\delta }^2$的正态分布$f_X=\frac{1}{\sqrt{2\pi }\delta }\exp \{-\frac{(x-\mu {)}^2}{2{\delta }^2}\}$:$M(s)=exp\{\frac{{\delta }^2{s}^2}{2}+\mu s\}$

若$Y=aX+b$,则$M_Y(s)=E(e^{asX+bs})=e^{sb}{M}_X(sa)$.X加一个常数,矩母函数扩大$e^{b}s$倍.$X$乘以$a$倍,矩母函数宽度缩小$a$倍。

矩母函数到矩

考虑连续随机变量X的矩母函数的导数:
$\frac{dM(s)}{ds}=\frac{d}{ds}({\int }_{-\infty }^{+\infty }{e}^{sx}{f}_{X}dx)={\int }_{-\infty }^{+\infty }\frac{d}{ds}(e^{sx}{f}_{X}dx)={\int }_{-\infty }^{+\infty }(x{e}^{sx}{f}_{X}dx)$
上面这里涉及到了交换积分微分次序，一般都可以。
$\frac{d}{ds}M(s)=\frac{d}{ds}E(e^{sX})=E(\frac{d}{ds}{e}^{sX})=E(x{e}^{sX})$
当$x=0$时,$M^{(1)}(0)=E(X)$
$$M^{(n)}(0)=E(X^n)$$
这就是计算X矩的方法，也是为什么叫矩母函数.国外叫变换函数.

矩母函数是可逆的，所以它可以确定X的分布。证明很难。反向确定X分布的方法是观察已知分布的矩母函数,拼凑出来。

若$Z=X+Y$且$X,Y$独立,则$M_{X+Y}(s)=E(e^{Xs})E(e^{Ys})=M_X(s)M_Y(s)$
用这个公式可以轻易证明两个独立的正态分布之和仍是正态分布。

联合分布矩母函数

联合矩母函数是由多个随机变量的联合分布，可以想到联合矩母函数应该是个多元参数。定义:
$$M_{X_1,X_2,...,X_n}(s_1,s_2,...,s_n)=E(exp\{s_1{X}_1+s_2{X}_2+...+s_n{X}_n\})$$

随机N个相互独立同分布的随机变量之和

$$Y=X_1+X_2+...+X_N$$
$E(Y|N=n)=nE(X)=>E(Y|N)=NE(X)$
期望$E(Y)=E(E(Y|N))=E(NE(X))=NE(X)$
$var(Y|N=n)=var(X_1+X_2+...+X_n|N=n)=n\ast var(X)$
方差$var(Y)=E(var(Y|N))+var(E(Y|N))=nvar(X)+[E(X){]}^{2}var(N)$
矩母函数$$M_Y(s)=\sum _{n=1}^{\infty }(M_X(s){)}^{n}P(N=n)$$
$$M_N(s)=\sum _{n=1}^{\infty }(e^s{)}^{n}P(N=n)$$
比较上面两个式子的区别可类比:
$Y=X_1+X_2+...+X_N$
$N=1+1+...+1$
$M_1(s)=e^s$
将$M_1(s)$替换成$M_X(s)$即得到$M_Y(s)$的矩母函数.