概率论与数理统计-下篇

4 一维随机变量

4.1 分布函数

4.1.1 定义与充要条件

定义：

$F_{_{X}}(x)=P\{X\leqslant x\}\ ,\ x\in\mathbb{R}$

充要条件：

值域： $0=F(-\infty)\leqslant F(x) \leqslant F(+\infty)=1$
单调不减： $\forall x_1<x_2\ ,\ F(x_1)\leqslant F(x_2)$
右连续性： $F (x) = F (x + 0)$

4.1.2 概率计算

$\forall x\in\mathbb{R},\ P\{X=x_0\}=F(x_0)-F(x_0-0)\xlongequal{F\in C(U(x_0,\delta))}0$

$\forall x_1<x_2,\ P\{x_1<X\leqslant x_2\}=P\{X\leqslant x_2\}-P\{X\leqslant x_1\}=F(x_2)-F(x_1)$

4.1.3 分布函数判别

$F (a x + b), a > 0$ 仍为分布函数， $a < 0$ 不是分布函数.
$a_1F(x)+a_2F(x),a_1+a_2=1,a_i\geqslant 0$ 仍为分布函数.
$F_1(x)F_2(x)\ ,\ 1-[1-F_1(x)][1-F_2(x)]$ 仍为分布函数.

4.1.4 最值函数

最大值：
$\begin{aligned} F_{_Z}(z)&=P\{\max(X,Y)\leqslant z\}=P\{X\leqslant z,Y\leqslant z\} \\&\xlongequal{X,Y互独}P\{X\leqslant z\}P\{Y\leqslant z\} =F_{_X}(z)F_{_Y}(z) \\&\xlongequal{X,Y同分布}[F_{_X}(z)]^2 \end{aligned}$

$U=\max\{X_1,X_2,\cdots,X_n\}\ ,\ F_{_U}(x)\xlongequal{X_i独立同分布}[F_{_X}(x)]^n$

最小值：
$\begin{aligned} F_Z(z)&=P\{\min(X,Y)\leqslant z\}=P\{(X\leqslant z)\cup (Y\leqslant z)\} \\&\xlongequal{X,Y互独}P\{X\leqslant z\}+P\{Y\leqslant z\}-P\{X\leqslant z,Y\leqslant z\} \\&=F_X(z)+F_Y(z)-F(z,z) \\&\xlongequal{X,Y互独}F_X(z)+F_Y(z)-F_X(z)F_Y(z) \end{aligned}$

$\begin{aligned} F_{_Z}(z)&=P\{\min(X,Y)\leqslant z\}=1-P\{X>z,Y>z\} \\&\xlongequal{X,Y互独}1-P\{X>z\}P\{Y>z\} \\&=1-[1-F_{_X}(z)][1-F_{_Y}(z)]\xlongequal{X,Y互独}1-[1-F_{_X}(z)]^2 \end{aligned}$

$V=\max\{X_1,X_2,\cdots,X_n\}\ ,F_{_V}(x)\xlongequal{X_i\ 独立同分布}1-[1-F_{_X}(x)]^n$

4.2 随机变量

4.2.1 离散型

4.2.1.1 分布律及充要条件

$X\sim P\{X=x_i\}=p_i\ (i\in\mathbb{N}^+)\ \Leftrightarrow \left\{\begin{array}{l} 非负性：p_i\geqslant 0\\ \displaystyle 正则性(规范性)：\sum\limits_{i=1}^{\infty}p_i=1\\ \end{array}\right.$

4.2.1.2 分布函数

$F(x)=P\{X\leqslant x\}=\sum_{x_i\leqslant x}P\{X=x_i\}$

4.2.2 连续型

4.2.2.1 概率密度

充要条件：
$X\sim f_{_X}(x) \Leftrightarrow \left\{\begin{array}{l} 非负性: f(x) \geqslant 0\\ 正则性(规范性): \displaystyle\int_{-\infty}^{+\infty}f(x)\mathrm{d}x=1\\ \end{array}\right.$

性质：

$\displaystyle \forall x_1<x_2\ ,P\{x_1<X\leqslant x_2\}=F(x_2)-F(x_1)=\int_{x_1}^{x_2}f(t)\mathrm{d}t$
有限个点不影响区间面积，即概率，故
(1) $P\{X=x_0\}=F(x_0)-F(x_0-0)\xlongequal{F在x_0处连续} 0$
(2) $P\{a<X<b\}=P\{a\leqslant x\leqslant b\}=P\{a<x\leqslant b\}=P\{a\leqslant x<b\}$
$f (x)$ 在 $x$ 处连续，则 $F^{'} (x) = f (x)$
(1) $F (x)$ 必连续， $f (x)$ 未必(函数连续可积性质)
(2) $F (x)$ 不连续则非连续型，无概率密度.
例如： $\displaystyle F(x)=\left\{ \begin{array}{l}0\quad,x<0\\ x/2,0\leqslant x<1\\1\quad,x\geqslant 1\\\end{array}\right.,P\{X=1\}=F(1)-F(1-0)=\frac{1}{2}$ 为混合型.

概率密度判别：

$a f (a x + b)$ 仍为密度，因为 $\displaystyle \int_{-\infty}^{+\infty}f(ax+b)\mathrm{d}(ax+b)=1$ .
$a_1f_1(x)+a_2f(x_2),a_1+a_2=1,a_i \geqslant 0$ 仍为密度 .
$f_1(x)\cdot f_2(x)$ 未必是密度.
$\displaystyle f_1(x)F_1(x)+f_2(x)F_2(x)=\frac{\mathrm{d}[F_1(x)F_2(x)]}{\mathrm{d}x}$ 仍为密度.

4.2.2.2 分布函数

$F(x)=P\{X\leqslant x\}=\int_{-\infty}^{x}f(t)\mathrm{d}t,f(x)\geqslant 0\ ; \\P\{X<x\}=F(x-0)$

4.2.2.3 推论

$X\sim F_{_X}(x)\in C(\mathbb{R})\ \Rightarrow\ Y=F_{_X}(X)\sim U(0,1)$

proof:
$\forall\ y\in [0,1],$
$P\{Y=F_{_X}(X)\leqslant y\}=P\{X \leqslant F_{_X}^{-1}(y)\}=F_{_X}[F_{_X}^{-1}(y)]=y$

故 $Y=F_{_X}(X)\sim U(0,1)$

4.3 Y=g(X) 概率分布

4.3.1 离散型

$P\{X=x_i\}=p_i \ \xRightarrow{\ Y=g(X)\ }\ P\{Y=g(x_i)\}=p_i$

4.3.2 连续型

mathod1:(图像)

$Y=g(X)\subset (\alpha,\beta)$ ，由 $Y = y$ 确定 $g(X)\leqslant y$ 的 $X$ 范围，

$y<\alpha,F_{_Y}(y)=0$
$y\geqslant \beta,F_{_Y}(y)=1$
$\displaystyle\alpha\leqslant y< \beta,P\{g(X)\leqslant y\}=P\{\varphi_1(y)\leqslant X\leqslant \varphi_2(y)\}=\int_{\varphi_1(y)}^{\varphi_2(y)}f_{_X}(t)\mathrm{d}t \\ \Rightarrow \left\{\begin{array}{l}可积：直接计算分布函数\\ 不可积：变限积分求导，求解概率密度\end{array}\right.$

mathod2:(公式)
$F_{_Y}(y)=P\{Y=g(X)\leqslant y\}=P\{X\leqslant g^{-1}(y)\}=F_{_X}[g^{-1}(y)]=\int_{-\infty}^{g^{-1}(y)}f_{_X}(t)\mathrm{d}t$

$f_{_Y}(y)=\left\{\begin{array}{l} \displaystyle F_{_Y}'(y)=\left[\int_{-\infty}^{g^{-1}(y)}f_{_X}(t)\mathrm{d}t\right]'=f_{_X}[g^{-1}(y)]\cdot|[g^{-1}(y)]'|\ ,y\in I\\ 0\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\ ,\ otherwise\\\end{array}\right.$
Tips: 此处反函数仅展示运算过程，实际反函数未必存在。

4.3.3 混合型

不存在分布律和密度，仅求解 $F_{_Y}(y)$ .

5 二维随机变量

5.1 分布函数

5.1.1 联合分布函数

定义：
$F(x,y)=P\{(X\leqslant x)\cap (Y\leqslant y)\}=P\{X\leqslant x,Y\leqslant y\}\ (x,y\in\mathbb{R})$

值域：
$\leqslant \begin{array}{l}F(-\infty,y)\\F(x,-\infty)\\F(-\infty,+\infty)\end{array} \leqslant F(x,y)\leqslant F(-\infty,+\infty)=1$

右连续性：
$F(x,y)=F(x+0\ ,y)=F(x\ ,y+0)$

区域计算：
$\begin{aligned} P\{(X,Y)\in D\}&=P\{x_1<X\leqslant x_2\ ,\ y_1<Y\leqslant y_2\} \\&=F(x_2,y_2)-F(x_2,y_1)+F(x_1,y_1)-F(x_1,y_2) \end{aligned}$

5.1.2 边缘分布函数

$\begin{aligned} F_{_X}(x)&=P\{X\leqslant x\}=P\{X\leqslant x,Y\leqslant +\infty\}=F(x,+\infty) \\ \\F_{_Y}(y)&=P\{Y\leqslant y\}=P\{X\leqslant +\infty,Y\leqslant y\}=F(+\infty,y) \end{aligned}$

5.2 概率密度

5.2.1 离散型

5.2.1.1 联合概率分布

$\begin{matrix}p_{ij}\geqslant 0 & y\\ \quad & \quad\\ x& \quad\\ \end{matrix}$	$y_1$	$y_2$	$\cdots$	$y_n$	$\cdots$	$p_{i\cdot}=\sum\limits_{i=1}^{\infty}p_{ij}=1$
$x_1$	$p_{11}$	$p_{12}$	$\cdots$	$p_{1n}$	$\cdots$	$p_{1\cdot}$
$x_2$	$p_{21}$	$p_{22}$	$\cdots$	$p_{2n}$	$\cdots$	$p_{2\cdot}$
$\vdots$	$\vdots$	$\vdots$		$\vdots$		$\vdots$
$x_n$	$p_{n1}$	$p_{n2}$	$\cdots$	$p_{nm}$	$\cdots$	$p_{m\cdot}$
$\vdots$	$\vdots$	$\vdots$		$\vdots$		$\vdots$
$p_{\cdot j}=\sum\limits_{j=1}^{\infty}p_{ij}=1$	$p_{\cdot 1}$	$p_{\cdot 2}$	$\cdots$	$p_{\cdot n}$	$\cdots$	$\sum\limits_{i=1}^{\infty}\sum\limits_{j=1}^{\infty}p_{ij}=1$

5.2.1.2 条件概率分布

$P\{X=x_i|Y=y_i\}=\frac{P\{X=x_i,Y=y_i\}}{P\{Y=y_i\}}=\frac{p_{ij}}{p_{\cdot j}} \\ \\ \\P\{Y=y_i|X=x_i\}=\frac{P\{Y=y_i,X=x_i\}}{P\{X=x_i\}}=\frac{p_{ij}}{p_{i \cdot }}$

5.2.2 连续型

5.2.2.1 联合概率密度

定义：
$F$ 为分布函数， $\displaystyle\exists\ 0<f\in R,\ \mathrm{s.t.}\ F(x,y)=\int_{-\infty}^x\int_{-\infty}^yf(u,v)\mathrm{d}u\mathrm{d}v$

性质：

$\displaystyle f(x,y)\geqslant 0,\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}f(u,v)\mathrm{d}u\mathrm{d}v=F(+\infty,+\infty)=1$
$\displaystyle P\{(X,Y)\in G\}=\iint_{_G}f(x,y)\mathrm{d}x\mathrm{d}y$
$f (x, y)$ 在 $(x, y)$ 连续，则 $\displaystyle \frac{\partial^2F(x,y)}{\partial x\partial y}=f(x,y)$

5.2.2.2 边缘概率密度

$F_{_X}(x)=\int_{-\infty}^x\left[\int_{-\infty}^{+\infty}f(x,y)\mathrm{d}y\right]\mathrm{d}x \ \Rightarrow\ f_{_X}(x)=\int_{-\infty}^{+\infty}f(x,y)\mathrm{d}y \\\quad \\F_{_Y}(y)=\int_{-\infty}^y\left[\int_{-\infty}^{+\infty}f(x,y)\mathrm{d}x\right]\mathrm{d}y \ \Rightarrow\ f_{_Y}(y)=\int_{-\infty}^{+\infty}f(x,y)\mathrm{d}x$

5.2.2.2 条件概率密度

$\begin{aligned} F_{_{Y|X}}(y|x)=\int_{-\infty}^y\frac{f(x,t)}{f_{_X}(x)}\mathrm{d}t \ &\Rightarrow\ f_{_{Y|X}}(y|x)=\frac{f(x,y)}{f_{_X}(x)},\ f_{_X}(x)>0 \\ \\ F_{_{X|Y}}(x|y)=\int_{-\infty}^x\frac{f(t,y)}{f_{_Y}(y)}\mathrm{d}t \ &\Rightarrow\ f_{_{X|Y}}(x|y)=\frac{f(x,y)}{f_{_Y}(y)},\ f_{_Y}(y)>0 \end{aligned}$

注意：求解应确保作为条件的边缘概率为正，除去边缘概率为零的点.

5.3 独立

$\begin{aligned} X,Y 互独 &\xLeftrightarrow{\mathrm{\ def\ }}\ P\{X\leqslant x,Y\leqslant y\}=P\{X\leqslant x\}P\{Y\leqslant y\} \\&\Leftrightarrow F(x,y)=F_{_X}(x)F_{_Y}(y) \\&\xLeftrightarrow{\ _{离散型}\ } P\{X=x_i,Y=y_i\}=P\{X=x_i\}P\{Y=y_i\} \\&\xLeftrightarrow{\ _{连续型}\ } f(x,y)=f_{_X}(x)f_{_Y}(y) \\&\xLeftrightarrow{\ _{条件密度}\ } f_{_{X|Y}}(x|y)=f_{_X}(x) \\&\begin{array}{l}\Rightarrow\\ \nLeftarrow\\\end{array}\ f(X)\ ,\ g(Y) \end{aligned}$

5.4 r.v.函数

$F_{_Z}(z)=P\{g(X,Y)\leqslant z\}=\left\{\begin{array}{l}{\displaystyle \sum\limits_{g(x_i,y_i)\leqslant z}}p_{ij}\\ \\ {\displaystyle \iint\limits_{g(x_i,y_i)\leqslant z}f(x,y)\mathrm{d}x\mathrm{d}y}\\ \end{array}\right. \xlongequal{X,Y互独}\left\{\begin{array}{l} {\displaystyle \sum\limits_{g(x_i,y_i)\leqslant z}}p_ip_j\\ \\ {\displaystyle \iint\limits_{g(x_i,y_i)\leqslant z}f_{_X}(x)f_{_Y}(y)\mathrm{d}x\mathrm{d}y}\\ \end{array}\right.$

6 数字特征

6.1 期望

定义：
$\displaystyle E(X)=\sum_{i=1}^{\infty}x_ip_i=\int_{-\infty}^{+\infty}xf(x)\mathrm{d}x$ 绝对收敛

性质：

$E(C)=C\in\mathbb{R}$
$E (CX) = CE (X)$
$E(X\pm Y)=E(X)\pm E(Y)$
$X, Y$ 独立 $\Rightarrow\ E(XY)=E(X)E(Y) \Leftrightarrow \rho_{XY}=0$ ，即 $X, Y$ 不相关
$E(X^2)=D(X)+[E(X)]^2;E(X^n)$ 则使用定义式，注意奇偶性化简

r.v.函数：
$E(Y)=E[g(X)]=\left\{\begin{array}{l} \displaystyle \sum\limits_{i=1}^{\infty}g(x_i)p_i\\ \\ \displaystyle \int_{-\infty}^{+\infty}g(x)f(x)\mathrm{d}x\\ \end{array}\right.$

$E(Z)=E[g(X,Y)]=\left\{\begin{array}{l} \displaystyle \sum\limits_{j=1}^{\infty}\sum\limits_{i=1}^{\infty}g(x_i,y_i)p_{ij}\\ \\ \displaystyle \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}g(x,y)f(x,y)\mathrm{d}x\mathrm{d}y\\ \end{array}\right.$

6.2 方差

定义：
$D(X)=E\{[X-E(X)]^2\}=E(X^2)-[E(X)]^2$

标准化r.v.：
$E\left(\frac{X-EX}{\sqrt{DX}}\right)=0\ ,\ D\left(\frac{X-EX}{\sqrt{DX}}\right)=1$

性质：

$D (C) = 0$
$D(CX)=C^2D(X)$
$D(X\pm Y)=D(X)+D(Y)\pm 2Cov(X,Y)\xlongequal{独立\Rightarrow 不相关}D(X)+D(Y)$
$D(X)=0\Leftrightarrow P\{X=E(X)\}=1$

6.3 协方差

定义：
$\mathrm{Cov}(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-E(X)E(Y)$

性质：

$\mathrm{Cov}(X,Y)=\mathrm{Cov}(Y,X)$
$\mathrm{Cov}(X,X)=D(X)$
$D(X\pm Y)=D(X)+D(Y)\pm 2\mathrm{Cov}(X,Y)$
$\displaystyle D\left(\sum\limits_{i=1}^{n}X_i\right)=\sum\limits_{i=1}^{n}D(X_i)+\sum\limits_{1 \leqslant i < j \leqslant n}2\mathrm{Cov}(X_i,X_j)$
$\mathrm{Cov}(aX,bY)=ab\ \mathrm{Cov}(X,Y)$
$\mathrm{Cov}(X_1+X_2,Y)=\mathrm{Cov}(X_1,Y)+\mathrm{Cov}(X_2,Y)$

6.4 线性相关系数

定义：
$\rho_{_{XY}}=\frac{\mathrm{Cov}(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$

性质：

$|\rho_{_{XY}}|\leqslant 1$
$|\rho_{_{XY}}|= 1 \Leftrightarrow \exists\ a,b\in\mathbb{R},\mathrm{s.t.}\ P\{Y=aX+b\}=1$ ，且 $\rho_{_{XY}}=\left\{\begin{array}{l}{\ \ 1\ ,a>0}\\{-1,a<0}\\\end{array}\right.$

独立/不相关的结论：

$X, Y$ 独立 $(P(XY)=P(X)P(Y))\ \begin{array}{l}{\Rightarrow}\\{\nLeftarrow}\\\end{array} X,Y$ 不相关 $\Leftrightarrow \rho_{_{XY}}=0\ \left\{\begin{array}{l}{\Leftrightarrow \mathrm{Cov}(X,Y)=0}\\{\Leftrightarrow E(XY)-E(X)E(Y)=0}\\{\Leftrightarrow D(X\pm Y)=D(X)\pm D(Y)}\\\end{array}\right.$

Tips: 不相关即二者无线性关系，但可能存在其他关系；独立即不存在任何关系.

$(X,Y)\sim N;\ X,Y$ 独立 $\ \Leftrightarrow\ X,Y$ 不相关
$X,Y\sim B(1,p);\ X,Y$ 独立 $\ \Leftrightarrow\ X,Y$ 不相关

6.5 矩

$k$ 阶原点矩： $E(X^k)$
$k$ 阶中心矩： $E\{[X-E(X)]^k\}$
$k + l$ 阶混合矩： $E(X^kY^l),\ E[(X-EX)^k(Y-EY)^l]$

期望 $E (X)$ 即为一阶原点矩，方差 $D(X)=E\{[X-E(X)]^2\}$ 为二阶中心矩.

7 统计量

7.1 相关概念

总体： 所要研究问题有关个体的全体构成的集合.
样本： 按一定规定从总体中抽取的一部分个体.

抽到哪些个体是随机的，因而样本为随机变量。
一组样本由简单随机抽样得到，因而相互独立。

总体和样本都为随机变量，且同分布.

例：研究全国人的年龄，总体为全国所有人的年龄，个体：每个人的年龄，随机变量可以抽取全国任何一个人的年龄，一组样本从中抽取n个人的年龄。
矩估计即由样本估计总体，采用替换原理，使用样本矩替换总体矩。

7.2 统计量

样本均值：
$\bar{X}=\frac{1}{n}\sum\limits_{i=1}^{n}X_i \ \Rightarrow \left\{\begin{array}{l} E(\bar{X})=\mu\\ \\ \displaystyle D(\bar{X})=\frac{D(X)}{n}=\frac{\sigma^2}{n}\\ \end{array}\right.$

样本方差：
$S^2=\frac{1}{n-1}\sum\limits_{i=1}^{n}(X_i-\bar{X})^2=\frac{1}{n-1}\left(\sum\limits_{i=1}^{n}X_i^2-n\bar{X}\right) \Rightarrow E(S^2)=D(X)=\sigma^2$

常用的计算数字特征替换：

$\sum\limits_{i=1}^{n}X_i=n\bar{X}$
$(n-1)S^2=\sum\limits_{i=1}^{n}(X_i-\bar{X})$
$E(\chi^2(n))=n,D(\chi^2(n))=2n$

正态分布总体：

$\bar{X}$ 与 $S^2$ 相互独立，即 $\bar{X}$ 与 $\sum\limits_{i=1}^n(X_i-\bar{X})^2$ 独立

$\Rightarrow \left\{\begin{array}{l} \bar{X} 与 S^2 不相关，E(\bar{X}S^2)=E(\bar{X})E(S^2)\\ \\ f(\bar{X})与g(S^2)相互独立\Rightarrow f(\bar{X})与g(S^2) 不相关\\ \end{array}\right.$

$\frac{(n-1)S^2}{\sigma^2}=\sum\limits_{i=1}^{n}\left(\frac{X_i-\bar{X}}{\sigma}\right)^2\sim \chi^2(n-1) \xRightarrow{D(\chi^2(n))=2n} D\left(\frac{(n-1)S^2}{\sigma^2}\right)=2(n-1)\Rightarrow D(S^2)=\frac{2\sigma^4}{n-1}$
$\displaystyle \frac{\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}} {\sqrt{\frac{(n-1)S^2}{\sigma^2}/(n-1)}}=\frac{\bar{X}-\mu}{S/\sqrt{n}}\sim t(n-1)$
$\displaystyle \bar{X}\sim N(\mu,\frac{\sigma^2}{n})\Rightarrow \frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1) \xRightarrow{\mu=0} \frac{n\bar{X}^2}{\sigma^2}\sim \chi^2(1) \Rightarrow D\left(\frac{n\bar{X}^2}{\sigma^2}\right)=2 \Rightarrow D(\bar{X}^2)=\frac{2\sigma^4}{n^2}$
$\displaystyle \frac{X_i-\mu}{\sigma}\sim N(0,1)\Rightarrow \sum\limits_{i=1}^{n}\left(\frac{X_i-\mu}{\sigma}\right)^2=\frac{1}{\sigma^2}\sum\limits_{i=1}^{n}(X_i-\mu)^2\sim \chi^2(n)\xRightarrow{\mu=0} \frac{X^2}{\sigma^2}\sim \chi^2(1) \Rightarrow D\left(\frac{X^2}{\sigma^2}\right)=2\Rightarrow D(X^2)=2\sigma^2$

Tips: 计算某量的平方方差，标准化转化卡方分布，降次.

8 参数估计

8.1 点估计

8.1.1 矩估计

8.1.1.1 样本矩与总体矩

样本矩：
$k$ 阶原点矩： $\displaystyle A_k=\frac{1}{n}\sum\limits_{i=1}^{n}X_i^k$
$k$ 阶中心矩： $\displaystyle B_k=\frac{1}{n}\sum\limits_{i=1}^{n}(X_i-\bar{X})^k$

总体矩：
$k$ 阶原点矩： $E(X^k)$
$k$ 阶中心矩： $E\{[X-E(X)]^k\}$

8.1.1.2 替换原理

由样本矩代替总体矩，即 $A_k:=E(X^k),B^k:=E\{[X-E(X)]^k\}$ ，联立方程求解待故参数，从而由样本估计总体.

8.1.1.3 参数方程联立

$k$ 个待估参数 $\theta_i$ ，联立 $k$ 个方程，构建含参且易解方程。(不同方法估计结果可能不唯一)

8.1.1.3.1 单参估计

一阶原点矩方程：
$\frac{1}{n}\sum\limits_{i=1}^{n}X_i \ :=\ E(X)=g(\theta)$

若一阶矩计算 $E (X)$ 后不含待估参数则使用二阶矩方程.

二阶原点矩方程：
$\frac{1}{n}\sum\limits_{i=1}^{n}X_i^2 \ :=\ E(X^2)=g(\theta)$

8.1.1.3.2 双参估计

一阶与二阶原点矩联立方程组：
$\left\{\begin{array}{l} \frac{1}{n}\sum\limits_{i=1}^{n}X_i \ :=\ E(X)=g(\theta_1,\theta_2)\\ \\ \frac{1}{n}\sum\limits_{i=1}^{n}X_i^2 \ :=\ E(X^2)=h(\theta_1,\theta_2)\\ \end{array}\right.$

一阶原点矩与二阶中心矩联立方程组：
$\left\{\begin{array}{l} \frac{1}{n}\sum\limits_{i=1}^{n}X_i \ :=\ E(X)=g(\theta_1,\theta_2)\\ \\ \frac{1}{n}\sum\limits_{i=1}^{n}(X_i-\bar{X})^2 \ :=\ E\{[X-EX]^2\}=h(\theta_1,\theta_2)\\ \end{array}\right.$

8.1.2 极大似然估计

Step1:
构造似然函数 $L(\theta)=L(x_1,\cdots,x_n\ ;\theta_1,\cdots,\theta_k)=\prod\limits_{i=1}^{n}f(x_i\ ;\theta_1,\cdots,\theta_k)$

Step2:
利用导数求极大值点
$\displaystyle \frac{\mathrm{d}L(\theta)}{\mathrm{d}\theta_j} :=0\ \Rightarrow\ \hat{\theta_j}\ (j=1,\cdots,k)$

若直接求导不便，可将似然函数取对数 $\displaystyle\ln{L(\theta)}=\sum\limits_{i=1}^n\ln{f(x_i;\theta_1,\cdots,\theta_k)}$ ，而后求导，
$\displaystyle \frac{\mathrm{d}\ln L(\theta)}{\mathrm{d}\theta_j} :=0\ \Rightarrow\ \hat{\theta_j}\ (j=1,2,\cdots,k)$

Step3:
若有解，所得即所求；
若无解，则似然函数单调，估值应在边界点处取得，即 $\left\{\begin{array}{l} \uparrow\ :\ \hat{\theta}=\min\{X_i\}\\ \downarrow\ :\ \hat{\theta}=\max\{X_i\}\\ \end{array}\right.$

8.1.3 估计量评选标准

无偏性：

若 $E(\hat{\theta})=\theta$ ，则 $\theta$ 为未知参数 $\theta$ 的无偏估计量.

有效性：

若 $E(\hat{\theta_1})=E(\hat{\theta_2})=\theta,D(\hat{\theta_1})<D(\hat{\theta_2})$ ，则 $\hat{\theta_1}$ 比 $\hat{\theta_2}$ 更有效.

一致性(相合性)：

$\hat{\theta_n}=\hat{\theta}(X_1,\cdots,X_n)$ 依概率收敛于 $\theta$ ，即 $\displaystyle\lim_{n\to\infty}P\{|\hat{\theta_n}-\theta|<\varepsilon\}=1$ ，则 $\hat{\theta}$ 为一致估计量.

Tips: 由辛钦大数定律或切比雪夫不等式判别.

8.1.4 大数定律与中心极限定理

Chebyshev 不等式：

$\left\{\begin{array}{l} \exists\ E(X_i)=\mu\\ \\ \exists\ D(X_i)=\sigma^2\\ \end{array}\right. \xRightarrow{\ \forall \varepsilon >0\ \ } \left\{\begin{array}{l} P\{|X-E(X)|\geqslant \varepsilon\}\leqslant \frac{D(X)}{\varepsilon^2}\\ \\ P\{|X-E(X)|< \varepsilon\}\geqslant 1-\frac{D(X)}{\varepsilon^2}\\ \end{array}\right.$

Khinchin 大数定律： 样本均值依概率收敛于期望.

$\left\{\begin{array}{l} X_i \ \ I.I.D.\\ \exists\ E(X_i)=\mu\\ \end{array}\right. \xRightarrow{\ \forall \varepsilon >0\ \ } \lim_{n\to\infty}P\left\{\lvert\frac{1}{n}\sum_{i=1}^nX_i-\mu\rvert<\varepsilon\right\}=1$

Lindberg-levi 中心极限定理： 样本均值依分布收敛于标准正态.

$\left\{\begin{array}{l} X_i\ \ I.I.D.\\ \exists\ E(X_i)=\mu\\ \exists\ D(X_i)=\sigma^2 \end{array}\right. \xRightarrow{\ \forall x \in\mathbb{R}\ \ } \lim_{n\to\infty}P\left\{\lvert\frac{\frac{1}{n}\sum_{i=1}^nX_i-\mu}{\frac{\sigma}{\sqrt{n}}}\rvert<x\right\}=\Phi(x)$

8.2 区间估计

8.2.1 置信区间

$\theta$ 是总体的一个参数，参数空间为 $\Theta$ ， $x_k(k=1,\cdots,n)$ 是来自该总体的样本，对于给定的 $\alpha(0<\alpha<1)$ ，假设有两个统计量 $\hat{\theta}_L=\hat{\theta}_L(x_1,\cdots,x_n),\hat{\theta}_U=\hat{\theta}_U(x_1,\cdots,x_n)$ ，对于任意的 $\theta\in \Theta$ ，有
$P_{\theta}\left(\hat{\theta}_L\leqslant \theta \leqslant\hat{\theta}_U\right)=1-\alpha$
则称 $[\hat{\theta}_L,\hat{\theta}_U]$ 为 $\theta$ 的置信度为 $1-\alpha$ 的同等置信区间， $\alpha$ 称显著性水平.

8.2.2 枢轴变量法

$X\sim N(\mu,\sigma^2)$ ，求解参数 $\mu$ 一个置信度为 $1-\alpha$ 的区间估计.
(1) $\sigma^2$ 已知时 $\mu$ 的置信区间;
(2) $\sigma^2$ 未知时 $\mu$ 的置信区间.

sol: (1)
$\displaystyle Y=\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1)$
$\begin{aligned} 1-\alpha &=P\left\{-u_{\frac{\alpha}{2}}\leqslant Y=\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\leqslant u_{\frac{\alpha}{2}}\right\} \\&=P\left\{\bar{X}-\frac{\sigma}{\sqrt{n}}u_{\frac{\alpha}{2}}\leqslant \mu \leqslant \bar{X}+\frac{\sigma}{\sqrt{n}}u_{\frac{\alpha}{2}}\right\} \end{aligned}$
(2)
$\displaystyle Y=\frac{\bar{X}-\mu}{S/\sqrt{n}}\sim t(n-1)$
$\begin{aligned} 1-\alpha &=P\left\{-t_{\frac{\alpha}{2}}(n-1) \leqslant Y=\frac{\bar{X}-\mu}{S/\sqrt{n}}\leqslant t_{\frac{\alpha}{2}}(n-1)\right\} \\&=P\left\{\bar{X}-\frac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1)\leqslant \mu \leqslant \bar{X}+\frac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1)\right\} \end{aligned}$

9 假设检验

附录

概率论与数理统计(上篇)

原文链接：https://blog.csdn.net/qq_45224889/article/details/127860932