概率统计经典方法(1)：示性函数与概率不等式

示性函数

示性函数，顾名思义，是表示自变量性态的一个函数。作为一个使用、表达都很简便的函数，它在概率论与数理统计以及实变函数中被广泛运用，但目前市面上的一些概率统计教材上却对示性函数避而不谈，这里就为大家介绍一下示性函数以及它的一些性质与用途。

示性函数的定义

$$\begin{gathered} I_A(\omega )=\{\begin{array}{ll} \\ 0& \omega \notin A\\ 1& \omega \in A\end{array} \end{gathered}$$
可以看见，示性函数的函数值只取0或1，其下标$A$表示一个集合，括号内表示自变量
在概率统计中，示性函数可以写作如此
$$\begin{gathered} I_{\left\{X\in A\right\}}=\{\begin{array}{ll} \\ 0& X\notin A\\ 1& X\in A\end{array} \end{gathered}$$
这里的$X$是一个随机变量，括号可以省略（自变量为$\omega$样本点）
也就是说此时的示性函数是关于随机变量$X$的一个函数，也是一个随机变量，不妨记
$$Y=I_{\left\{X\in A\right\}}$$
既然示性函数也是个随机变量，那我们可以对它求期望，它的期望是
$$EY=E{I}_{\left\{X\in A\right\}}=1\cdot P\left\{X\in A\right\}+0\cdot P\left\{X\notin A\right\}=P\left\{X\in A\right\}$$
也就是说，示性函数的期望就等于它下标事件发生的概率，这是示性函数的一个重要性质。

概率不等式

概率论中有着许许多多重要的不等式，其中包括著名的切比雪夫不等式，但一般教材上给出的证明方法较为繁琐，通常都要分为连续型、离散型来分别证明，但如果我们灵活运用示性函数，可以给出更为巧妙方便的证明方法。

切比雪夫不等式

$$P\{|X-EX|\ge ϵ\}\le \frac{Var(X)}{{ϵ}^2}$$
$证明$
$${ϵ}^2{I}_{\{|X-EX|\ge ϵ\}}\le |X-EX{|}^2{I}_{\{|X-EX|\ge ϵ\}}\le |X-EX{|}^2$$
$对上式左端和右端同时取期望，有$
$$\begin{gathered} {ϵ}^{2}E{I}_{\{|X-EX|\ge ϵ\}}\le E|X-EX{|}^2 \\ {ϵ}^{2}P\{|X-EX|\ge ϵ\}\le Var(X) \end{gathered}$$
$移项，有切比雪夫不等式成立$

马尔可夫不等式

$马尔可夫不等式是概率论中的另一重要不等式，是切比雪夫不等式的一般形式$
$若仅取非负值的随机变量X其n阶矩存在，则有下述不等式成立$
$$P\{X\ge ϵ\}\le \frac{E{X}^n}{{ϵ}^n}$$

$证明$
$${ϵ}^n{I}_{\{X\ge ϵ\}}\le X^{n}I\{X\ge ϵ\}\le X^n$$
$左右端取期望立即得证$
$当n=2时，就是切比雪夫不等式$

推广的马尔可夫不等式

$这一结论是茆诗松老师书上的一道习题，是一个非常一般化的结论$
$X是仅取非负值的随机变量，f是单调非减的正值函数，则有下述不等式成立$
$$P\{X\ge ϵ\}\le \frac{Ef(X)}{f(ϵ)}$$
$证明$
$$f(ϵ)I_{\{X\ge ϵ\}}\le f(X)I_{\{X\ge ϵ\}}\le f(X)$$
$左右端取期望立即得证$
$令f(x)=x^n,就是马尔可夫不等式$

另一个例子

$A，B是两个事件，试证明|P(AB)-P(A)P(B)|\le \frac{1}{4}$
$证明$
$$\begin{gathered} 记X=I_A,Y=I_B \\ 则|P(AB)-P(A)P(B)|=|EXY-EXEY|=|Cov(X,Y)|=|\rho (X,Y)|\sqrt{Var(X)Var(Y)} \\ 而Var(X)=E{X}^2-(EX{)}^2=P(A)-(P(A){)}^2\le \frac{1}{4} \\ 同理Var(Y)\le \frac{1}{4} \\ 又|\rho (X,Y)|\le 1 \\ 故|P(AB)-P(A)P(B)|\le \frac{1}{4} \end{gathered}$$