贝叶斯分类器

前言

随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就贝叶斯分类器进行展开介绍。

一、贝叶斯决策论

1.1 概念

贝叶斯决策论是基于概率框架下实施决策的基本方法。对于分类任务而言，贝叶斯决策论是基于概率和误判损失以此进行优化选择最优标记。本文主要讨论多分类任务下追求最小化分类错误率的情况。

1.2 数学推理

对于训练数据集$D$，其样本数为$m$，总共有$N$种可能的类别标记，即$\gamma \in c_1,c_2,...,c_N$。对于多分类任务下追求最小化分类错误率而言，我们期望可以得到一个判定准则，使每个样本$x_k,k=1,2,..,m$的预测标签$c_j,j=1,2,...,N$都能尽可能接近真实标签$c_i,i=1,2,...,N$，即对整体风险(损失)：
$$R(h)=E_x[R(h(x)|x)]\text{\hspace{1em}(1-1)}$$
进行最小化处理：
$$R^{\ast }(h)=argminR(h)\text{\hspace{1em}(1-2)}$$
其中，$R^{\ast }(h)$表示整体最小损失，$x$代表单个样本，$h(x)$表示样本$x$在分类产生的损失。
由上式1-2可知，若单个样本的风险均能最小化，其总体风险亦将最小化，即贝叶斯判定准则：为最小化总体风险，只需在每个样本上选择能使单样本风险最小化的类别标记即可。
那么，下面我们将对单个样本进行讨论。
对于单个样本，且追求最小化分类错误率，那么有：
$$h^{\ast }(x)=argminR(c|x),c\in \gamma \text{\hspace{1em}(1-3)}$$
其中，$h^{\ast }(x)$被称为贝叶斯最优分类器；$R(c|x)$代表样本$x$分类为$c$所产生的损失，且$c=c_i,i=1,2,...,N$，那么对于损失$R(c|x)$则有：
$$R(c|x)=R(c_i|x)=\sum _{j=1}^N{\lambda }_{ij}P(c_j|x)\text{\hspace{1em}(1-4)}$$
其中，$P(c_j|x)$是基于后验概率获得的将样本分类$x$为$c_j$所产生的期望损失；${\lambda }_{ij}$为真实标签$c_i$误分类为$c_j$所产生的损失，且本文基于多分类任务下追求最小化分类错误率进行讨论，那么有：
$${\lambda }_{ij}=\{\begin{array}{l}0,ifi=j\\ 1,otherwise\end{array}\text{\hspace{1em}(1-5)}$$
根据上述公式进行推理：
$$\begin{gathered} h^{\ast }(x)=argminR(c|x) \\ =argminR(c_i|x) \\ =argmin(1-P(c_i|x)) \\ =argmaxP(c_i|x) \\ =argmaxP(c|x)\text{\hspace{1em}(1-6)} \end{gathered}$$
由上式可知，若采用贝叶斯优化器优化最小决策风险，实际转化为最大化后验概率$P(c|x)$，即首先需要获得$P(c|x)$，但在现实任务中难以获得。为此，可采用“生成式模型”解决，即建模$P(x,c)$联合概率分布，以求得$P(c|x)$,公式如下：
$$P(c|x)=\frac{P(x,c)}{P(x)}\text{\hspace{1em}(1-7)}$$
那么，根据贝叶斯定理，后验概率$P(c|x)$可写为：
$$P(c|x)=\frac{P(c)P(x|c)}{P(x)}\text{\hspace{1em}(1-8)}$$
其中，$P(c)$是类“先验概率”；$P(x|c)$是样本$x$相对于类标记$c$的类条件概率，即“似然”；$P(x)$是用于“归一化”的证据因子，与类标记$c$无关。因此，求后验概率$P(c|x)$问题转化为求$P(c)$和$P(x|c)$问题。
类先验概率$P(c)$实际代表训练数据集$D$中各类样本的分布比例（例如，10名学生，男生6人，女生4人，那么$P(男)=0.6，$$P(女)=0.4$），其求解较为简单，只需统计数据集$D$中各类标签的样本数即可。
类条件概率$P(x|c)$需要统计样本$x$上的所有属性的联合概率，现实应用中难以求解。存在的主要难点是：1.数据量庞大，假设样本上的$d$个属性均有$n$个取值方式，则样本空间为$n^d$，其往往远大于数据集$D$中的样本数量$m$；2.无法依据样本出现的频率进行概率统计，贝叶斯定理是基于概率的一种分类方法，如1中所言，样本空间取值数为$n^d$往往远大于样本数$m$，这就导致许多样本取值并未在$D$中出现，显然无法采用频率统计。

二、极大似然估计

2.1 概念

由上述内容可知，我们将最初的任务——多分类任务下追求最小化分类错误率转换成求解最大化类条件概率$P(x\mid c)$，且已知求解$P(x\mid c)$需要统计样本$x$上的所有属性的联合概率，其在现实应用中是难以计算的。因此，我们采用常用的估计类条件概率进行求解。估计类条件概率常用策略是：先假定数据具有某种确定的概率分布形式，再基于训练样本对概率分布的参数进行估计。接下来将详细介绍源自频率主义学派的极大似然估计方法。

2.2 数学推理

由式1-8可知，类条件概率为$P(x|c)$，假设其具有确定的形式且被参数${\theta }_c$唯一确定，那么对于寻找最优解的任务就转换成：首先利用训练集$D$估计参数${\theta }_c$，然后在所有的${\theta }_c$中，找到一个能使数据的“可能性”最大的值，我们记这样的估计参数${\theta }_c$为${\hat{\theta }}_c$。
具体的，假设$D_c$表示训练集$D$中第$c$类样本组成的集合，且这些样本是独立同分布的，那么${\theta }_c$对于$D_c$的似然为：
$$P(D_C|{\theta }_c)=\prod _{x\in D_c}P(x|{\theta }_c)\text{\hspace{1em}(2-1)}$$
但式2-1的连乘操作易出现数据下溢情况，因此通常采用对数似然方程：
$$\begin{gathered} LL({\theta }_c)=logP(D_c|{\theta }_c) \\ =\sum _{x\in D_c}logP(x|{\theta }_c)\text{\hspace{1em}(2-2)} \end{gathered}$$
接下来只需要找到参数${\theta }_c$的最优解${\hat{\theta }}_c$，即：
$${\hat{\theta }}_c=ar{g}_{{\theta }_c}maxLL({\theta }_c)$$
假设数据$D_c$是连续属性，且概率密度函数$p(x|c)\sim \mathrm{N}({\mu }_c,{\sigma }_c^2)$，则参数${\mu }_c$和${\sigma }_c^2$的极大似然估计为：
$${\hat{\mu }}_c=\frac{1}{|D_c|}\sum _{x\in D_c}x\text{\hspace{1em}(2-3)}$$
$${\sigma }_c^2=\frac{1}{|D_c|}\sum _{x\in D_c}(x-{\hat{\mu }}_c)(x-{\hat{\mu }}_c{)}^T\text{\hspace{1em}(2-4)}$$
由上式2-3、2-4可知，由极大似然估计得到的正态分布均值即为样本均值，方差即为$(x-{\hat{\mu }}_c)(x-{\hat{\mu }}_c{)}^T$的均值。
虽然这种参数化估计方法能够使得类条件概率变得相对简单，但是其估计结果的准确性严重依赖于所假设的概率分布形式是否符合潜在的真实数据分布。现实应用中，若能较好地接近潜在真实分布的假设，往往需要在一定程度上利用关于应用任务本身的经验知识。

未完。。。

参考文献

[1] 周志华.机器学习[M].北京:清华大学出版社,2016
[2] Python数据科学.详解贝叶斯学派与频率学派的区别和联系，2021

​