"朴素"由来
朴素贝叶斯(Naive Bayes)方法是一组监督学习算法,它基于贝叶斯定理,“天真地”“朴素”地假设特征之间互相独立,即一个特征的存在与其他特征的存在无关。这也是“朴素”“Naive”一词的缘由。
贝叶斯定律及案例:https://blog.csdn.net/houhuipeng/article/details/90706539
样本E = ( x 1 , x 2 . . . x n ) E=(x_1,x_2...x_n)E=(x1,x2...xn)属于类别c cc的概率为:
p ( c ∣ E ) = p ( E ∣ c ) p ( c ) p E p(c|E)=\frac{p(E|c)p(c)}{p{E}}p(c∣E)=pEp(E∣c)p(c)当满足E EE为c cc的﹢ ﹢﹢例的概率大于− -−例时,可以确定E EE属于c cc
f b ( E ) = p ( C = + ∣ E ) p = − ∣ E ≥ 1 f_b(E)=\frac {p(C=+|E)}{p=-|E} \geq1fb(E)=p=−∣Ep(C=+∣E)≥1假设特征互相独立,则p ( E ∣ c ) = p ( x 1 , x 2 . . . x n ∣ c ) = ∏ i = 1 n p ( x i ∣ c ) p(E|c)=p(x_1,x_2...x_n|c)=\prod_{i=1}^np(x_i|c)p(E∣c)=p(x1,x2...xn∣c)=i=1∏np(xi∣c)
最终可得:f n b ( E ) = p ( C = + ) p ( C = − ) ∏ i = 1 n p ( x i ∣ C = + ) p ( x i ∣ C = − ) f_{nb}(E)=\frac{p(C=+)}{p(C=-)}\prod_{i=1}^n\frac{p(x_i|C=+)}{p(x_i|C=-)}fnb(E)=p(C=−)p(C=+)i=1∏np(xi∣C=−)p(xi∣C=+)
优缺点分析
朴素贝叶斯模型是一组极其快速和简单的分类算法,通常适用于非常高维的数据集。因为它们如此之快并且可调参数很少,所以它们最终作为分类问题的快速基础非常有用。
优点:运算速度快,模型简单可调参数少。
缺点:前提假设大多数情况下不成立。
根据假设特征分布的不同,可分为:
- 高斯朴素贝叶斯
- 多项式朴素贝叶斯
- 补充朴素贝叶斯
- 伯努利朴素贝叶斯
参加sklearn官方文档:
https://scikit-learn.org/stable/modules/naive_bayes.html