算法的优缺点_逻辑回归算法的优缺点

f75daf23c82b54f7f0d0e5645a26c75e.png


  机器学习算法与自然语言处理推荐 

来源:网络整理

编辑:忆臻

【机器学习算法与自然语言处理导读】逻辑回归算法是最经典的几个机器学习算法之一,本文对它的优点,缺点进行总结。

1.  逻辑回归算法

逻辑回归属于判别式模型,同时伴有很多模型正则化的方法(L0, L1,L2,etc),而且你不必像在用朴素贝叶斯那样担心你的特征是否相关。与决策树、SVM相比,你还会得到一个不错的概率解释,你甚至可以轻松地利用新数据来更新模型(使用在线梯度下降算法-online gradient descent)。如果你需要一个概率架构(比如,简单地调节分类阈值,指明不确定性,或者是要获得置信区间),或者你希望以后将更多的训练数据快速整合到模型中去,那么使用它吧。

Sigmoid函数:表达式如下:

ba930ef2821eec804d05318b7dcc8683.png

2.  优点

1. 实现简单,广泛的应用于工业问题上;

2. 分类时计算量非常小,速度很快,存储资源低;

3. 便利的观测样本概率分数;

4. 对逻辑回归而言,多重共线性并不是问题,它可以结合L2正则化来解决该问题;

5. 计算代价不高,易于理解和实现。

3.  缺点

1. 当特征空间很大时,逻辑回归的性能不是很好;

2. 容易欠拟合,一般准确度不太高;

3. 不能很好地处理大量多类特征或变量;

4. 只能处理两分类问题(在此基础上衍生出来的softmax可以用于多分类),且必须线性可分;

5. 对于非线性特征,需要进行转换。

4.  logistic回归应用领域:

1. 用于二分类领域,可以得出概率值,适用于根据分类概率排名的领域,如搜索排名等;

2. Logistic回归的扩展softmax可以应用于多分类领域,如手写字识别等;

3. 信用评估;

4. 测量市场营销的成功度;

5. 预测某个产品的收益;

6. 特定的某天是否会发生地震。

5.  logistic算法与其它算法比较

线性回归做分类因为考虑了所有样本点到分类决策面的距离,所以在两类数据分布不均匀的时候将导致误差非常大;LR和SVM克服了这个缺点,其中LR将所有数据采用sigmod函数进行了非线性映射,使得远离分类决策面的数据作用减弱;SVM直接去掉了远离分类决策面的数据,只考虑支持向量的影响。

   但是对于这两种算法来说,在线性分类情况下,如果异常点较多无法剔除的话,LR中每个样本都是有贡献的,最大似然后会自动压制异常的贡献;SVM+软间隔对异常比较敏感,因为其训练只需要支持向量,有效样本本来就不高,一旦被干扰,预测结果难以预料。

35415ee5231226da81c80829bc9f0613.png

推荐阅读:

推荐几个我关注的技术牛逼号

漫话:如何给女朋友解释为什么双11无法修改收货地址

2019 AI 国际顶级学术会议全在这里,请查收!

fea977071385bbadfe63d8df2be0c022.png


版权声明:本文为weixin_30819757原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。