机器学习与数据挖掘相关算法汇总

本文供机器学习学习者作为方向指导。
参考资料：

http://tieba.baidu.com/p/4843600839?fr=ala0&pstaala=1&tpl=5&isgod=0

http://www.cnblogs.com/IvanSSSS/p/4951758.html

声明：
特殊子领域的一些算法不包含在内：计算智能（进化算法等）、计算机视觉（CV）、自然语言处理（NLP）、推荐系统、强化学习和图模型。

回归算法（Regression Algorithm）

1. 普通最小二乘回归（OLSR）
2. 线性回归（Linear Regression）
3. 逻辑回归（Logistic Regression）
4. 逐步回归
5. 多元自适应回归样条法（MARS）
6. 局部估计平滑散点图（LOESS）

基于实例的学习算法（Example-based Algorithm）

1. K临近算法（KNN）
2. 学习矢量量化算法（LVQ）
3. 自组织映射算法（SOM）
4. 局部加权学习法（LWL）

正则化算法

1. 岭回归
2. LASSO
3. Elastic Net
4. 逐步回归
5. 最小角回归算法（LARS）

决策树算法（Decision Tree Algorithm）

1. 分类和回归树（CART）
2. ID3
3. C4.5算法与C5.0算法（一种算法两种版本）
4. CHAID算法
5. 单层决策树
6. M5算法
7. 条件决策树

贝叶斯算法（Bayesian Algorithm）

1. 朴素贝叶斯算法（NB）
2. 高斯朴素贝叶斯算法（GNB）（就是NB的拓展）
3. 多项式朴素贝叶斯算法
4. AODE算法
5. 贝叶斯网络（BN）
6. 贝叶斯置信网络（BBN）

聚类算法

1. K-均值（KM）
2. K-中位数
3. 最大期望算法（EM）
4. 分层聚类算法

关联规则学习

1. Apriori算法
2. Eclat算法
3. FP-growth算法

人工神经网络

1. 感知机
2. 反向传播算法（BP神经网络）
3. Hopfield网络
4. 径向基函数网络（RBFN）

深度学习算法（Deep Learning）

1. 深度玻尔兹曼机（DBM）
2. 深度置信网络（DBN）
3. 卷积神经网路（CNN）
4. 栈式自编码算法（Stacked Auto-Encoder）

降维算法

1. 主成分分析法（PCA）
2. 主成分回归（PCR）
3. 偏最小二乘回归（PLSR）
4. 萨蒙映射
5. 多维度尺度分析法（MDS）
6. 投影追踪法（PP）
7. 线性判别分析法（LDA）
8. 混合判别分析法（MDA）
9. 二次判别分析法（QDA）
10. 灵活判别分析法（FDA）
11. SVD算法

模型融合算法

1. Boosting
2. AdaBoost
3. Bagging
4. 堆叠泛化（混合）
5. GBM算法
6. GBRT算法
7. 随机森林（RF）

特征选择算法

1. 分支界限搜索(Branch and Bound)
2. 定向搜索(Beam Search)
3. 最优优先算法（Best First Search）
4. 序列前向选择（SFS）
5. 序列后向选择（SBS）
6. 双向搜索（BDS）
7. 增L去R选择算法（LRS）
8. 序列浮动选择（SFFS或SFBS）
9. 随机产生序列选择算法（RGSS）
10. 模拟退火算法( SA）
11. 遗传算法（GA）

其他算法

1. MapReduce
2. 支持向量机（SVM）

关于常见的算法优缺点请看下篇：http://blog.csdn.net/JayRoxis/article/details/72860484