四、算法选择
这一步骤让我很兴奋，终于谈到算法了，虽然没代码、没公式。因为教程君表示并不想过深的去探讨算法细节，于是着重于从算法的应用场景、算法的缺点、如何选择算法来纵向展开。
我们的训练模型一般分为监督学习、无监督学习以及强化学习三种。教程中只提到了前两种，而训练算法又分为回归、分类以及聚类。其中回归与分类属于监督学习分，聚类属于无监督学习。
教程中提到的适用于监督学习下的拟合算法：
线性回归(Linear regression)、
套索回归(Lasso regression)、
岭回归(Ridge regression)、
弹性网络正则化(Elastic net regularization)、
p.s.逻辑回归（Logistic regression）。
以及集成学习（Ensemble Learning）算法：
集成算法是将多个分类器集成起来而形成的新的分类算法。又称元算法(meta-algorithm)。
回归树(Regression Tree)、分类树(Classification Tree)，统称CART。回归树是回归模型下的算法，分类树分类模型下的算法，它们都是一种决策树(Decision trees)。
当集成模型是决策树时，一般有两种集成学习算法：随机森林(Random Forest)、梯度增强树(Gradient Boosted Tree)。
1.回归
线性回归使用最普遍的方法就是最小二乘法(Least Squares)，最小二乘法的目标函数：
$$ min_{\omega}\space\space\space\Vert X_{\omega} - y \Vert_{2}^{2} $$
虽然最小二乘是最常用的分析方法，然而，它有两个缺点：过拟合(overfitting)与不容易表达非线性（即离散）关系。
(1)如何防止过拟合？比较好的方法就是对其加入正则化（regularization），其中常见的优化算法：索套回归（最小二乘法 + L1范数正则项（1阶范数））、岭回归（最小二乘法 + L2范数正则项（2阶范数））、弹性网正则化（L1 + L2范数正则项）。其中L1，L2范数正则项的系数叫做惩罚因子（penalty term）。
Lasso的目标函数：
$$ min_{\omega}\space\space\space\frac{1}{2n}\Vert X_{\omega} - y \Vert_{2}^{2} + \alpha\Vert\omega\Vert_{1} $$
$$ 其中 \alpha 是常数（即惩罚系数），\Vert\omega\Vert_{1} 是L_{1}范数 $$。
Ridge适用于训练模型发生过拟合、虚拟变量陷阱（第四篇提到过）等情况，Ridge的最小化目标函数：
$$ min_{\omega}\space\space\space\Vert X_{\omega} - y \Vert_{2}^{2} + \alpha\Vert\omega\Vert_{2}^{2} $$
$$ 这里 \alpha \geq 0 。 $$
Elastic-net的目标函数：
$$ min_{\omega}\space\space\space\frac{1}{2n}\Vert X_{\omega} - y \Vert_{2}^{2} + \alpha\rho\Vert\omega\Vert_{1} + \frac{\alpha(1 - \rho)}{2}\Vert\omega\Vert_{2}^{2} $$
2.分类
逻辑回归（Logistic regression），逻辑回归是线性回归的分类任务下对应的算法。
L2范数-Logistic regression模型：
$$ min_{\omega,c}\space\space\space\frac{1}{2}\omega^{T}\omega + C\sum_{i=1}^{n}log(e^{-y_{i}(X_{i}^{T}\omega + c)} + 1) $$
L1范数-Logistic regression模型：
$$ min_{\omega,c}\space\space\space\Vert\omega\Vert_{1} + C\sum_{i=1}^{n}log(e^{-y_{i}(X_{i}^{T}\omega + c)} + 1) $$
3.集成学习
1.随机森林是基于Bagging思想的集成学习算法；
2.梯度增强树是基于Boosting思想的集成学习算法。
参考资料
一些名词概念参考资料：
https://www.zhihu.com/question/23194489
https://www.zhihu.com/question/269063159
https://www.zhihu.com/question/28221429
https://www.zhihu.com/question/20473040
https://elitedatascience.com/algorithm-selection
拟合算法及公式参考：
http://scikit-learn.org/stable/modules/linear_model.html
https://en.wikipedia.org/wiki/Lasso_(statistics)
https://en.wikipedia.org/wiki/Tikhonov_regularization
关于两种集成学习思想的一些解释参考：
https://www.zhihu.com/question/29036379
https://www.bbsmax.com/A/lk5axwNJ1O/
https://blog.csdn.net/autoliuweijie/article/details/50285817
https://blog.csdn.net/google19890102/article/details/46507387
http://scikit-learn.org/stable/modules/ensemble.html#classification
原文地址：https://www.cnblogs.com/darkchii/p/8902405.html