这个系列是为了应对找工作面试时面试官问的算法问题，所以只是也谢算法的简要介绍，后期会陆续补充关于此
算法的常见面问题。
分类的概念就说了，分类一般分为两个阶段：学习阶段以及分类阶段；
常用的分类方法有：
1、决策树
决策树不需要任何领域的知识或者参数的设置，其可以处理高维数据，简单快速。
若分类的数据是连续的，则需要插入分裂点将数据离散化；树建立的过程中，需要按照一定的
规则选择分裂的属性，可以有信息的增益、增益率、基尼指数等等，不同的规则对应的决策树，
如前面三种分别对应ID3、C4.5、CART。
树的建立过程中或则建立后可能需要对树进行剪枝；树的剪枝分为先剪枝和后剪枝，先剪枝是
提前停止书的构造，而后剪枝是将完全生长的树减去子树。
以上的几种方法都只能适用于能贮存于内存的数据，若是数据量过大，这几种方法都不行
（可以考虑RainForest）！具体关于决策树可以见前面的博文。
http://blog.csdn.net/xwchao2014/article/details/47979167
2、贝叶斯方法（朴素贝叶斯以及贝叶斯信念网络）
这个方法前面博文中已经写得很详细了，可以参考下。其实也就是一个贝叶斯公式。。。
http://blog.csdn.net/xwchao2014/article/details/47977283
3、组合分类方法
两种常用的组合分类方法：装袋与提升
装袋：比如投票，每一票的权重都是相同的；
提升：与装袋不同的是其每一票的权重是不同的，比如AdaBoost；
当然还有就是也比较出名的随机森林（这个还没看，这个之后补上）！
关于AdaBoost可以看前面的博文，下面会给出链接：
http://blog.csdn.net/xwchao2014/article/details/47953353
4、基于规则的分类
使用IF-THEN规则分类
覆盖率与准确率
数据集D，规则R覆盖的元祖数Ncovers，其中正确的为Ncorrect则
coverage(R) = Ncovers / |D|, accuracy(R) = Ncorrect / Ncovers
当多个规则同时触发时，可以使用下面两个方式决定哪个规则先响应
1.规模序：选择条件最苛刻的（一般为条件最多的）；
2.规则序：事先定义了优先级。
从树的跟到叶节点的路径创建一个规则，这样的规则是互斥（不存在冲突）以及穷举
的（存在所有的规则）。
规则集的修改：不能提高规则的估计准确率的任何条件都应该被剪掉。
使用顺序覆盖算法的规则归纳
一般的策略是：一次学习一个规则，每学习一个规则就删除该规则覆盖的元组，并在剩下
的元组中重该过程。
模型的评估与选择
可以参考决策树；
交叉验证
k-折交叉验证：将数据分组，每次留出一组作为验证集
留一：每次使用一个样本作为验证集
自助法
有放回的均匀抽样，常用的有。632自助法（数据的63.2%出现在自助样本中）
5、后向传播分类
神经网络是一组连接的输入/输出单元，其中每个连接与一个权重相关联，通过调整权重，预
测输入元组的类别。其优点是抗噪性能好，分类能力比较强，缺点是知识的表示比较不容易。
前馈网络
输入层 + 隐藏层 + 输出层（没有一个反向传播的过程）。
理论上：给足够多的训练样本以及隐藏单元，可以逼近任意函数。
后向传播
比前馈网络多了一个后向传播的过程；整体步骤如下
1、初始化权重； 2、前向传播； 3、后向传播误差，更新数据；
算法结束的终止条件：1、周期内所有权重的更新值小于某一值；
2、迭代次数达到某一预先设定好的值；
6、SVM（支持向量机）
这个可以参考前面的博文http://blog.csdn.net/xwchao2014/article/details/47948063
或则网上有个SVM的三重境界写的蛮详细，可以看看；
7、使用频繁模式分类
1,、关联分析； 2、基于有区别力的频繁模式分类； -> 这两个现在不写了，后面的文章会
详细写这两个
以上的这些方法都是急切学习法，也就是说在分类数据前，已经建立好了模型，主要的工作
是在模型的建立上面；下面说一下惰性学习法；
惰性学习法——给定一个训练元祖，知识简单的存储它，并一直等待，知道给定一个
检验元组时才进行泛化；
1、基于K-近邻
计算所有数据与给定标号点的距离，离哪个近则归于哪一类（计算量太大）；
2、基于案例的推理
首先检查是否存在同样的训练案例，如存在则直接返回对应的结果；
若是找不到，则搜索具有雷士的新案例和组合解的合适方法；
其他的分类方法
1、遗传算法
交叉、变异、最合适的规则及后代
2、粗糙集算法
上近似以及下近似的概念；
3、模糊集的方法
允许处理模糊的、不精确的事实，是一种软分类
对于多分类的问题可以组合几个二分类！
半监督分类
使用有标号的数据与无标号的数据构造分类器；
假设存在数据：
有标号的数据Xl = {(x1,y1),(x2,y2),......(xk,yk)};
无标号的数据Xu = {xk+1,....xn};
1、自我训练
先使用有标号的数据构造分类器，将构造好的分类器对无标号的数据进行分类，将分类结果中
最有把握的分类数据及其分类标号加入到有标号的数据中，重复训练与分类；
可能会强化错误，这是其一个缺点；
2、协同训练
两个或则多个分类器互相教学；
对数据Xl，定义两个不重叠的特征集，训练两个不同的分类器，f1,f2,使用这两个分类器对Xu
进行分类，将最有把握的（x,f1(x)）添加到f2中的有标号的数据中，将最有把我的(x,f2(x))
添加到f1中的有标号的数据中；重复整个过程；
3、主动学习
适用于数据丰富，但是类标号稀缺或则获取昂贵的情况。
设D为小子集的有标号的数据集，这个小子集定义为L，从L开始为初始训练集，之后使用一个
查询函数从（D-L）中精心选择一个或者多个样本像一位智者询问其标号，之后加入到L中去；
这个方法的问题在于如何选择被询问的元，可以使用不确定抽样、决策论等方面的知识。
4、迁移学习
从一个或则多个源任务提取知识，并将这种知识用于目标任务（分类器的构造需要较少的训练
数据和较少的训练时间）；
假定老数据大部分有用，通过自动调整赋予训练原组的权重，过滤掉与新数据很不相同的老数
据的影响；迁移学习的难点在于负迁移的情况的出现（负迁移是指新分类器的性能比完全不迁
移的效果还差）！
版权声明：本文为博主原创文章，未经博主允许不得转载。