统计学习方法进程01

　　学习统计学习方法也已经有几天了，在这几天的时间里，我主要对分类学习方法进行了初步学习，包括：感知机——>支持向量机，K近邻法，朴素贝叶斯法，决策树，logistic
回归与最大熵模型。

　　其中k近邻法的实现为kd树，朴素贝叶斯通过极大似然估计实现，决策树包含有生成决策树算法ID3,C4.5，决策树的剪枝算法CART.

　　logistic回归，核心为参数估计，一般用极大似然估计把问题变成优化问题。最优化问题的解决通常采用梯度下降法，拟牛顿法。概率学习问题中还涉及到最大熵模型（存在一定遗忘）

　　支持向量机部分是整本书的重点也是难点，从感知机演化而来的线性可分SVM(包括间隔最大化，学习的对偶算法，拉格朗日)，进一步研究近似线性可分SVM（软间隔最大化，学习的对偶算法），得到包含向量内积的目标函数。根据向量内积引入核函数，进而把复杂问题转化为线性SVM来解决。SVM的求解算法的一种SMO,包括两个变量二次规划求解方法，两个变量的选择方法。（SMO还存在疑惑，需要继续研究）