机器学习算法总结

感知机：这是最简单的一个机器学习算法，不过有几点还是要注意一下。

首先是损失函数的选取，还有为了使损失函数最小，迭代过程采用的梯度下降法，最后得到最优的w,b

直观解释就是，调整w,b的值，使分离超平面向误分类点移动，以减小误分点与超平面的距离，直至超平面

越过误分类点使其被正确分类。

K近邻：

给定一个训练数据集，对新输入的实例，在训练数据集中找到与该实例最近的K个实例，这K个实例多数属于某个

类，就把该输入实例分为某个类。

值得注意的是为了实现K近邻算法所采用的KD树。它是为了减小计算距离的次数所采用的一种特殊的存储结构。它的

实现和搜索是要学会的。

朴素贝叶斯：

通过训练数据集学习联合概率分布，然后基于此模型，对给定的输入X，利用贝叶斯定理求出后验概率最大的输出Y。

它的最大特点是，对条件概率分布作了条件独立性的假设，也就是说分类特征在类确定的条件下都是独立的。