目录

　　先验概率与后验概率

　　什么是朴素贝叶斯

　　模型的三个基本要素

　　构造kd树

　　kd树的最近邻搜索

　　kd树的k近邻搜索

　　Python代码(sklearn库)

　　引例

　　有一个训练集包含100个实例，属性是皮肤颜色（黑、白、黄），标记是地区（亚洲、非洲、北美洲人）。在训练集中有30个非洲人（28个黑人），有50个亚洲人（1个黑人），有20个北美洲人（5个黑人）。请训练一个贝叶斯模型。

　　当一个训练集外的黑人来报道，我们该如何判断他的地区呢？朴素贝叶斯分类器会预测他的老家是非洲的，原理就是“非洲人里黑人的比例比其他州都要高”。朴素贝叶斯模型会将实例分到后验概率最大的类中。

　　百度百科定义

　　邻近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。
　　kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 kNN方法在类别决策时，只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。