K-近邻(KNN)算法是解决分类问题的算法。既可以解决二分类，也可以解决多分类问题。
其实它也可以解决回归问题。
K-近邻原理:
某个样本的类别，由与之最相近的K个邻居投票所决定。
例子:
现在有一个样本集，其中所有数据都已经标记好类别，假设有一个未知类别的样本x需要进行分类。
在离这个样本距离最近的K个样本中，统计各个类别的占比。假设k=5时，计算出哪5个样本离未知样本x最近，
然后统计它们的类别，如在这5个样本中，有2个属于类别A，3个属于类别B。由于类别B的占比比较高，
所以得出样本x属于类别B。
如图:
红点的类别为class A ，蓝点的类别为class B，黑点表示需要预测类别的样本x。
通过Knn算法，当k=5时:
离黑点（样本x）最近的5(K所决定)个样本中，有3个蓝点，2个红点。所以可判定黑点和蓝点属同一个类别，为class B
既然K的取值决定了取K个邻居进行投票。那么当K取其他值，又是什么情况呢？
（另一种情况）当k=3时:
此时离黑点最近的3个邻居中，2个红点，1个蓝点，因此红点占比高，所以可以判定黑点和红点一样属于class A类别
通过对比可知:
在K-近邻中，K的取值影响了最终预测的结果。
K-近邻伪代码:
1.遍历训练集所有样本，计算每个样本与样本x之间的距离，保存所有距离
2.对这些距离进行排序（升序）,取出k个最近的样本
3.对k个样本的类别进行统计，找出占比最高的类别
4.待标记样本的类别就是占比最高的类别
原文地址：https://www.cnblogs.com/qiutenglong/p/10961222.html