1. 简述:
简单地说,谷近邻算法采用测量不同特征值之间的距离方法进行分类。
优点:精度高、对异常值不敏感、无数据输入假定。
缺点:计算复杂度高、空间复杂度高。
适用数据范围:数值型和标称型。
2.工作原理是
存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系。输人没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征最相似数据(最近邻)的分类标签。一般来说,我们只选择样本数据集中前&个最相似的数据,这就是&-近邻算法中&的出处,通常*是不大于20的整数。最后,选择&个最相似数据中出现次数最多的分类,作为新数据的分类。
3.代码例子:
1 #!/usr/bin/env python
2
3 from numpy import *
4 ## numpy 机器学习的一个python库,
5 import operator
6
7 def createdata():
8
9 group=array([[1.0,1.2],[1.1,1.1],[0.1,0.2],[0.3,0.1]])
10
11 labels = [‘A‘,‘A‘,‘B‘,‘B‘]
12 return group,labels
13 def classify(intx,dataset,labels,k):
14 datasetsize = dataset.shape[0] ## 返回维度信息
15 diffmat = tile(intx,(datasetsize,1)) -dataset ## 填充,并且做矩阵的相见
16 sqdiffmat = diffmat**2 ## 去平方
17 sqDis = sqdiffmat.sum(axis=1) ## 统一列相见
18 soreddis = sqDis.argsort() ## 索引排序
19 classcount={}
20 for i in range(k):
21
22 votelabel = labels[soreddis[i]]
23 classcount[votelabel] = classcount.get(votelabel,1)+1
24
25 sortclasscount=sorted(classcount.iteritems(),key=operator.itemgetter(1),reverse=True)
26 return sortclasscount[0][0]
27
28 if __name__ == ‘__main__‘:
29
30 group,labels = createdata()
31
32 print classify([0.5,0.3],group,labels,3)