KNN算法——python实现

二、Python实现

对于机器学习而已，Python需要额外安装三件宝，分别是Numpy，scipy和Matplotlib。前两者用于数值计算，后者用于画图。安装很简单，直接到各自的官网下载回来安装即可。安装程序会自动搜索我们的python版本和目录，然后安装到python支持的搜索路径下。反正就python和这三个插件都默认安装就没问题了。

另外，如果我们需要添加我们的脚本目录进Python的目录（这样Python的命令行就可以直接import），可以在系统环境变量中添加：PYTHONPATH环境变量，值为我们的路径，例如：E:\Python\Machine Learning in Action

2.1、kNN基础实践

一般实现一个算法后，我们需要先用一个很小的数据库来测试它的正确性，否则一下子给个大数据给它，它也很难消化，而且还不利于我们分析代码的有效性。

首先，我们新建一个kNN.py脚本文件，文件里面包含两个函数，一个用来生成小数据库，一个实现kNN分类算法。代码如下：

[python] view plain copy

  1. #########################################
  2. # kNN: k Nearest Neighbors
  3. # Input:      newInput: vector to compare to existing dataset (1xN)
  4. #             dataSet:  size m data set of known vectors (NxM)
  5. #             labels:   data set labels (1xM vector)
  6. #             k:        number of neighbors to use for comparison
  7. # Output:     the most popular class label
  8. #########################################
  9. from numpy import *
  10. import operator
  11. # create a dataset which contains 4 samples with 2 classes
  12. def createDataSet():
  13. # create a matrix: each row as a sample
  14. group = array([[1.0, 0.9], [1.0, 1.0], [0.1, 0.2], [0.0, 0.1]])
  15. labels = [‘A‘, ‘A‘, ‘B‘, ‘B‘] # four samples and two classes
  16. return group, labels
  17. # classify using kNN
  18. def kNNClassify(newInput, dataSet, labels, k):
  19. numSamples = dataSet.shape[0] # shape[0] stands for the num of row
  20. ## step 1: calculate Euclidean distance
  21. # tile(A, reps): Construct an array by repeating A reps times
  22. # the following copy numSamples rows for dataSet
  23. diff = tile(newInput, (numSamples, 1)) - dataSet # Subtract element-wise
  24. squaredDiff = diff ** 2 # squared for the subtract
  25. squaredDist = sum(squaredDiff, axis = 1) # sum is performed by row
  26. distance = squaredDist ** 0.5
  27. ## step 2: sort the distance
  28. # argsort() returns the indices that would sort an array in a ascending order
  29. sortedDistIndices = argsort(distance)
  30. classCount = {} # define a dictionary (can be append element)
  31. for i in xrange(k):
  32. ## step 3: choose the min k distance
  33. voteLabel = labels[sortedDistIndices[i]]
  34. ## step 4: count the times labels occur
  35. # when the key voteLabel is not in dictionary classCount, get()
  36. # will return 0
  37. classCount[voteLabel] = classCount.get(voteLabel, 0) + 1
  38. ## step 5: the max voted class will return
  39. maxCount = 0
  40. for key, value in classCount.items():
  41. if value > maxCount:
  42. maxCount = value
  43. maxIndex = key
  44. return maxIndex

然后我们在命令行中这样测试即可：

[python] view plain copy

  1. import kNN
  2. from numpy import *
  3. dataSet, labels = kNN.createDataSet()
  4. testX = array([1.2, 1.0])
  5. k = 3
  6. outputLabel = kNN.kNNClassify(testX, dataSet, labels, 3)
  7. print "Your input is:", testX, "and classified to class: ", outputLabel
  8. testX = array([0.1, 0.3])
  9. outputLabel = kNN.kNNClassify(testX, dataSet, labels, 3)
  10. print "Your input is:", testX, "and classified to class: ", outputLabel

这时候会输出：

[python] view plain copy

  1. Your input is: [ 1.2  1.0] and classified to class:  A
  2. Your input is: [ 0.1  0.3] and classified to class:  B

2.2、kNN进阶

这里我们用kNN来分类一个大点的数据库，包括数据维度比较大和样本数比较多的数据库。这里我们用到一个手写数字的数据库，可以到这里下载。这个数据库包括数字0-9的手写体。每个数字大约有200个样本。每个样本保持在一个txt文件中。手写体图像本身的大小是32x32的二值图，转换到txt文件保存后，内容也是32x32个数字，0或者1，如下：

数据库解压后有两个目录：目录trainingDigits存放的是大约2000个训练数据，testDigits存放大约900个测试数据。

这里我们还是新建一个kNN.py脚本文件，文件里面包含四个函数，一个用来生成将每个样本的txt文件转换为对应的一个向量，一个用来加载整个数据库，一个实现kNN分类算法。最后就是实现这个加载，测试的函数。

[python] view plain copy

  1. #########################################
  2. # kNN: k Nearest Neighbors
  3. # Input:      inX: vector to compare to existing dataset (1xN)
  4. #             dataSet: size m data set of known vectors (NxM)
  5. #             labels: data set labels (1xM vector)
  6. #             k: number of neighbors to use for comparison
  7. # Output:     the most popular class label
  8. #########################################
  9. from numpy import *
  10. import operator
  11. import os
  12. # classify using kNN
  13. def kNNClassify(newInput, dataSet, labels, k):
  14. numSamples = dataSet.shape[0] # shape[0] stands for the num of row
  15. ## step 1: calculate Euclidean distance
  16. # tile(A, reps): Construct an array by repeating A reps times
  17. # the following copy numSamples rows for dataSet
  18. diff = tile(newInput, (numSamples, 1)) - dataSet # Subtract element-wise
  19. squaredDiff = diff ** 2 # squared for the subtract
  20. squaredDist = sum(squaredDiff, axis = 1) # sum is performed by row
  21. distance = squaredDist ** 0.5
  22. ## step 2: sort the distance
  23. # argsort() returns the indices that would sort an array in a ascending order
  24. sortedDistIndices = argsort(distance)
  25. classCount = {} # define a dictionary (can be append element)
  26. for i in xrange(k):
  27. ## step 3: choose the min k distance
  28. voteLabel = labels[sortedDistIndices[i]]
  29. ## step 4: count the times labels occur
  30. # when the key voteLabel is not in dictionary classCount, get()
  31. # will return 0
  32. classCount[voteLabel] = classCount.get(voteLabel, 0) + 1
  33. ## step 5: the max voted class will return
  34. maxCount = 0
  35. for key, value in classCount.items():
  36. if value > maxCount:
  37. maxCount = value
  38. maxIndex = key
  39. return maxIndex
  40. # convert image to vector
  41. def  img2vector(filename):
  42. rows = 32
  43. cols = 32
  44. imgVector = zeros((1, rows * cols))
  45. fileIn = open(filename)
  46. for row in xrange(rows):
  47. lineStr = fileIn.readline()
  48. for col in xrange(cols):
  49. imgVector[0, row * 32 + col] = int(lineStr[col])
  50. return imgVector
  51. # load dataSet
  52. def loadDataSet():
  53. ## step 1: Getting training set
  54. print "---Getting training set..."
  55. dataSetDir = ‘E:/Python/Machine Learning in Action/‘
  56. trainingFileList = os.listdir(dataSetDir + ‘trainingDigits‘) # load the training set
  57. numSamples = len(trainingFileList)
  58. train_x = zeros((numSamples, 1024))
  59. train_y = []
  60. for i in xrange(numSamples):
  61. filename = trainingFileList[i]
  62. # get train_x
  63. train_x[i, :] = img2vector(dataSetDir + ‘trainingDigits/%s‘ % filename)
  64. # get label from file name such as "1_18.txt"
  65. label = int(filename.split(‘_‘)[0]) # return 1
  66. train_y.append(label)
  67. ## step 2: Getting testing set
  68. print "---Getting testing set..."
  69. testingFileList = os.listdir(dataSetDir + ‘testDigits‘) # load the testing set
  70. numSamples = len(testingFileList)
  71. test_x = zeros((numSamples, 1024))
  72. test_y = []
  73. for i in xrange(numSamples):
  74. filename = testingFileList[i]
  75. # get train_x
  76. test_x[i, :] = img2vector(dataSetDir + ‘testDigits/%s‘ % filename)
  77. # get label from file name such as "1_18.txt"
  78. label = int(filename.split(‘_‘)[0]) # return 1
  79. test_y.append(label)
  80. return train_x, train_y, test_x, test_y
  81. # test hand writing class
  82. def testHandWritingClass():
  83. ## step 1: load data
  84. print "step 1: load data..."
  85. train_x, train_y, test_x, test_y = loadDataSet()
  86. ## step 2: training...
  87. print "step 2: training..."
  88. pass
  89. ## step 3: testing
  90. print "step 3: testing..."
  91. numTestSamples = test_x.shape[0]
  92. matchCount = 0
  93. for i in xrange(numTestSamples):
  94. predict = kNNClassify(test_x[i], train_x, train_y, 3)
  95. if predict == test_y[i]:
  96. matchCount += 1
  97. accuracy = float(matchCount) / numTestSamples
  98. ## step 4: show the result
  99. print "step 4: show the result..."
  100. print ‘The classify accuracy is: %.2f%%‘ % (accuracy * 100)

测试非常简单，只需要在命令行中输入：

[python] view plain copy

  1. import kNN
  2. kNN.testHandWritingClass()

输出结果如下：

[python] view plain copy

    1. step 1: load data...
    2. ---Getting training set...
    3. ---Getting testing set...
    4. step 2: training...
    5. step 3: testing...
    6. step 4: show the result...
    7. The classify accuracy is: 98.84%

个人修改一些注释：

"""
KNN: K Nearest Neighbors
Input: newInput:vector to compare to existing dataset(1xN)
dataSet:size m data set of known vectors(NxM)
labels:data set labels(1xM vector)
k:number of neighbors to use for comparison
Output: the most popular class labels
N为数据的维度
M为数据个数
"""
from numpy import *
import operator

#create a dataset which contains 4 samples with 2 classes
def createDataSet():
#create a matrix:each row as a sample
group = array([[1.0,0.9],[1.0,1.0],[0.1,0.2],[0.0,0.1]])
#four samples and two classes
labels = [‘A‘,‘A‘,‘B‘,‘B‘]
return group,labels

#classify using KNN
def KNNClassify(newInput, dataSet, labels, k):
numSamples = dataSet.shape[0]    #shape[0] stands for the num of row 即是m

##step 1:calculate Euclidean distance
#tile(A,reps):Construct an array by repeating A reps times
#the following copy numSamples rows for dataSet
diff = tile(newInput,(numSamples,1)) - dataSet #Subtract element-wise
squaredDiff = diff ** 2 #squared for the subtract
squaredDist = sum(squaredDiff, axis = 1) #sum is performed by row
distance = squaredDist ** 0.5

##step 2:sort the distance
#argsort() return the indices that would sort an array in a ascending order
sortedDistIndices = argsort(distance)

classCount = {} #define a dictionary (can be append element)
for i in xrange(k):
##step 3:choose the min k diatance
voteLabel = labels[sortedDistIndices[i]]

##step 4:count the times labels occur
#when the key voteLabel is not in dictionary classCount,get()
#will return 0
#按classCount字典的第2个元素（即类别出现的次数）从大到小排序
#即classCount是一个字典，key是类型，value是该类型出现的次数，通过for循环遍历来计算
classCount[voteLabel] = classCount.get(voteLabel,0) + 1

##step 5:the max voted class will return
#eg:假设classCount={‘A‘:3,‘B‘:2}
maxCount = 0
for key,value in classCount.items():
if value > maxCount:
maxCount = value
maxIndex = key

return maxIndex
时间： 2024-12-14 18:14:30

KNN算法——python实现的相关文章

kNN算法python实现和简单数字识别

kNN算法 算法优缺点: 优点:精度高.对异常值不敏感.无输入数据假定 缺点:时间复杂度和空间复杂度都很高 适用数据范围:数值型和标称型 算法的思路: KNN算法(全称K最近邻算法),算法的思想很简单,简单的说就是物以类聚,也就是说我们从一堆已知的训练集中找出k个与目标最靠近的,然后看他们中最多的分类是哪个,就以这个为依据分类. 函数解析: 库函数 tile() 如tile(A,n)就是将A重复n次 a = np.array([0, 1, 2]) np.tile(a, 2) array([0,

KNN算法--python实现

邻近算法 或者说K最近邻(kNN,k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一.所谓K最近邻,就是k个最近的邻居的意思,说的是每个样本都可以用它最接近的k个邻居来代表. 关于K最近邻算法,非常好的一篇文章:KNN算法理解 行业应用:  客户流失预测.欺诈侦测等(更适合于稀有事件的分类问题) 写在前面的:Python2.7 数据iris: http://pan.baidu.com/s/1bHuQ0A   测试数据集: iris的第1行数据: 训练数据: iris

KNN算法Python实现

好久没有写博客了,心血来潮.写一个刚学学习的KNN算法,其实就是比相似度,靠的进的相似度高 废话不说上代码 from numpy import * import operator #创建初始矩阵 group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) label = ['A','A','B','B'] def classfy(inX,dataSet,labes,k): dataSetSize = dataSet.shape[0]#获取矩阵的维度,就是

[机器学习]kNN算法python实现(实例:数字识别)

# 使用好任何机器学习算法的前提是选好Features from numpy import * import operator from os import listdir def classify0(inX, dataSet, labels, k):     dataSetSize = dataSet.shape[0]     diffMat = tile(inX, (dataSetSize,1)) - dataSet     sqDiffMat = diffMat**2     sqDist

机器学习之KNN算法

1 KNN算法 1.1 KNN算法简介 KNN(K-Nearest Neighbor)工作原理:存在一个样本数据集合,也称为训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类对应的关系.输入没有标签的数据后,将新数据中的每个特征与样本集中数据对应的特征进行比较,提取出样本集中特征最相似数据(最近邻)的分类标签.一般来说,我们只选择样本数据集中前k个最相似的数据,这就是k近邻算法中k的出处,通常k是不大于20的整数.最后选择k个最相似数据中出现次数最多的分类作为新数据

通过KNN算法，确定球星的风格（很水）

KNN算法,故名思议,K个最邻近值的分类算法.监督学习中的一种,典型的懒人算法,通过计算所有的预测样本到学习样本的距离,选取其中K个最小值加入样本组中,样本组中的样本隶属于那个分类的个数最多,那么我们就预测我们的预测样本是属于这个类型的. 学习来源某个pdf(别人的学习笔记): 第四章 KNN(k最邻近分类算法) 最邻近分类算法) 最邻近分类算法) 最邻近分类算法) 最邻近分类算法) 最邻近分类算法) 最邻近分类算法) 最邻近分类算法) 1.算法 思路 通过计算每个训练样例到待分类品的 距离,取

Python KNN算法

机器学习新手,接触的是<机器学习实战>这本书,感觉书中描述简单易懂,但对于python语言不熟悉的我,也有很大的空间.今天学习的是k-近邻算法. 1. 简述机器学习 在日常生活中,人们很难直接从原始数据本身获得所需信息.而机器学习就是把生活中无序的数据转换成有用的信息.例如,对于垃圾邮件的检测,侦测一个单词是否存在并没有多大的作用,然而当某几个特定单词同时出现时,再辅以考虑邮件的长度及其他因素,人们就可以更准确地判定该邮件是否为垃圾邮件. 机器学习分为监督学习和无监督学习,其中: (1)监督学

[Python] 应用kNN算法预测豆瓣电影用户的性别

应用kNN算法预测豆瓣电影用户的性别 摘要 本文认为不同性别的人偏好的电影类型会有所不同,因此进行了此实验.利用较为活跃的274位豆瓣用户最近观看的100部电影,对其类型进行统计,以得到的37种电影类型作为属性特征,以用户性别作为标签构建样本集.使用kNN算法构建豆瓣电影用户性别分类器,使用样本中的90%作为训练样本,10%作为测试样本,准确率可以达到81.48%. 实验数据 本次实验所用数据为豆瓣用户标记的看过的电影,选取了274位豆瓣用户最近看过的100部电影.对每个用户的电影类型进行统计.

机器学习经典算法详解及Python实现--K近邻(KNN)算法

(一)KNN依然是一种监督学习算法 KNN(K Nearest Neighbors,K近邻 )算法是机器学习所有算法中理论最简单,最好理解的.KNN是一种基于实例的学习,通过计算新数据与训练数据特征值之间的距离,然后选取K(K>=1)个距离最近的邻居进行分类判断(投票法)或者回归.如果K=1,那么新数据被简单分配给其近邻的类.KNN算法算是监督学习还是无监督学习呢?首先来看一下监督学习和无监督学习的定义.对于监督学习,数据都有明确的label(分类针对离散分布,回归针对连续分布),根据机器学习产