菜鸟之路——机器学习之KNN算法个人理解及Python实现

KNN（K Nearest Neighbor）

还是先记几个关键公式

距离：一般用Euclidean distance   E(x,y)√∑(xi-yi)2 。名字这么高大上，就是初中学的两点间的距离嘛。

还有其他距离的衡量公式，余弦值（cos），相关度（correlation） 曼哈顿距离（manhatann distance）。我觉得针对于KNN算法还是Euclidean distance最好，最直观。

然后就选择最近的K个点。根据投票原则分类出结果。

首先利用sklearn自带的的iris数据集和KNN算法运行一下

 1 from sklearn import neighbors     #knn算法在neighbor包里
 2 from sklearn import datasets      #包含常用的机器学习的包
 3
 4 knn=neighbors.KNeighborsClassifier()   #新建knn算法类
 5
 6 iris=datasets.load_iris()              #加载虹膜这种花的数据
 7 #print(iris) #这是个字典有data，target，target_name，这三个key，太多了，就打印出来了
 8
 9 knn.fit(iris.data,iris.target)
10 print(knn.fit(iris.data,iris.target)) #我也不知道为什么要这样fit一下形成一个模型。打印一下看看我觉得应该是为了记录一下数据的信息吧
11
12
13 predictedLabel=knn.predict([[0.1,0.2,0.3,0.4]])#预测一下
14 print(predictedLabel)
15 print("predictedName:",iris.target_names[predictedLabel[0]])

然后就自己写KNN算法啦

 1 import csv
 2 import random
 3 import math
 4 import operator
 5
 6 #加载数据的
 7 def LoadDataset(filename,split):#split这个参数是用来分开训练集与测试集的，split属于[0,1]。即有多大的概率将所有数据选取为训练集
 8     trainingSet=[]
 9     testSet=[]
10     with open(filename,‘rt‘) as csvfile:
11          lines=csv.reader(csvfile)
12          dataset=list(lines)
13          for x in range(len(dataset)-1):
14              for y in range(4):
15                  dataset[x][y]=float(dataset[x][y])
16              if random.random()<split:      #random.random()生成一个[0,1]之间的随机数
17                 trainingSet.append(dataset[x])
18              else:
19                  testSet.append(dataset[x])
20     return [trainingSet,testSet]
21
22 #此函数用来计算两点之间的距离
23 def enclideanDinstance(instance1,instance2,length):#legdth为维度
24     distance=0
25     for x in range(length):
26         distance+=pow((instance1[x]-instance2[x]),2)
27     return math.sqrt(distance)
28
29 #此函数选取K个离testInstance最近的trainingSet里的实例
30 def getNeighbors(trainingSet,testInstance,k):
31     distances=[]
32     length=len(testInstance)-1
33     for x in range(len(trainingSet)):
34         dist=enclideanDinstance(testInstance,trainingSet[x],length)
35         distances.append([trainingSet[x],dist])
36     distances.sort(key=operator.itemgetter(1))#operator.itemgetter函数获取的不是值，而是定义了一个函数，取列表的第几个域的函数。
37                                               # sort中的key也是用来指定取待排序元素的哪一项进行排序
38                                               #这句的意思就是按照distances的第二个域进行排序
39     neighbors=[]
40     for x in range(k):
41             neighbors.append(distances[x][0])
42     return neighbors
43
44 #这个函数就是从K的最邻近的实例中利用投票原则分类出结果
45 def getResponce(neighbors):
46     classVotes={}
47     for x in range(len(neighbors)):
48         responce=neighbors[x][-1]
49         if responce in classVotes:
50             classVotes[responce]+=1
51         else:
52             classVotes[responce] = 1
53     sortedVotes=sorted(classVotes.items(),key=operator.itemgetter(1),reverse=True)
54     return sortedVotes[0][0]
55
56 #这个函数从测试结果与真实结果中得出正确率
57 def getAccuracy(testSet,predictions):
58     corrrect=0
59     for x in range(len(testSet)):
60         if testSet[x][-1] ==predictions[x]:
61             corrrect+=1
62     return (corrrect/float(len(testSet)))*100
63
64 def main():
65     split=0.67   #将选取67%的数据作为训练集
66     [trainingSet,testSet]=LoadDataset(‘irisdata.txt‘,split)
67     print("trainingSet:",len(trainingSet),trainingSet)
68     print("testSet",len(testSet),testSet)
69
70     predictions=[]
71     k=3  #选取三个最邻近的实例
72     #测试所有测试集
73     for x in range(len(testSet)):
74         neighbors=getNeighbors(trainingSet,testSet[x],k)
75         result=getResponce(neighbors)
76         predictions.append(result)
77         print(">predicted",result,",actual=",testSet[x][-1])
78
79     accuracy=getAccuracy(testSet,predictions)
80     print("Accuracy:",accuracy,r"%")
81
82 if __name__ == ‘__main__‘:
83     main()

里面有我对代码的理解

运行结果为

trainingSet: 110 [[4.9, 3.0, 1.4, 0.2, ‘Iris-setosa‘], [4.7, 3.2, 1.3, 0.2, ‘Iris-setosa‘], [5.0, 3.6, 1.4, 0.2, ‘Iris-setosa‘], [5.4, 3.9, 1.7, 0.4, ‘Iris-setosa‘], [4.6, 3.4, 1.4, 0.3, ‘Iris-setosa‘], [4.4, 2.9, 1.4, 0.2, ‘Iris-setosa‘], [4.9, 3.1, 1.5, 0.1, ‘Iris-setosa‘], [5.4, 3.7, 1.5, 0.2, ‘Iris-setosa‘], [4.8, 3.4, 1.6, 0.2, ‘Iris-setosa‘], [4.3, 3.0, 1.1, 0.1, ‘Iris-setosa‘], [5.8, 4.0, 1.2, 0.2, ‘Iris-setosa‘], [5.7, 4.4, 1.5, 0.4, ‘Iris-setosa‘], [5.4, 3.9, 1.3, 0.4, ‘Iris-setosa‘], [5.7, 3.8, 1.7, 0.3, ‘Iris-setosa‘], [5.4, 3.4, 1.7, 0.2, ‘Iris-setosa‘], [4.6, 3.6, 1.0, 0.2, ‘Iris-setosa‘], [4.8, 3.4, 1.9, 0.2, ‘Iris-setosa‘], [5.0, 3.0, 1.6, 0.2, ‘Iris-setosa‘], [5.0, 3.4, 1.6, 0.4, ‘Iris-setosa‘], [5.2, 3.5, 1.5, 0.2, ‘Iris-setosa‘], [4.7, 3.2, 1.6, 0.2, ‘Iris-setosa‘], [4.8, 3.1, 1.6, 0.2, ‘Iris-setosa‘], [5.4, 3.4, 1.5, 0.4, ‘Iris-setosa‘], [5.2, 4.1, 1.5, 0.1, ‘Iris-setosa‘], [4.9, 3.1, 1.5, 0.1, ‘Iris-setosa‘], [5.0, 3.2, 1.2, 0.2, ‘Iris-setosa‘], [5.5, 3.5, 1.3, 0.2, ‘Iris-setosa‘], [4.4, 3.0, 1.3, 0.2, ‘Iris-setosa‘], [5.0, 3.5, 1.3, 0.3, ‘Iris-setosa‘], [4.5, 2.3, 1.3, 0.3, ‘Iris-setosa‘], [4.4, 3.2, 1.3, 0.2, ‘Iris-setosa‘], [5.1, 3.8, 1.9, 0.4, ‘Iris-setosa‘], [4.8, 3.0, 1.4, 0.3, ‘Iris-setosa‘], [5.1, 3.8, 1.6, 0.2, ‘Iris-setosa‘], [4.6, 3.2, 1.4, 0.2, ‘Iris-setosa‘], [5.3, 3.7, 1.5, 0.2, ‘Iris-setosa‘], [7.0, 3.2, 4.7, 1.4, ‘Iris-versicolor‘], [6.4, 3.2, 4.5, 1.5, ‘Iris-versicolor‘], [5.5, 2.3, 4.0, 1.3, ‘Iris-versicolor‘], [6.5, 2.8, 4.6, 1.5, ‘Iris-versicolor‘], [5.7, 2.8, 4.5, 1.3, ‘Iris-versicolor‘], [4.9, 2.4, 3.3, 1.0, ‘Iris-versicolor‘], [6.6, 2.9, 4.6, 1.3, ‘Iris-versicolor‘], [5.0, 2.0, 3.5, 1.0, ‘Iris-versicolor‘], [5.9, 3.0, 4.2, 1.5, ‘Iris-versicolor‘], [6.0, 2.2, 4.0, 1.0, ‘Iris-versicolor‘], [5.6, 2.9, 3.6, 1.3, ‘Iris-versicolor‘], [6.7, 3.1, 4.4, 1.4, ‘Iris-versicolor‘], [5.6, 3.0, 4.5, 1.5, ‘Iris-versicolor‘], [5.8, 2.7, 4.1, 1.0, ‘Iris-versicolor‘], [5.6, 2.5, 3.9, 1.1, ‘Iris-versicolor‘], [5.9, 3.2, 4.8, 1.8, ‘Iris-versicolor‘], [6.3, 2.5, 4.9, 1.5, ‘Iris-versicolor‘], [6.4, 2.9, 4.3, 1.3, ‘Iris-versicolor‘], [6.8, 2.8, 4.8, 1.4, ‘Iris-versicolor‘], [6.7, 3.0, 5.0, 1.7, ‘Iris-versicolor‘], [6.0, 2.9, 4.5, 1.5, ‘Iris-versicolor‘], [5.7, 2.6, 3.5, 1.0, ‘Iris-versicolor‘], [5.5, 2.4, 3.8, 1.1, ‘Iris-versicolor‘], [5.8, 2.7, 3.9, 1.2, ‘Iris-versicolor‘], [6.0, 2.7, 5.1, 1.6, ‘Iris-versicolor‘], [5.4, 3.0, 4.5, 1.5, ‘Iris-versicolor‘], [6.0, 3.4, 4.5, 1.6, ‘Iris-versicolor‘], [6.3, 2.3, 4.4, 1.3, ‘Iris-versicolor‘], [5.6, 3.0, 4.1, 1.3, ‘Iris-versicolor‘], [5.5, 2.6, 4.4, 1.2, ‘Iris-versicolor‘], [6.1, 3.0, 4.6, 1.4, ‘Iris-versicolor‘], [5.8, 2.6, 4.0, 1.2, ‘Iris-versicolor‘], [5.0, 2.3, 3.3, 1.0, ‘Iris-versicolor‘], [5.6, 2.7, 4.2, 1.3, ‘Iris-versicolor‘], [5.7, 3.0, 4.2, 1.2, ‘Iris-versicolor‘], [5.7, 2.9, 4.2, 1.3, ‘Iris-versicolor‘], [6.2, 2.9, 4.3, 1.3, ‘Iris-versicolor‘], [5.1, 2.5, 3.0, 1.1, ‘Iris-versicolor‘], [5.7, 2.8, 4.1, 1.3, ‘Iris-versicolor‘], [6.3, 3.3, 6.0, 2.5, ‘Iris-virginica‘], [5.8, 2.7, 5.1, 1.9, ‘Iris-virginica‘], [7.1, 3.0, 5.9, 2.1, ‘Iris-virginica‘], [6.5, 3.0, 5.8, 2.2, ‘Iris-virginica‘], [7.6, 3.0, 6.6, 2.1, ‘Iris-virginica‘], [4.9, 2.5, 4.5, 1.7, ‘Iris-virginica‘], [6.5, 3.2, 5.1, 2.0, ‘Iris-virginica‘], [6.4, 2.7, 5.3, 1.9, ‘Iris-virginica‘], [5.8, 2.8, 5.1, 2.4, ‘Iris-virginica‘], [6.4, 3.2, 5.3, 2.3, ‘Iris-virginica‘], [6.5, 3.0, 5.5, 1.8, ‘Iris-virginica‘], [7.7, 2.6, 6.9, 2.3, ‘Iris-virginica‘], [6.0, 2.2, 5.0, 1.5, ‘Iris-virginica‘], [6.9, 3.2, 5.7, 2.3, ‘Iris-virginica‘], [7.7, 2.8, 6.7, 2.0, ‘Iris-virginica‘], [6.3, 2.7, 4.9, 1.8, ‘Iris-virginica‘], [7.2, 3.2, 6.0, 1.8, ‘Iris-virginica‘], [6.2, 2.8, 4.8, 1.8, ‘Iris-virginica‘], [6.1, 3.0, 4.9, 1.8, ‘Iris-virginica‘], [6.4, 2.8, 5.6, 2.1, ‘Iris-virginica‘], [7.4, 2.8, 6.1, 1.9, ‘Iris-virginica‘], [6.4, 2.8, 5.6, 2.2, ‘Iris-virginica‘], [6.1, 2.6, 5.6, 1.4, ‘Iris-virginica‘], [7.7, 3.0, 6.1, 2.3, ‘Iris-virginica‘], [6.3, 3.4, 5.6, 2.4, ‘Iris-virginica‘], [6.4, 3.1, 5.5, 1.8, ‘Iris-virginica‘], [6.9, 3.1, 5.4, 2.1, ‘Iris-virginica‘], [6.7, 3.1, 5.6, 2.4, ‘Iris-virginica‘], [6.9, 3.1, 5.1, 2.3, ‘Iris-virginica‘], [5.8, 2.7, 5.1, 1.9, ‘Iris-virginica‘], [6.8, 3.2, 5.9, 2.3, ‘Iris-virginica‘], [6.7, 3.0, 5.2, 2.3, ‘Iris-virginica‘], [6.3, 2.5, 5.0, 1.9, ‘Iris-virginica‘], [6.5, 3.0, 5.2, 2.0, ‘Iris-virginica‘], [6.2, 3.4, 5.4, 2.3, ‘Iris-virginica‘]]
testSet 40 [[5.1, 3.5, 1.4, 0.2, ‘Iris-setosa‘], [4.6, 3.1, 1.5, 0.2, ‘Iris-setosa‘], [5.0, 3.4, 1.5, 0.2, ‘Iris-setosa‘], [4.8, 3.0, 1.4, 0.1, ‘Iris-setosa‘], [5.1, 3.5, 1.4, 0.3, ‘Iris-setosa‘], [5.1, 3.8, 1.5, 0.3, ‘Iris-setosa‘], [5.1, 3.7, 1.5, 0.4, ‘Iris-setosa‘], [5.1, 3.3, 1.7, 0.5, ‘Iris-setosa‘], [5.2, 3.4, 1.4, 0.2, ‘Iris-setosa‘], [5.5, 4.2, 1.4, 0.2, ‘Iris-setosa‘], [4.9, 3.1, 1.5, 0.1, ‘Iris-setosa‘], [5.1, 3.4, 1.5, 0.2, ‘Iris-setosa‘], [5.0, 3.5, 1.6, 0.6, ‘Iris-setosa‘], [5.0, 3.3, 1.4, 0.2, ‘Iris-setosa‘], [6.9, 3.1, 4.9, 1.5, ‘Iris-versicolor‘], [6.3, 3.3, 4.7, 1.6, ‘Iris-versicolor‘], [5.2, 2.7, 3.9, 1.4, ‘Iris-versicolor‘], [6.1, 2.9, 4.7, 1.4, ‘Iris-versicolor‘], [6.2, 2.2, 4.5, 1.5, ‘Iris-versicolor‘], [6.1, 2.8, 4.0, 1.3, ‘Iris-versicolor‘], [6.1, 2.8, 4.7, 1.2, ‘Iris-versicolor‘], [6.6, 3.0, 4.4, 1.4, ‘Iris-versicolor‘], [5.5, 2.4, 3.7, 1.0, ‘Iris-versicolor‘], [6.7, 3.1, 4.7, 1.5, ‘Iris-versicolor‘], [5.5, 2.5, 4.0, 1.3, ‘Iris-versicolor‘], [6.3, 2.9, 5.6, 1.8, ‘Iris-virginica‘], [7.3, 2.9, 6.3, 1.8, ‘Iris-virginica‘], [6.7, 2.5, 5.8, 1.8, ‘Iris-virginica‘], [7.2, 3.6, 6.1, 2.5, ‘Iris-virginica‘], [6.8, 3.0, 5.5, 2.1, ‘Iris-virginica‘], [5.7, 2.5, 5.0, 2.0, ‘Iris-virginica‘], [7.7, 3.8, 6.7, 2.2, ‘Iris-virginica‘], [5.6, 2.8, 4.9, 2.0, ‘Iris-virginica‘], [6.7, 3.3, 5.7, 2.1, ‘Iris-virginica‘], [7.2, 3.0, 5.8, 1.6, ‘Iris-virginica‘], [7.9, 3.8, 6.4, 2.0, ‘Iris-virginica‘], [6.3, 2.8, 5.1, 1.5, ‘Iris-virginica‘], [6.0, 3.0, 4.8, 1.8, ‘Iris-virginica‘], [6.7, 3.3, 5.7, 2.5, ‘Iris-virginica‘], [5.9, 3.0, 5.1, 1.8, ‘Iris-virginica‘]]
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-setosa ,actual= Iris-setosa
>predicted Iris-versicolor ,actual= Iris-versicolor
>predicted Iris-versicolor ,actual= Iris-versicolor
>predicted Iris-versicolor ,actual= Iris-versicolor
>predicted Iris-versicolor ,actual= Iris-versicolor
>predicted Iris-versicolor ,actual= Iris-versicolor
>predicted Iris-versicolor ,actual= Iris-versicolor
>predicted Iris-versicolor ,actual= Iris-versicolor
>predicted Iris-versicolor ,actual= Iris-versicolor
>predicted Iris-versicolor ,actual= Iris-versicolor
>predicted Iris-versicolor ,actual= Iris-versicolor
>predicted Iris-versicolor ,actual= Iris-versicolor
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-versicolor ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
>predicted Iris-virginica ,actual= Iris-virginica
Accuracy: 97.5 %

以下拓展几个知识点

1，random库的一些用法

random.randint(1,10)        # 产生 1 到 10 的一个整数型随机数
random.random()             # 产生 0 到 1 之间的随机浮点数
random.uniform(1.1,5.4)     # 产生  1.1 到 5.4 之间的随机浮点数，区间可以不是整数
random.choice(‘tomorrow‘)   # 从序列中随机选取一个元素
random.randrange(1,100,2)   # 生成从1到100的间隔为2的随机整数
random.shuffle(a)           # 将序列a中的元素顺序打乱

2，排序函数

sorted(exapmle[, cmp[, key[, reverse]]])

example.sort(cmp[, key[, reverse]])

example是和待排序序列

cmp为函数，指定排序时进行比较的函数，可以指定一个函数或者lambda函数

key为函数，指定取待排序元素的哪一项进行排序

reverse实现降序排序，需要提供一个布尔值，默认为False（升序排列）。

程序中的第53行   sortedVotes=sorted(classVotes.items(),key=operator.itemgetter(1),reverse=True)就是按照sortedVotes的第二个域进行降序排列

key=operator.itemgetter(n)就是按照第n+1个域

写完喽，图书馆也该闭馆了。学习的感觉真舒服。接下来就是最出名的SVM算法啦

原文地址：https://www.cnblogs.com/albert-yzp/p/9519066.html

时间： 2024-08-11 03:37:43

菜鸟之路——机器学习之KNN算法个人理解及Python实现的相关文章

机器学习之KNN算法

1 KNN算法 1.1 KNN算法简介 KNN(K-Nearest Neighbor)工作原理:存在一个样本数据集合,也称为训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类对应的关系.输入没有标签的数据后,将新数据中的每个特征与样本集中数据对应的特征进行比较,提取出样本集中特征最相似数据(最近邻)的分类标签.一般来说,我们只选择样本数据集中前k个最相似的数据,这就是k近邻算法中k的出处,通常k是不大于20的整数.最后选择k个最相似数据中出现次数最多的分类作为新数据

KNN算法的理解

一.算法 1.kNN算法又称为k近邻分类(k-nearest neighbor classification)算法. 最简单平庸的分类器或许是那种死记硬背式的分类器,记住全部的训练数据.对于新的数据则直接和训练数据匹配,假设存在同样属性的训练数据,则直接用它的分类来作为新数据的分类.这样的方式有一个明显的缺点,那就是非常可能无法找到全然匹配的训练记录. kNN算法则是从训练集中找到和新数据最接近的k条记录.然后依据他们的主要分类来决定新数据的类别.该算法涉及3个主要因素:训练集.距离或相似的衡量

机器学习之KNN算法思想及其实现

从一个例子来直观感受KNN思想 如下图 , 绿色圆要被决定赋予哪个类,是红色三角形还是蓝色四方形?如果K=3,由于红色三角形所占比例为2/3,绿色圆将被赋予红色三角形那个类,如果K=5,由于蓝色四方形比例为3/5,因此绿色圆被赋予蓝色四方形类.         从这个例子中,我们再来看KNN思想: 1, 计算已知类别数据集合中的点与当前点之间的距离(使用欧式距离公司: d =sqrt(pow(x-x1),2)+pow(y-y1),2) 2, 按照距离递增次序排序(由近到远) 3, 选取与当前点距

菜鸟之路——机器学习之非线性回归个人理解及python实现

关键词: 梯度下降:就是让数据顺着梯度最大的方向,也就是函数导数最大的放下下降,使其快速的接近结果. Cost函数等公式太长,不在这打了.网上多得是. 这个非线性回归说白了就是缩小版的神经网络. python实现: 1 import numpy as np 2 import random 3 4 def graientDescent(x,y,theta,alpha,m,numIterations):#梯度下降算法 5 xTrain =x.transpose() 6 for i in range(

机器学习 - K-近邻算法

Table of Contents 前言 算法介绍 距离计算 算法实现 数据转换 K 值选取 结语 前言 K-近邻算法(k-nearest neighbors algorithm),又称为 KNN 算法,是这学期机器学习课教的第一个算法,也是我接触的第一个机器学习算法. 学习之后的感触便是: 机器学习和我想象的有点不一样 KNN 是真滴简单 (?￣△￣)? 算法介绍 KNN 属于有监督的分类算法,也就是说,KNN 是通过 有标签 的样本集进行训练,并通过样本集数据对测试对象进行 分类 的算法.

《机器学习实战》读书笔记2：K-近邻(kNN)算法

声明:文章是读书笔记,所以必然有大部分内容出自<机器学习实战>.外加个人的理解,另外修改了部分代码,并添加了注释 1.什么是K-近邻算法? 简单地说,k-近邻算法采用测量不同特征值之间距离的方法进行分类.不恰当但是形象地可以表述为近朱者赤,近墨者黑.它有如下特点: 优点:精度高.对异常值不敏感.无数据输入假定 缺点:计算复杂度高.空间复杂度高 适用数据范围:数值型和标称型 2.K-近邻算法的工作原理: 存在一个样本数据集合,也称作训练样本集,并且样本集中的每个数据都存在标签,即我们知道样本集中

机器学习经典算法详解及Python实现--K近邻(KNN)算法

(一)KNN依然是一种监督学习算法 KNN(K Nearest Neighbors,K近邻 )算法是机器学习所有算法中理论最简单,最好理解的.KNN是一种基于实例的学习,通过计算新数据与训练数据特征值之间的距离,然后选取K(K>=1)个距离最近的邻居进行分类判断(投票法)或者回归.如果K=1,那么新数据被简单分配给其近邻的类.KNN算法算是监督学习还是无监督学习呢?首先来看一下监督学习和无监督学习的定义.对于监督学习,数据都有明确的label(分类针对离散分布,回归针对连续分布),根据机器学习产

机器学习十大算法之KNN（K最近邻，k-NearestNeighbor)算法

机器学习十大算法之KNN算法 前段时间一直在搞tkinter,机器学习荒废了一阵子.如今想重新写一个,发现遇到不少问题,不过最终还是解决了.希望与大家共同进步. 闲话少说,进入正题. KNN算法也称最近邻居算法,是一种分类算法. 算法的基本思想:假设已存在一个数据集,数据集有多个数值属性和一个标签属性,输入一个新数据,求新数据的标签. 步骤如下: 先将新数据拷贝n份,形成一个新的数据集: 逐行计算新数据集与原数据集的距离: 按距离长度排序后,统计前K个数据里,那个标签出现的次数最多,新数据就标记

【机器学习算法实现】kNN算法__手写识别——基于Python和NumPy函数库

[机器学习算法实现]系列文章将记录个人阅读机器学习论文.书籍过程中所碰到的算法,每篇文章描述一个具体的算法.算法的编程实现.算法的具体应用实例.争取每个算法都用多种语言编程实现.所有代码共享至github:https://github.com/wepe/MachineLearning-Demo     欢迎交流指正! (1)kNN算法_手写识别实例--基于Python和NumPy函数库 1.kNN算法简介 kNN算法,即K最近邻(k-NearestNeighbor)分类算法,是最简单的机器学习算