《机器学习实战》终于到手了，开始学习了。由于本人python学的比较挫，所以学习笔记里会有许多python的内容。
1、 python及其各种插件的安装
由于我使用了win8.1 64位系统（正版的哦），所以像numpy 和 matploblib这种常用的插件不太好装，解决方案就是Anaconda-2.0.1-Windows-x86_64.exe 一次性搞定。
2、kNN代码
1 #-*-coding:utf-8-*-
2 from numpy import *
3 import operator
4
5 def createDataSet():
6 group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
7 labels = [‘A‘,‘A‘,‘B‘,‘B‘]
8 return group,labels
9
10 def classify0(inX,dataSet,labels,k):
11 dataSetSize = dataSet.shape[0]
12 diffMat = tile(inX,(dataSetSize,1))-dataSet
13 sqDiffMat = diffMat ** 2
14 sqDistances = sqDiffMat.sum(axis = 1)
15 distances = sqDistances ** 0.5
16 sortedDistIndicies = distances.argsort() #indices
17 classCount = {}
18 for i in range(k):
19 voteIlabel = labels[sortedDistIndicies[i]]
20 classCount[voteIlabel] = classCount.get(voteIlabel,0)+1
21 #找出最大的那个
22 sortedClassCount = sorted(classCount.iteritems(),
23 key = operator.itemgetter(1),reverse = True)
24 return sortedClassCount[0][0]
这里的疑惑主要出现在：
（1）array与list有什么区别
array 是numpy里面定义的。为了方便计算，比如
1 array([1,2])+array([3,4]) 2 [1,2]+[3,4]
执行以下就可以知道他们的差别了
（2）shape[0]返回的是哪一维度的大小（不要嘲笑我小白，我真的不知道）
找到文档看了一下就开朗了。ndarray.shape “the dimensions of the array. This is a tuple of integers indicating the size of the array in each dimension. For a matrix with n rows and m columns, shape will be (n,m). The length of the shape tuple is therefore the rank, or number of dimensions, ndim.”
（3）tile函数
tile函数是经常使用的函数，用于扩充array。举例：
1 >>> b = np.array([[1, 2], [3, 4]]) 2 >>> np.tile(b, 2) 3 array([[1, 2, 1, 2], 4 [3, 4, 3, 4]]) 5 >>> np.tile(b, (2, 1)) 6 array([[1, 2], 7 [3, 4], 8 [1, 2], 9 [3, 4]])
这下就懂了吧。为什么要用这个函数呢？因为后面两个array要做差，这样做就可以不用使用循环了，典型的空间换时间。那么为什么要做差呢？好吧，因为这是knn算法。
（4）array的sum函数
写到这里，我决定要好好读读numpy文档了。
numpy.sum(a, axis=None, dtype=None, out=None, keepdims=False)
一个sum函数还是挺麻烦的呢
>>> np.sum([[0, 1], [0, 5]], axis=0) array([0, 6]) >>> np.sum([[0, 1], [0, 5]], axis=1) array([1, 5])
这样大家都清楚了
（5） 最后一行，return了什么？
表面看起来像是二维数组的第一个元素，但是sortedClassCount是二维数组吗？
写了一个小的验证程序，发现sortedClassCount是一个list，元素是tuple。
L = {1:12,3:4}
sortedL = sorted(L.iteritems(),key=operator.itemgetter(1))
print sortedL
#结果
[(3, 4), (1, 12)]