网络上使用sklearn生成决策树的资料很多，这里主要说明遇见标量数据的处理。
经查验参考资料，sklearn并非使用了课上以及书上讲的ID3算法，而是选择了CART，该算法生成二叉树；scikit-learn使用了一种优化的CART算法，要求元数据为数值型（要能转换为np.float32类型的矩阵），因为该实现同时可以做回归分析。然而，题目数据中有天气等标量数据，所以还要进行转化，这里采用了sklearn中的LabelEncoder来将n个标量转化为1至n-1的整数。将数据训练完毕后，安装并使用了Graphviz（一个图形显示库）和pydotplus（方便使用Graphviz的Python编程接口）来进行结果图形化显示；查阅资料说的配置好像比较复杂，其实下载下来Graphviz后解压缩，并把bin文件夹加入环境变量就可以用pydotplus来访问了。使用信息熵作为度量，结果如图所示，其中value表示目标两类各包含多少实例。
结果：
为展示训练结果如何，将原数据再次使用score函数输入，发现正确率100%。应该是由于没有限制树的深度结果比较精确，并且发现“湿度”这个属性根本没有使用！但是一旦数据比较多，就需要限制树的深度了和每个叶子的实例个数了，由max_depth、min_samples_split、min_samples_leaf来设置。
最后还有一些疑问，就是把标量当做数值属性来处理，会影响最后分类的结果吗？需要拿数据说话还是有一些已经存在的结论。。。？
1 # -*- coding: utf-8 -*-
2 """
3 Created on Tue Nov 22 17:45:37 2016
4
5 @author: Ascii0x03
6 """
7
8 from sklearn import tree
9 from sklearn import preprocessing
10 import pydotplus
11 from IPython.display import Image
12
13 #将数据集data中的字符串属性全部转化为对应的标签
14 #data为矩阵，同tree.DecisionTreeClassifier.fit方法中的数据
15 #返回值le_list是preprocessing.LabelEncoder()对象的列表
16 #str_index是属性中字符串类型的下标
17 def preprocess(data):
18 str_index = []
19 #temp_label = []
20 le_list = []
21 le_num = 0
22 for i in range(0,len(data[1])):
23 if (isinstance(data[1][i], str)):
24 str_index.append(i)
25 #整理出labelEncoder
26 for index in str_index:
27 temp_label = []
28 for i in data:
29 temp_label.append(i[index])
30 le_list.append(preprocessing.LabelEncoder())
31 le_list[le_num].fit(temp_label)
32 #根据labelEncoder修改原始数据
33 #print temp_label
34 for i in data:
35 i[index] = le_list[le_num].transform([(i[index])])[0]
36
37 le_num += 1
38
39 return (le_list, str_index)
40
41
42
43 clf = tree.DecisionTreeClassifier(criterion = "entropy")
44 #每行是一个数据，分别为天气，温度，湿度风况
45 data = [["Sunny", 85, 85, "No"],
46 ["Sunny", 80, 90, "Yes"],
47 ["Cloudy", 83, 78, "No"],
48 ["Rainy", 70, 96, "No"],
49 ["Rainy", 68, 80, "No"],
50 ["Rainy", 65, 70, "Yes"],
51 ["Cloudy", 64, 65, "Yes"],
52 ["Sunny", 72, 95, "No"],
53 ["Sunny", 69, 70, "No"],
54 ["Rainy", 75, 80, "No"],
55 ["Sunny", 75, 70, "Yes"],
56 ["Cloudy", 72, 90, "Yes"],
57 ["Cloudy", 81, 75, "No"],
58 ["Rainy", 71, 80, "Yes"]
59 ]
60 #针对每行数据，分类为适合运动与不适合运动
61 labels = ["unfit", "unfit", "fit", "fit", "fit",
62 "unfit", "fit", "unfit", "fit", "fit",
63 "fit", "fit", "fit","unfit"]
64 (le_list, str_index) = preprocess(data)
65 #print data
66 clf.fit(data, labels)
67
68 print clf.feature_importances_
69 dot_data = tree.export_graphviz(clf, out_file=None)
70 graph = pydotplus.graph_from_dot_data(dot_data)
71 Image(graph.create_png()) #这里貌似不能正确显示
72 graph.write_pdf("test1.pdf")
73 graph.write_png("test1.png")
74 #print dot_data
75
76 test = [["Rainy", 71, 80, "Yes"]]
77 #Preprocessing the test data
78 for index in range(0, len(str_index)):
79 for i in test:
80 i[str_index[index]] = le_list[index].transform([i[str_index[index]]])[0]
81 #print test
82 print clf.predict(test)
83 print clf.predict_proba(test)
84 print clf.score(data, labels)
参考：
0. ID3算法实现决策树可http://blog.csdn.net/u012822866/article/details/42419471
1. http://scikit-learn.org/stable/modules/tree.html#tree-classification
2. http://scikit-learn.org/dev/modules/generated/sklearn.preprocessing.LabelEncoder.html
3. http://pydotplus.readthedocs.io/
4. http://www.graphviz.org/