这节课终于不是那么迷糊了，如果100分满分的话，听懂程度有70分了，初学者就是这么容易满足。 :| 老师说这是这20次课里最简单的一次。。。oh。。。no。
不废话了，接着记笔记吧。
CART：classsification and regression tree
三种决策树：ID3，C4.5，CART
树是最重要的数据结构。
决策树示意图：
决策树最重要的知识点：
决策树学习采用的是自顶向下的递归方法，其基本思想是以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的熵值为零。此时每个叶节点中的实例都属于同一类。
算法最大的优点是可以自学习。不需要使用者了解过多知识背景，只需要对训练实例进行较好的标注，就能够进行学习。属于有监督学习。
从一类无序、无规则的事物中推理决策树表示的分类规则。
建立决策树的关键：即在当前状态下选择哪个属性作为分类依据。根据不同的目标函数，建立决策树主要有以下三种算法：ID3,C4.5,CART.
经验熵：由数据估计概率得到的熵。
经验条件熵：有数据估计概率得到的条件熵。
信息增益：得知特征A的信息而使类X的信息的不确定性减少的程度。
剪枝是为了防止过拟合，提高泛化能力。（为了适应测试）
分为前剪枝和后剪枝。
前剪枝：比如约束树的高度，叶子节点的个数。
后剪枝：树建好了以后再以某种标准进行剪枝。
Bagging：
可以加权。
最后邹老师的总结。
*********************************************分割线*********************************************
现在回过头来，看开头说听懂了70%说高了。555555555555555555555555.............不灰心，不放弃。下午更新最爱的SVM。不知道看了几遍了，看能总结成什么样吧。