机器学习与人工智障(5):决策树与随机森林

一、从LR到决策树

　　1.总体流程与核心问题

　　　　(1)决策树是基于树的结构进行决策：

　　　　　　每个“内部节点”对应于某个属性上的“测试”

　　　　　　每个分支对应于该测试的一种可能结果(即该属性上的每个取值)

　　　　　　每个叶节点对应于一个预测结果

　　　　(2)学习过程：通过对训练样本的分析来确定“划分属性”(即内部节点所对应的属性)

　　　　(3)预测过程：将测试实例从根节点开始，沿着划分属性所构成的“判定测试序列”下行，直到叶节点

　　2.决策树的总体流程：

　　　　(1):“分而治之(divide-and-conquer)”

　　　　　　自根至叶的递归过程

　　　　　　在每一个中间节点寻找一个“划分属性”

　　　　(2)三种停止的条件：

　　　　　　当前节点包含的样本完全属于同一类别，无需划分；

　　　　　　当前属性集为空，或者所有样本在所有属性上取值相同，无法划分

　　　　　　当前节点包含的样本集合为空，不能划分

　　3.熵、信息增益、信息增益率

二、回归树　　

　　1.构建回归树

　　2.最优化回归树

三、从决策树到随机森林

　　1.采样与bootstrap

　　2.bagging与随机森林

原文地址：https://www.cnblogs.com/bigdata-stone/p/10259145.html