机器学习-决策树 -ppt

例如：我们要对“这是好瓜吗”这样的问题进行决策时，通常 会进行一系列的判断：我们先看“它是什么颜色”，如果是“青 绿色”再看“它的根蒂是什么形态”，如果是“蜷缩”，我们在判 断“它敲起来是什么声音”，最后，我们得出最终的决策：这是 个好瓜，这个过程如下：
决策树的基本组成部分：决策结点、分支和叶子。
主要内容
决策树基本概念 基本流程 划分选择 剪枝处理
决策树

决策树基本概念
决策树是数据挖掘分类算法的一个重要方法。在各种分类算 法中，决策树是最直观的一种。在机器学习中也是一种常用方法。
我们希望从给定的训练集中学得一个模型用来对新示例进行 分类，这一分类过程称为“决策”过程。决策树是基于树结构进 行决策的。
一般而言，信息增益越大，则意味着使用属性a来进行划分所 获得的“纯度”（即分支节点所包含的样本尽可能属于同一类 别）
以下表的西瓜数据为例
以属性“色泽”为例，它有三个可能取值{青绿，乌 黑，浅白}，记为：D1==青绿，D2=乌黑，D3=浅白算 D1包含{1，4，6,10,13,17}6个样例，其中正比例 P1=3/6，反比例P2=3/6；D2包含{2,3,7,8,9，15}6个 样例，其中正比例P1=4/6，反比例P2=2/6；D3包含 {5,11,12,14,16}5个样例，其中正比例P1=1/5，反比 例P2=4/5。
决策树算法
目前已有多种决策树算法：CLS、ID3、CHAID、C4.5、 CART、 SLIQ、SPRINT等。 著名的ID3（Iterative Dichotomiser3）算法是 J.R.Quinlan在1986 年提出的，该算法引入了信息论中的理论，是基于信息 熵的决策树分类算法。
决策树ID3算法
剪枝分为“预剪枝”和“后剪枝”。预剪枝是在 决策树生成过程中，对每个节点在划分之前先 进行估计，若当前节点的划分不能带来决策树 的泛化性能的提升，则停止划分并将当前节点 标记为叶节点。

全局最优
通过剪枝等技术来优化决 策树，以获得全局最优解 （最小损失函数值）。
决策树的预测原理
特征选择
使用训练好的决策树模型对新 的样本进行预测时，需要根据 模型中保存的特征选择规则进
行预测。
路径搜索
从根节点开始，根据模型中保存 的分裂准则和分裂点信息，沿着 树结构向下搜索，直到到达叶子 节点或无法继续分裂的节点。
CART算法步骤
划分数据集、对每个属性计算其划分能力、选择划分能力最大的属性、生成决策 节点、递归生成决策树。
随机森林算法
随机森林算法原理
基于多棵决策树的投票策略，通过训练多棵决策树，然后对 结果进行投票，以得到更加准确的结果。
随机森林算法步骤
数据集随机化、生成多棵决策树、对结果进行投票、选择票 数最多的结果作为输出。
01
02
03
04
总结词：差异对比、应用场景
线性回归是一种基于因变量和 一个或多个自变量之间关系的 预测模型，通常适用于连续目 标变量。
决策树是一种基于自上而下的 贪心搜索算法，将数据集划分 成若干个不相交的子集，每个 子集对应一个决策节点，从而 形成一棵树状结构。
在回归问题上，决策树不如线 性回归表现稳定，但在分类问 题上，决策树表现更优秀，可 以很好地处理非线性关系和异 常值。
C4.5算法
C4.5算法原理
在ID3算法的基础上，增加了剪枝、处理缺失值和连续属性等处理，以得到 更加准确的决策树。
C4.5算法步骤
计算各个属性的信息增益率、选择信息增益率最大的属性、生成决策节点、 递归生成决策树、剪枝处理。
CART算法
CART算法原理
基于二叉树的贪心策略，将数据集划分为两个子集，然后对每个子集递归生成决 策树。

分支
连接节点之间的路径，代表不同 的决策路径。
决策树学习算法分类
ID3算法
基于信息增益进行特征选择，适用于离散型特征。
C4.5算法
在ID3算法基础上进行改进，支持连续型特征处理， 引入剪枝技术防止过拟合。
CART算法
既可用于分类也可用于回归任务，基于基尼指数 进行特征选择，生成二叉树结构。
应用场景举例
提高泛化能力
02
剪枝后的决策树更加简洁，能够更好地适应新数据，提高模型
的泛化能力。
减少计算资源消耗
03
简化决策树结构可以降低模型训练和预测的计算复杂度，节省
计算资源。
预剪枝策略及实现方法
设定决策树生长的最大深度
在决策树生长过程中，限制其最大深度，防止 过深导致过拟合。
设定叶节点最小样本数
当某个节点的样本数小于设定值时，停止对该 节点的划分，将其作为叶节点。
利用统计学方法进行剪枝
基于统计学原理，对决策树节点进行假设检验，判断是否需要继续划分。
后剪枝策略及实现方法
错误率降低剪枝（Reduced-Error Prun…
自下而上地对决策树进行剪枝，如果剪去某个子树后，整体错误率降低，则进行剪枝。
代价复杂度剪枝（Cost-Complexity Pr…
引入代价复杂度参数，通过最小化整体代价（错误率与复杂度之和）来进行剪枝。
THANKS
感谢观看
集成学习方法在决策树中应用
Bagging方法
通过自助采样法生成多个数据集， 分别训练决策树模型，再对多个 模型的结果进行投票或平均，降 低模型方差。
Boosting方法
通过迭代训练多个弱分类器，将 每个弱分类器的结果加权求和， 得到强分类器，提高模型性能。

第五步：使用Python库测试结果可视化
第一步：收集数 据
第三步：向Python导入 数据
第四步：使用Python库sklearn训练
第二步：分割数据
课堂小结
一、2017年度重点工作项目完成情况
1 决策树分类概念 2 构建决策树
3 举例说明：鸢尾花分类
备未用来：的深深度度学学习习：人工智能
展望与挑战
“温度”是多余的特点
如何判断某一天游客是否会来游乐场游玩？
天气、温度、湿度
2.4.1决策树分类概念
建立决策树的过程 选择一个属性值，基于这个属性对样本集进行划分，得到子集划分结果。
再选择其他属性，对得到的划分结果进行划分，直至最后所得划分结果中每 个样本为同一个类别。
2.4.2构建决策树
构建决策树来解决实际生活中的问题时，需按照一定的顺序选择划分属 性。通常，性能好的决策树随着划分不断进行，决策树分支节点的“纯度” 会越来越高，即其所包含样本尽可能属于相同类别。为了逐次选出最优属 性，可以采用信息增益(informationgain)这一指标。
2.4.2构建决策树
练一练： 1.计算表2.4.1中温度高低、湿度大小、风力强弱三个气象特点的信息增益。
思考： 将天气状况、温度高低、湿度大小、风力强弱作为分支点来构造图2.4.1决策
树时，是否信息增益大的气象特点离根节点越近?
【练一练】： 如下表所示，每朵鸢尾花有萼片长度、萼片宽度、花瓣长度、花瓣宽度四个
4个属性 1个标签 1 Label 4 Features 用来标记种类
序号 Index 0-149， 一共150个样本
基于鸢尾花数据集
例：鸢尾花数据集是常用的分类实验数据集，由Fisher1936收集整理。 Iris也称鸢尾花卉数据集，是一类多重变量分析的数据集。数据集包含 150个数据样本，分为3类，每类50个数据，每个数据包含4个属性。可通 过花萼长度，花萼宽度，花瓣长度，花瓣宽度4个属性预测鸢尾花卉属于 （Sentosa 0，Versicolor 1，Virginia 2）三个种类中的哪一类。