建立模型之决策树讲义(PPT 46页)

全局最优
通过剪枝等技术来优化决 策树，以获得全局最优解 （最小损失函数值）。
决策树的预测原理
特征选择
使用训练好的决策树模型对新 的样本进行预测时，需要根据 模型中保存的特征选择规则进
行预测。
路径搜索
从根节点开始，根据模型中保存 的分裂准则和分裂点信息，沿着 树结构向下搜索，直到到达叶子 节点或无法继续分裂的节点。
CART算法步骤
划分数据集、对每个属性计算其划分能力、选择划分能力最大的属性、生成决策 节点、递归生成决策树。
随机森林算法
随机森林算法原理
基于多棵决策树的投票策略，通过训练多棵决策树，然后对 结果进行投票，以得到更加准确的结果。
随机森林算法步骤
数据集随机化、生成多棵决策树、对结果进行投票、选择票 数最多的结果作为输出。
01
02
03
04
总结词：差异对比、应用场景
线性回归是一种基于因变量和 一个或多个自变量之间关系的 预测模型，通常适用于连续目 标变量。
决策树是一种基于自上而下的 贪心搜索算法，将数据集划分 成若干个不相交的子集，每个 子集对应一个决策节点，从而 形成一棵树状结构。
在回归问题上，决策树不如线 性回归表现稳定，但在分类问 题上，决策树表现更优秀，可 以很好地处理非线性关系和异 常值。
C4.5算法
C4.5算法原理
在ID3算法的基础上，增加了剪枝、处理缺失值和连续属性等处理，以得到 更加准确的决策树。
C4.5算法步骤
计算各个属性的信息增益率、选择信息增益率最大的属性、生成决策节点、 递归生成决策树、剪枝处理。
CART算法
CART算法原理
基于二叉树的贪心策略，将数据集划分为两个子集，然后对每个子集递归生成决 策树。

否
半
否
是
否
鸽子 恒温 羽毛
否
否
是
是
否
鲸
恒温 毛发
是
是
否
否
否
X
分类与回归 分类目标属性y是离散的，回归目标属性y是连续的
类标号
哺乳动 物
爬行类 鸟类 哺乳类
y
第6章 决策树
决策树基本概念
解决分类问题的一般方法
分类技术是一种根据输入数据集建立分类模型的系统方法。 分类技术一般是用一种学习算法确定分类模型，该模型可以很好 地拟合输入数据中类标号和属性集之间的联系。学习算法得到的 模型不仅要很好拟合输入数据，还要能够正确地预测未知样本的 类标号。因此，训练算法的主要目标就是要建立具有很好的泛化 能力模型，即建立能够准确地预测未知样本类标号的模型。
第6章 决策树
决策树基本概念
解决分类问题的一般方法
训练集（类标号已知）
TID A1
A2
A3
类
1

100
L
N
2
N
125
S
N
3
Y
400
L
Y
4
N
415
M
N
学习算法 学习模型 归纳
检验集（类标号未知）
TID A1
A2
A3
类
1
Y
100
L
？
2
N
125
S
？
3
Y
400
L
？
4
N
415 M
？
应用模型 推论
模型
第6章 决策树
第 6 章 决策树
主要内容

决策树在分类问题中应用
分类问题背景介绍
分类问题是机器学习中一类重要 的问题，旨在将数据划分为不同
的类别。
在现实世界中，分类问题广泛存 在，如垃圾邮件识别、疾病诊断、
信用评分等。
分类算法的目标是通过学习训练 数据中的特征与类别之间的关系， 从而对新的未知数据进行类别预
测。
决策树在分类问题中优势
直观易理解
决策树在处理缺失值和异常值时容易受到干扰，可能导致模型性能下降。可以通过数据 预处理等方法减少缺失值和异常值对模型的影响。
CART算法实例演示
实例背景
假设有一个关于信用卡欺诈的数据集，包含多个特征（如交 易金额、交易时间、交易地点等）和一个目标变量（是否欺 诈）。我们将使用CART算法构建一个分类模型来预测交易 是否属于欺诈行为。
构建决策树时间较长
C4.5算法在构建决策树时需要计算每 个特征的信息增益比，当数据集较大 或特征较多时，构建决策树的时间可 能会较长。
C4.5算法实例演示
数据集介绍
以经典的鸢尾花数据集为例，该数据集包含150个 样本，每个样本有4个特征（花萼长度、花萼宽度、 花瓣长度、花瓣宽度）和1个标签（鸢尾花的类 别）。
建造年份等特征。
选择合适的决策树算法 （如CART、ID3等），
对数据进行训练。
模型评估与优化
采用均方误差等指标评 估模型性能，通过调整 参数、集成学习等方法
优化模型。
结果展示与解读
展示决策树图形化结果， 解释每个节点含义及预
测逻辑。
08
CATALOGUE
总结与展望
决策树模型总结回顾
模型原理
决策树通过递归方式将数据集划分为若干个子集，每个子 集对应一个决策结果。通过构建树形结构，实现分类或回 归任务。

Married 100K No
Single 70K
No
Married 120K No
Divorced 95K
Yes
Married 60K
No
Divorced 220K No
Single 85K
Yes
Married 75K
No
Single 90K
Yes
3. samples = { 2,3,5,6,8,9,10 } attribute_list = { MarSt, TaxInc }
选择TaxInc为最优分割属性：
Refund
Yes
No
NO < 80K
Single TaxInc
MarSt
Married Divorced
>= 80K
NO
YES
▪ 问题1：分类从哪个属性开始？
——选择分裂变量的标准
▪ 问题2：为什么工资以80为界限？
——找到被选择的变量的分裂点的标准（ 连续变量情况）
分类划分的优劣用不纯性度量来分析。如果对于所有
分支，划分后选择相同分支的所有实例都属于相同的类，
则这个划分是纯的。对于节点m，令 N m 为到达节点m的训练
实例数，
个实例中
N
i m
个属于Ci
类，而
N
i m
Nm 。如果一
个实例到节点m，则它属于 类的概率估i 计为：
pˆ (Ci
|
x, m)
pmi
N
i m
10
Single 125K No
Married 100K No
Single 70K
No
Married 120K No