决策树 ——【人工智能 精品讲义】

随机变量的熵
n
I ( X ) P( X i ) log 2 P( X i )
i 1
熵 比较多的用于信源编码，数据压缩，假设
是最有效的编码方式是使用 位编码
X i
于是对于随即变量的最有效编码位之和：
决策树学习原理简介—(ID3, C4.5算法)
表示训练集合中的样本
p 表示训练集合中反例样本的比例
弱
去
14
下雨
适中
高
强
不去
决策树学习原理简介—(ID3, C4.5算法)
S: (9+, 5)
湿度
高
(3+, 4-)
S: (9+, 5)
风
正常
(6+, 1-)
弱
(6+, 2-)
问题：哪一个属性（特征）更好？
强
(3+, 3-)
决策树学习原理简介—(ID3, C4.5算法)
熵:物理学概念
宏观上：热力学定律—体系的熵变等于可逆过程吸收
根据起因分类设备故障
根据拖欠支付的可能性分类贷款申请
分类问题
核心任务是把样例分类到各可能的离散值对应的类别
基本的决策树学习算法
大多数决策树学习算法是一种核心算法的变体
采用自顶向下的贪婪搜索遍历可能的决策树空间
ID3是这种算法的代表


9、要学生做的事，教职员躬亲共做； 要学生 学的知 识，教 职员躬 亲共学 ；要学 生守的 规则， 教职员 躬亲共 守。21.6.2821.6.28M onday, June 28, 2021

3、Patience is bitter, but its fruit is sweet. (Jean Jacques Rousseau , French thinker)忍耐是痛苦的，但它的果实是甜蜜的。10:516.17.202110:516.17.202110:5110:51:196.17.202110:516.17.2021

决策树在分类问题中应用
分类问题背景介绍
分类问题是机器学习中一类重要 的问题，旨在将数据划分为不同
的类别。
在现实世界中，分类问题广泛存 在，如垃圾邮件识别、疾病诊断、
信用评分等。
分类算法的目标是通过学习训练 数据中的特征与类别之间的关系， 从而对新的未知数据进行类别预
测。
决策树在分类问题中优势
直观易理解
决策树在处理缺失值和异常值时容易受到干扰，可能导致模型性能下降。可以通过数据 预处理等方法减少缺失值和异常值对模型的影响。
CART算法实例演示
实例背景
假设有一个关于信用卡欺诈的数据集，包含多个特征（如交 易金额、交易时间、交易地点等）和一个目标变量（是否欺 诈）。我们将使用CART算法构建一个分类模型来预测交易 是否属于欺诈行为。
构建决策树时间较长
C4.5算法在构建决策树时需要计算每 个特征的信息增益比，当数据集较大 或特征较多时，构建决策树的时间可 能会较长。
C4.5算法实例演示
数据集介绍
以经典的鸢尾花数据集为例，该数据集包含150个 样本，每个样本有4个特征（花萼长度、花萼宽度、 花瓣长度、花瓣宽度）和1个标签（鸢尾花的类 别）。
建造年份等特征。
选择合适的决策树算法 （如CART、ID3等），
对数据进行训练。
模型评估与优化
采用均方误差等指标评 估模型性能，通过调整 参数、集成学习等方法
优化模型。
结果展示与解读
展示决策树图形化结果， 解释每个节点含义及预
测逻辑。
08
CATALOGUE
总结与展望
决策树模型总结回顾
模型原理
决策树通过递归方式将数据集划分为若干个子集，每个子 集对应一个决策结果。通过构建树形结构，实现分类或回 归任务。

决策树(Decision Tree)
1
2022/1/5
一、分类(Classification)
1、分类的意义
数据库
分类模型— 决策树
分类模型— 聚类
预测
了解类别属性 与特征
2
2022/1/5
2、分类的技术
（1）决策树
数据库
3
分类标记
性别
Female
年龄
Male 婚姻
<35
≧35
未婚 已婚
否
是
否
28
2022/1/5
第四步：决策树
29
2022/1/5
案例2：银行违约率
30
2022/1/5
31
2022/1/5
案例3 对电信客户的流失率分析
数据仓库
条件属性
类别属性
客户是否流失
32
2022/1/5
案例4：在银行中的应用
33
2022/1/5
案例个5人：信个用评人级信决用策评树级
34
2022/1/5
是
2022/1/5
（2）聚类
4
2022/1/5
3、分类的程序
模型建立(Model Building) 模型评估(Model Evaluation) 使用模型(Use Model)
5
2022/1/5
决策树分类的步骤
数据库
建立模型
训练样本(training samples)
测试样本(testing samples)
24
2022/1/5
第一步：属性离散化
25
2022/1/5
第二步：概化（泛化）
26
2022/1/5

Gain(D,密度,0.381)
是7 否
Ent(D)[147Ent(Dt)1173Ent(Dt)]
是8
0.263
;.
28
与离散属性不同，若当前结 点划分属性为连续属性，该连续属 性还可被再次选作后代结点的最优 划分属性。
选择“纹理”作为根结点划分属性
;.
29
现实任务中，尤其在属性数目较多时，存在大量样本出现缺失值。 出于成本和隐私的考虑
;.
30
1. 属性值缺失时，如何进行划分属性选择？（如何计算信息增益） 2. 给定划分属性，若样本在该属性上的值缺失，如何对样本进行划分？
（对于缺失属性值的样本如何将它从父结点划分到子结点中）
D : D : 训练集
训练集中在属性a上没有缺失值的样本子集
D D v :
被属性a划分后的样本子集
D D k :
{8}和{10}同时进入三个分支中，权值分别为：
7,5,3 15 15 15
;.
36
每个属性
~
d个属性描述的样本
~
对样本分类
~
坐标空间中的一个坐标轴 d维空间中的一个数据点 在坐标空间中寻找不同类样本之间的分类边界
决策树形成的分类边界的明显特点：轴平行，分类边界由若干个与坐标轴平行的分段组 成。
优点：学习结果解释性强，每个划分都对应一个属性取值
;.
1
第4章 决策树
根据训练数据是否拥有标记信息
学习任务
监督学习(supervised learning)
无监督学习(unsupervised learning)
半监督学习(semi-supervised learning)
强化学习(reinforcement learning)