决策树 模型 分类

选择wine的例子(DM6中)，共178个样本，每个样本测得13个指标，共分成3类。由决策树得到分类规则：

(Matlab程序在2012B中运行实现.)

>>load wine

>>ctree = ClassificationTree.fit(wine,wine_labels)

文本方式显示决策树

>>view(ctree) %% returns a text description of the tree.

图形方式显示决策树：

>>view(ctree,'mode','graph')

预测新样本的类别可以用% Ynew = predict(tree,Xnew)

如：

>>Ynew = predict(ctree,mean(wine))

Ynew =

2

计算误判率

>>resuberrorc = resubLoss(ctree)

resuberrorc =

0.0281

>>Ypredict=predict(ctree,wine);

>>mse(Ypredict-wine_labels)

ans =

0.0281

>>A1=dummyvar(Ypredict)

>>A2=dummyvar(wine_labels)

>>[c,cm,ind,per] =confusion(A1',A2')

c =

0.0281

cm =

57 0 0 2 69 1

0 2 47

ind =

[1x57 double] [] []

[1x2 double] [1x69 double] [ 162]

[] [1x2 double] [1x47 double]

决策树算法介绍（DOC）

3.1 分类与决策树概述

3.1.1 分类与预测

分类是⼀种应⽤⾮常⼴泛的数据挖掘技术，应⽤的例⼦也很多。例如，根据信⽤卡⽀付历史记录，来判断具备哪些特征的⽤户

往往具有良好的信⽤；根据某种病症的诊断记录，来分析哪些药物组合可以带来良好的治疗效果。这些过程的⼀个共同特点

是：根据数据的某些属性，来估计⼀个特定属性的值。例如在信⽤分析案例中，根据⽤户的“年龄”、“性别”、“收⼊⽔平”、“职

业”等属性的值，来估计该⽤户“信⽤度”属性的值应该取“好”还是“差”，在这个例⼦中，所研究的属性“信⽤度”是⼀个离散属性，

它的取值是⼀个类别值，这种问题在数据挖掘中被称为分类。

还有⼀种问题，例如根据股市交易的历史数据估计下⼀个交易⽇的⼤盘指数，这⾥所研究的属性“⼤盘指数”是⼀个连续属性，

它的取值是⼀个实数。那么这种问题在数据挖掘中被称为预测。

总之，当估计的属性值是离散值时，这就是分类；当估计的属性值是连续值时，这就是预测。

3.1.2 决策树的基本原理

1.构建决策树

通过⼀个实际的例⼦，来了解⼀些与决策树有关的基本概念。

表3-1是⼀个数据库表，记载着某银⾏的客户信⽤记录，属性包括“姓名”、“年龄”、“职业”、“⽉薪”、......、“信⽤等级”，每⼀⾏

是⼀个客户样本，每⼀列是⼀个属性（字段）。这⾥把这个表记做数据集D。

银⾏需要解决的问题是，根据数据集D，建⽴⼀个信⽤等级分析模型，并根据这个模型，产⽣⼀系列规则。当银⾏在未来的某

个时刻收到某个客户的贷款申请时，依据这些规则，可以根据该客户的年龄、职业、⽉薪等属性，来预测其信⽤等级，以确定

是否提供贷款给该⽤户。这⾥的信⽤等级分析模型，就可以是⼀棵决策树。在这个案例中，研究的重点是“信⽤等级”这个属

性。给定⼀个信⽤等级未知的客户，要根据他/她的其他属性来估计“信⽤等级”的值是“优”、“良”还是“差”，也就是说，要把这客

户划分到信⽤等级为“优”、“良”、“差”这3个类别的某⼀类别中去。这⾥把“信⽤等级”这个属性称为“类标号属性”。数据集D中“信

决策树（理论篇）

定义

由⼀个决策图和可能的结果（包括资源成本和风险组成），⽤来创建到达⽬的的规划。——维基百科

通俗理解

给定⼀个输⼊值，从树节点不断往下⾛，直⾄⾛到叶节点，这个叶节点就是对输⼊值的⼀个预测或者分类。

算法分类

ID3（Iterative Dichotomiser 3，迭代⼆叉树3代）

历史

ID3算法是由Ross Quinlan发明的⽤于⽣成决策树的算法，此算法建⽴在奥卡姆剃⼑上。奥卡姆剃⼑⼜称为奥坎的剃⼑，意为简约之法

则，也就是假设越少越好，或者“⽤较少的东西，同样可以做好的事情”，即越是⼩型的决策树越优于⼤的决策树。当然ID3它的⽬的并不是为

了⽣成越⼩的决策树，这只是这个算法的⼀个哲学基础。

引⼊

信息熵。熵是热⼒学中的概念，是⼀种测量在动⼒学⽅⾯不能做功的能量总数，也就是当总体熵的增加，其做功能⼒也下降，熵的量度

正是能量退化的指标——维基百科。⾹农将“熵”的概念引⼊到了信息论中，故在信息论中被称为信息熵，它是对不确定性的测量，熵越⾼，

不确定性越⼤，熵越低，不确定性越低。

那么到底何为“信息熵”？它是衡量信息量的⼀个数值。那么何⼜为“信息量”？我们常常听到某段⽂字信息量好⼤，某张图信息量好⼤，实

际上指的是这段消息（消息是信息的物理表现形式，信息是其内涵——《通信原理》）所包含的信息很多，换句话说传输信息的多少可以采

⽤“信息量”去衡量。这⾥的消息和信息并不完全对等，有可能出现消息很⼤很多，但所蕴含有⽤的信息很少，也就是我们常说的“你说了那么

多（消息多），但对我来说没⽤（信息少，即信息量少）”。这也进⼀步解释了消息量的定义是传输信息的多少。

进⼀步讲，什么样的消息才能构成信息呢？

我们为什么会常常发出感叹“某段⽂字的信息量好⼤”，得到这条消息时是不是有点出乎你的意料呢？⽐如，X男和X男在同⼀张床上发出

不可描述的声⾳，这段消息对于你来讲可能就会发出“信息量好⼤”的感叹。再⽐如，某情侣在同⼀张床上发出不可描述的声⾳，这段消息对

算法与模型的比较：逻辑回归和决策树

逻辑回归（Logistic Regression）和决策树（Decision Tree）是机器学习领域中常用的两种算法模型。它们都是监督学习算法，用于解决分类问题。然而，它们的工作原理、应用场景、优缺点等方面有很大的不同。本文将对逻辑回归和决策树进行比较，以便更好地理解它们各自的特点和适用场景。

1.工作原理

逻辑回归是一种线性模型，它使用逻辑函数（也称为Sigmoid函数）将输入特征的线性组合映射到一个[0,1]的概率值。这个概率值可以表示为样本属于某个类别的概率。在二分类问题中，逻辑回归将输入特征进行加权求和，然后通过逻辑函数将结果映射到[0,1]之间，大于0.5的样本被划分为正例，小于0.5的样本被划分为负例。

决策树是一种基于树形结构的分类模型。它通过对特征进行递归划分，分裂样本空间，并且在每个划分点选择最优的特征和划分方式，直到满足停止条件。在预测时，样本通过决策树的各个分支，最终到达叶子节点，叶子节点所属的类别即为该样本的预测类别。 2.模型复杂度

逻辑回归是一个简单的线性模型，它的复杂度较低。在训练过程中，逻辑回归通过最小化损失函数，更新模型参数。由于只需要对参数进行简单的线性加权，因此逻辑回归的训练速度较快。另外，逻辑回归不需要特别复杂的数据预处理，并且对异常值不敏感，因此具有较好的鲁棒性。

决策树在训练过程中需要进行递归划分属性和计算信息增益或基尼系数等指标来选择最优属性，因此其训练速度通常较慢。此外，决策树对数据的特征容易产生过拟合，需要剪枝等操作来降低模型的复杂度。因此相对于逻辑回归，决策树的训练速度较慢且模型复杂度高。

3.模型的解释性

逻辑回归在模型中使用线性函数对特征进行加权，并且通过逻辑函数将结果映射到[0,1]之间，因此模型的结果具有很好的解释性。可以清晰地得知哪些特征对分类结果的影响较大或较小。另外，逻辑回归的参数可以直接转化为特征的权重，因此可以用于特征选择和特征工程。 决策树在模型构建过程中，通过递归划分属性和计算信息增益或基尼系数等指标来选择最优属性，最终构建成一棵树形结构。这种树形结构直观直观地描述了特征之间的关系和决策的过程，因此具有很好的解释性。