决策树(完整).

注意答卷要求：1．统一代号： P 为利润， C 为成本， Q为收入， EP为期望利润2．画决策树时一定按照标准的决策树图形画，不要自创图形3．决策点和状态点做好数字编号4．决策树上要标出损益值某企业似开发新产品，现在有两个可行性方案需要决策。

I 开发新产品 A ，需要追加投资 180 万元，经营期限为 5 年。

此间，产品销路好可获利 170 万元；销路一般可获利 90 万元；销路差可获利 -6 万元。

三种情况的概率分别为 30%，50%， 20%。

II.开发新产品 B，需要追加投资 60 万元，经营期限为 4 年。

此间，产品销路好可获利100 万元；销路一般可获利50 万元；销路差可获利20 万元。

三种情况的概率分别为 60%，30%， 10%。

（ 1）画出决策树销路好0.3170销路一般0.5290销路差0.1-6开发产品A1销路好0.6100开发产品B销路一般0.3350销路差0.120（ 2）计算各点的期望值，并做出最优决策求出各方案的期望值：方案 A=170×0.3 ×5+90×0.5 ×5+(-6) ×0.2×5=770(万元 ) 方案 B=100×0.6 ×4+50×0.3×4+20×0.1 ×4=308(万元 ) 求出各方案的净收益值：方案 A=770-180=590(万元 )方案 B=308-60=248(万元 )因为 590 大于 248 大于 0所以方案 A 最优。

某企业为提高其产品在市场上的竞争力，现拟定三种改革方案：（ 1）公司组织技术人员逐渐改进技术，使用期是 10 年；（ 2）购买先进技术，这样前期投入相对较大，使用期是 10 年；（3）前四年先组织技术人员逐渐改进，四年后再决定是否需要购买先进技术，四年后买入技术相对第一年便宜一些，收益与前四年一样。

决策树构成的基本要素决策树是一种用于分类和回归分析的非参数有监督学习方法。

它是一种基于树状结构的模型，用于将一连串的决策和可能的结果表示为一个树形图。

决策树分类器基于对数据集属性的连续划分，通过对数据集中的特征进行选择，按照不同的规则分裂数据集，直到达到预定的终止条件为止。

决策树的基本要素包括：根节点、内部节点和叶子节点。

1.根节点：根节点是决策树的起始节点，是决策树的顶层节点。

它代表了整个数据集，并通过一个属性将数据集划分为不同的分支。

2.内部节点：内部节点是根节点之外的节点，它代表了一个属性测试。

在决策树的构建过程中，根据选择的属性和属性值，数据集可以被分割成多个子集。

每个子集对应于一个分支，通过内部节点将数据集划分到相应的子集中。

3.叶子节点：叶子节点是决策树的最末端节点，代表了一个类别或回归输出。

当决策树无法继续划分数据集时，即满足一些终止条件（如达到最大深度、样本数不足等）时，将会生成一个叶子节点。

除了基本要素，还有一些决策树构建中的关键概念和操作：1.划分准则：决策树的构建过程中需要选择一个划分准则，用于评估每个属性的重要性以及使用哪个属性来划分数据集。

常用的划分准则有信息增益、基尼系数和误差率等。

2.属性选择度量：属性选择度量是用来衡量属性划分后分类的纯度或不纯度的指标。

常用的度量指标有信息增益、信息增益比、基尼指数等。

3.剪枝法：决策树的构建过程容易出现过拟合现象，为了避免过拟合，需要通过剪枝法对生成的决策树进行修剪。

剪枝法根据一些准则来确定剪掉哪些叶子节点的子树，并将其替换为一个叶子节点。

4.缺失值处理：在实际应用中，数据可能存在缺失值。

为了处理缺失值，可以使用不同的方法，如众数替代、平均值替代、最可能的值替代等。

决策树是一种直观且易于解释的机器学习模型。

它具有自动特征选择、高可解释性、可处理离散和连续型数据等特点，广泛应用于各个领域，如金融、医疗、市场营销等。

但是决策树也存在一些局限性，比如容易过拟合、对噪声敏感等。

决策树计算公式
决策树是一种监督学习算法，用于解决分类问题。

其计算公式如下：
1.特征选择：根据某个特征的信息增益、信息增益比、基尼系数等指标，选择最优的特征进行划分。

2.划分节点：根据选择的最优特征，将数据集划分成多个子集或子节点。

3.递归构建：对每个子节点，重复步骤1和步骤2，直到满足终止条件（例如，节点只含有一类样本，或者达到最大深度等）。

4.终止条件：可以是以下情况之一：
-节点只包含一类样本，无需继续划分；
-达到预设的最大深度；
-无法选择一个特征进行划分。

5.样本分类：根据叶子节点的类别标签进行分类。

需要注意的是，决策树的计算过程是一个递归的过程，通过选择最优特征进行划分，将数据集分成更小的子集，最终得到树形结构的分类模型。

决策树还有其他一些拓展形式，例如随机森林、梯度提升树等。

这些拓展形式在计算公式上可能会有一些差异，但核心的思想和基本的计算过程与原始决策树相似。

1.某厂对一部分职工重新分配工作，分配原则是：⑴年龄不满20岁，文化程度是小学者脱产学习，文化程度是中学者当电工；⑵年龄满20岁但不足50岁，文化程度是小学或中学者，男性当钳工，女性当车工；文化程度是大专者，当技术员。

⑶年龄满50岁及50岁以上，文化程度是小学或中学者当材料员，文化程度是大专者当技术员。

要求：做出决策表。

123456789101112条件及行动说明年龄≤20≤20≤20≤20≤20≤20(20,50](20,50](20,50](20,50](20,50](20,50]文化程度小学小学中学中学大专大专小学小学中学中学大专大专性别男女男女男女男女男女男女脱产学习√√电工√√钳工√√车工√√材料员技术员√√131415161718条件及行动说明年龄≥50≥50≥50≥50≥50≥50文化程度小学小学中学中学大专大专性别男女男女男女脱产学习电工钳工车工材料员√√√√技术员√√优化后的决策表如下：12345789101112条件及行动说明年龄≤20≤20(20,50](20,50](20,50](20,50](20,50](20,50]≥50≥50≥50文化程度小学中学小学小学中学中学大专大专小学中学大专性别--男女男女男女---脱产学习√√电工钳工√√车工√√材料员√√技术员√√√2、试画出某企业库存量监控处理的判断树。

若库存量≤0，按缺货处理；若库存量≤库存下限，按下限报警处理；若库存量＞库存下限，而又≤储备定额，则按订货处理；若库存量＞库存下限，而又＞储备定额，则按正常处理；若库存量≥库存上限，又＞储备定额，则按上限报警处理。

3某货运站收费标准如下：若收件地点在本省，则快件6元／公斤，慢件4元／公斤；若收件地点在外省，则在25公斤以内（包括25公斤），快件8元／公斤，慢件6元／公斤；而超过25公斤时，快件10元／公斤，慢件8元／公斤；画出决策表和决策树：决策表：条件组合条件活动说明12345678地点本省本省本省本省外省外省外省外省重量25公斤以内25公斤以内25公斤以外25公斤以外25公斤以内25公斤以内25公斤以外25公斤以外邮寄方式快件慢件快件慢件快件慢件快件慢件4元/公斤√√6元/公斤√√√8元/公斤√√10元/公斤√优化后的结果如下所示：条件组合条件活动说明123456地点本省本省外省外省外省外省重量--25公斤以内25公斤以内25公斤以外25公斤以外邮寄方式快件慢件快件慢件快件慢件4元/公斤√6元/公斤√√8元/公斤√√10元/公斤√决策树：收费本省外省快件慢件快件慢件≤25斤>25斤≤25斤>25斤6元4元8元10元6元8元地点规格重量收费金额。

分类分析--决策树（经典决策树、条件推断树）分类分析--决策树决策树是数据挖掘领域中的常⽤模型。

其基本思想是对预测变量进⾏⼆元分离，从⽽构造⼀棵可⽤于预测新样本单元所属类别的树。

两类决策树：经典树和条件推断树。

1 经典决策树经典决策树以⼀个⼆元输出变量（对应威斯康星州乳腺癌数据集中的良性/恶性）和⼀组预测变量（对应九个细胞特征）为基础。

具体算法如下：(1) 选定⼀个最佳预测变量将全部样本单元分为两类，实现两类中的纯度最⼤化（即⼀类中良性样本单元尽可能多，另⼀类中恶性样本单元尽可能多）。

如果预测变量连续，则选定⼀个分割点进⾏分类，使得两类纯度最⼤化；如果预测变量为分类变量（本例中未体现），则对各类别进⾏合并再分类。

(2) 对每⼀个⼦类别继续执⾏步骤(1)。

(3) 重复步骤(1)~(2)，直到⼦类别中所含的样本单元数过少，或者没有分类法能将不纯度下降到⼀个给定阈值以下。

最终集中的⼦类别即终端节点（terminal node）。

根据每⼀个终端节点中样本单元的类别数众数来判别这⼀终端节点的所属类别。

(4) 对任⼀样本单元执⾏决策树，得到其终端节点，即可根据步骤3得到模型预测的所属类别。

上述算法通常会得到⼀棵过⼤的树，从⽽出现过拟合现象。

结果就是，对于训练集外单元的分类性能较差。

为解决这⼀问题，可采⽤10折交叉验证法选择预测误差最⼩的树。

这⼀剪枝后的树即可⽤于预测。

R中的rpart包⽀持rpart()函数构造决策树，prune()函数对决策树进⾏剪枝。

下⾯给出判别细胞为良性或恶性的决策树算法实现。

（1）使⽤rpart()函数创建分类决策树：#⽣成树：rpart()函数可⽤于⽣成决策树library(rpart)set.seed(1234)dtree <- rpart(class ~ ., data=df.train, method="class",parms=list(split="information"))#rpart() 返回的cptable值中包括不同⼤⼩的树对应的预测误差，因此可⽤于辅助设定最终的树的⼤⼩。

决策树名词解释决策树（DecisionTree）是一种常见的数据挖掘技术，也称为决策树分类（Decision Tree Classification）。

决策树是一种以树状结构表示数据的模型，它可以用来描述一组数据集的概念，它可以用来作出决策。

策树是一种数据挖掘的常用算法，它可以用于分类、回归任务，以及关联规则建模，它可以帮助智能系统理解数据，从而实现更好的决策。

决策树的基本原理很简单，它是一种将每个属性值与实例的关联转换成树形结构的方法。

在这种树形结构中，每个节点存储关联属性的值，从而决定一个决策。

策树通常用于研究一组已知数据，它可以用来预测未知数据的结果，也可以用来归类数据，从而发现数据的规律性。

决策树的建立有很多步骤，但是大致可以分为以下几个步骤：（1）数据集准备：首先，需要对数据集进行预处理，将数据分成训练集和测试集。

（2）决策树划分：根据训练集中的特征属性，将数据集划分为不同的分支，并且不断划分，直到达到决策树模型所需要的精度或停止条件为止。

（3）估属性：根据训练集中的数据，选择最优的划分属性，用于对训练集进行划分。

（4）决策树剪枝：新建的决策树可能过度拟合训练数据，这会使训练出来的决策树在测试数据上的表现变差，因此，需要使用剪枝算法，来减少决策树的过拟合现象。

（5）测试：根据训练好的决策树，对测试集数据进行分类，统计测试集分类正确率，从而对决策树进行评估。

决策树在实际应用中可以用于社会决策分析、企业决策分析、关联规则挖掘等应用场景，但是决策树也有若干缺点。

其一，决策树生成过程中属性之间的关系可能非线性，而决策树假设属性之间的关系是线性的，因此可能导致决策树模型的准确性不足。

其二，决策树的剪枝操作可能会过度剪枝，也影响模型的准确性。

总之，决策树是一种常用的数据挖掘技术，它可以用于推理和预测数据，它可以用来帮助智能系统理解数据，从而改善决策效率。

但是，因为决策树的局限性，仍然需要其他的数据挖掘技术来提高决策的准确性。

决策树法(Decision Tree）决策树(decision tree)一般都是自上而下的来生成的。

每个决策或事件（即自然状态）都可能引出两个或多个事件，导致不同的结果，把这种决策分支画成图形很像一棵树的枝干，故称决策树。

决策树就是将决策过程各个阶段之间的结构绘制成一张箭线图，我们可以用下图来表示。

选择分割的方法有好几种，但是目的都是一致的：对目标类尝试进行最佳的分割。

从根到叶子节点都有一条路径，这条路径就是一条“规则”。

决策树可以是二叉的，也可以是多叉的。

对每个节点的衡量：1) 通过该节点的记录数2) 如果是叶子节点的话，分类的路径3) 对叶子节点正确分类的比例有些规则的效果可以比其他的一些规则要好。

决策树的构成要素[1]决策树的构成有四个要素：(1)决策结点；(2)方案枝；(3)状态结点；(4)概率枝。

如图所示：总之，决策树一般由方块结点、圆形结点、方案枝、概率枝等组成，方块结点称为决策结点，由结点引出若干条细支，每条细支代表一个方案，称为方案枝；圆形结点称为状态结点，由状态结点引出若干条细支，表示不同的自然状态，称为概率枝。

每条概率枝代表一种自然状态。

在每条细枝上标明客观状态的内容和其出现概率。

在概率枝的最末稍标明该方案在该自然状态下所达到的结果(收益值或损失值)。

这样树形图由左向右，由简到繁展开，组成一个树状网络图。

决策树对于常规统计方法的优缺点优点：1)可以生成可以理解的规则；2)计算量相对来说不是很大；3) 可以处理连续和种类字段；4) 决策树可以清晰的显示哪些字段比较重要。

缺点：1) 对连续性的字段比较难预测；2) 对有时间顺序的数据，需要很多预处理的工作；3) 当类别太多时，错误可能就会增加的比较快；4) 一般的算法分类的时候，只是根据一个字段来分类。

决策树的适用范围[1]科学的决策是现代管理者的一项重要职责。

我们在企业管理实践中，常遇到的情景是：若干个可行性方案制订出来了，分析一下企业内、外部环境，大部分条件是己知的，但还存在一定的不确定因素。

本科毕业设计（论文）外文参考文献译文及原文学院管理学院专业信息管理与信息系统年级班别2008级（6）班学号**********学生姓名张钟权指导教师胡凤2012年5月目录（一）外文文献译文 (1)4 决策树 (1)4.1 介绍 (1)4.2 决策和模式分类 (2)4.2.1 统计模式分类 (2)4.2.2使用逻辑相互关系 (3)4.3 决策域 (5)……4.6决策树实例 (6)（二）外文文献原文 (11)4 Decision Trees (11)4.1 Introduction (11)4.2 Decision-Making and Pattern Classification (14)4.2.1 Statistical Pattern Classification (14)4.2.2 Use of Logical Inter-relationships (15)4.3 Decision Regions (17)……4.6 Decision Tree Examples (19)（一）外文文献译文4 决策树4.1 介绍统计决策广泛应用于实验地球科学，它在环境科学中扮演着更重要的角色，由于环境系统随时间不断改变，需要根据观测系统和可能情况不断地矫正行动（采取不同的行动策略）。

一组可能的矫正措施通常在一个决策环境中，称为决策集。

一些物理属性（或变量）的观测值是潜在有用的，这也是可采取的矫正措施的一种情况。

在系统中根据新的情况不断地矫正措施，目的是为了减少损失，或成本或为了最大利益。

考虑到成本是一个负收益，对一个给定的决策问题，科学家和企业人员看法了一个综合单一标准——成本最小。

一个好的决策应该满足：一、综合成本最小，二、最优决策。

获取和收集物理变量值的过程也被称为特征提取（特征变量）、变量测定，这些变量有时候也被称为特征、特征变量、测量。

这些特征变量中的一些变量可能会对决策有影响，确定这些变量是一个挑战。

遥感专题讲座——影像信息提取（三、基于专家知识的决策树分类）基于专家知识的决策树分类可以将多源数据用于影像分类当中，这就是专家知识的决策树分类器，本专题以ENVI中Decision Tree为例来叙述这一分类器。

本专题包括以下内容：∙ ∙●专家知识分类器概述∙ ∙●知识（规则）定义∙ ∙●ENVI中Decision Tree的使用概述基于知识的决策树分类是基于遥感影像数据及其他空间数据，通过专家经验总结、简单的数学统计和归纳方法等，获得分类规则并进行遥感分类。

分类规则易于理解，分类过程也符合人的认知过程，最大的特点是利用的多源数据。

如图1所示，影像+DEM就能区分缓坡和陡坡的植被信息，如果添加其他数据，如区域图、道路图土地利用图等，就能进一步划分出那些是自然生长的植被，那些是公园植被。

图1 专家知识决策树分类器说明图专家知识决策树分类的步骤大体上可分为四步：知识（规则）定义、规则输入、决策树运行和分类后处理。

1.知识（规则）定义规则的定义是讲知识用数学语言表达的过程，可以通过一些算法获取，也可以通过经验总结获得。

2.规则输入将分类规则录入分类器中，不同的平台有着不同规则录入界面。

3.决策树运行运行分类器或者是算法程序。

4.分类后处理这步骤与监督/非监督分类的分类后处理类似。

知识（规则）定义分类规则获取的途径比较灵活，如从经验中获得，坡度小于20度，就认为是缓坡，等等。

也可以从样本中利用算法来获取，这里要讲述的就是C4.5算法。

利用C4.5算法获取规则可分为以下几个步骤：（1）多元文件的的构建：遥感数据经过几何校正、辐射校正处理后，进行波段运算，得到一些植被指数，连同影像一起输入空间数据库；其他空间数据经过矢量化、格式转换、地理配准，组成一个或多个多波段文件。

（2）提取样本，构建样本库：在遥感图像处理软件或者GIS软件支持下，选取合适的图层，采用计算机自动选点、人工解译影像选点等方法采集样本。

（3）分类规则挖掘与评价：在样本库的基础上采用适当的数据挖掘方法挖掘分类规则，后基于评价样本集对分类规则进行评价，并对分类规则做出适当的调整和筛选。

决策树公式和原理宝子，今天咱来唠唠决策树这个超酷的东西。

决策树呢，就像是一棵倒着长的树，不过这棵树可神奇啦。

它有根节点、分支和叶节点。

根节点就是最开始的那个点，就像树的根一样，所有的决策都是从这儿开始发芽的呢。

比如说你在纠结今天是出去逛街还是在家看剧，这纠结的开始就是根节点啦。

那分支是啥呢？分支就像是从根节点伸出去的小树枝。

还是拿刚刚的例子说，如果你选择出去逛街，那关于去哪儿逛街，是去商场还是去小商业街，这不同的选择就像是不同的分支。

每个分支都代表着一种可能的决策方向。

叶节点就是这些树枝的尽头啦。

比如说你最后决定去商场逛街，然后在商场里选择了一家店，买了一件超好看的衣服，这个买衣服的结果就是一个叶节点。

它的原理其实就像是我们平时做决策的思路。

我们在生活中做决定的时候，也是一个一个问题去想的。

决策树就是把这个过程给整理得清清楚楚。

从数学公式的角度看，决策树主要是通过计算信息增益或者基尼指数这些东西来确定怎么分支的。

听起来有点复杂，咱简单说。

信息增益就像是在看哪个分支能够让我们对结果了解得更多。

比如说你有一堆水果，有苹果、香蕉和橙子。

你想把它们分类，那你可能会先看颜色这个属性，因为按照颜色来分，能让你更快地把这些水果分开，这个颜色属性就有比较大的信息增益。

基尼指数呢，也是类似的作用。

它是用来衡量一个节点里的数据有多“纯”。

如果一个节点里的数据都是一样的，那基尼指数就很小，就说明这个节点很“纯”啦。

就像一盒子里都是苹果，没有其他水果，那这个盒子里的数据就很“纯”。

决策树在好多地方都能用呢。

就像在预测天气的时候，如果我们要决定今天出门要不要带伞。

根节点可能就是看天气预报怎么说。

如果天气预报说可能有雨，那一个分支就是带伞出门，另一个分支就是不带伞赌一把。

然后再根据其他的因素，像是天空的云量啊，风的方向啊，继续分更多的分支。

最后得出一个比较靠谱的决策。

还有在商业里也很有用。

比如说一个公司要决定要不要推出一款新产品。

决策树的规则
以下是 6 条关于决策树的规则：
1. 一定要明确你的目标啊，就好比你要去一个地方，你得知道自己到底要去哪儿呀！比如说你决定周末去爬山，那你的目标就是爬到山顶，这就是明确的方向。

2. 把可能的选择都列出来呀，这就像摆在你面前有好多条路，你得看看都通向哪里呗！比如你纠结是坐公交还是打车去上班，这就是不同的选择。

3. 仔细考虑每个选择的后果呀，这多重要啊！就跟你选择走不同的路会遇到不同的风景一样。

比如你选了坐公交可能会慢点但省钱，打车快但贵，这后果得好好想想。

4. 别忘记考虑不确定性因素呀，生活中总会有意外情况的嘛，就像天气突然变化影响你爬山的计划一样。

5. 要根据重要性来权衡呀，有的因素特别关键，可得重视！比如说你找工作，薪资和发展前景就是很重要的因素呀。

6. 随时准备根据新情况调整决策呀，可不能一条道走到黑呀！像你原本计划去公园野餐，结果下雨了，那你就得赶紧调整计划呀。

我的观点结论就是：决策树的这些规则能帮我们更好地做出决定，让我们的生活更有序、更明智！。