决策树1

决策树的三种算法一、决策树算法的简单介绍决策树算法就像是一个超级智能的树状决策指南。

你可以把它想象成一棵倒着长的树，树根在上面，树枝和树叶在下面。

它的任务呢，就是根据不同的条件来做出各种决策。

比如说，你想决定今天穿什么衣服，天气就是一个条件，如果天气冷，你可能就选择穿厚衣服；如果天气热，那薄衣服就比较合适啦。

决策树算法在很多地方都超级有用，像预测一个人会不会买某个商品，或者判断一个邮件是不是垃圾邮件之类的。

二、决策树的三种算法1. ID3算法这个算法就像是一个很会找重点的小机灵鬼。

它主要是根据信息增益来构建决策树的。

啥是信息增益呢？就是通过计算某个属性带来的信息量的增加。

比如说，在判断一个水果是苹果还是香蕉的时候，颜色这个属性可能就有很大的信息增益。

如果一个水果是红色的，那它是苹果的可能性就比较大。

ID3算法会优先选择信息增益大的属性来作为树的节点，这样就能更快更准地做出决策啦。

不过呢，这个算法也有个小缺点，就是它比较容易对噪声数据敏感，就像一个很敏感的小娃娃，稍微有点风吹草动就可能受到影响。

2. C4.5算法C4.5算法就像是ID3算法的升级版。

它在ID3算法的基础上做了一些改进。

它不仅仅考虑信息增益，还考虑了信息增益率。

这就好比是一个更加全面考虑的智者。

通过考虑信息增益率，它能够更好地处理那些属性值比较多的情况。

比如说，在一个数据集中有一个属性有很多很多不同的值，C4.5算法就能比ID3算法更好地处理这种情况，不会轻易地被这种复杂情况给弄晕。

而且C4.5算法还能够处理连续的属性值，这就像是它多了一项特殊的技能，让它在更多的情况下都能发挥作用。

3. CART算法CART算法又有自己的特点。

它使用的是基尼系数来选择属性进行划分。

基尼系数就像是一个衡量公平性的小尺子，在决策树这里，它是用来衡量数据的纯度的。

如果基尼系数越小，说明数据越纯，就越容易做出准确的决策。

CART算法既可以用于分类问题，就像前面说的判断水果是苹果还是香蕉这种，也可以用于回归问题，比如预测房价之类的。

分类分析--决策树（经典决策树、条件推断树）分类分析--决策树决策树是数据挖掘领域中的常⽤模型。

其基本思想是对预测变量进⾏⼆元分离，从⽽构造⼀棵可⽤于预测新样本单元所属类别的树。

两类决策树：经典树和条件推断树。

1 经典决策树经典决策树以⼀个⼆元输出变量（对应威斯康星州乳腺癌数据集中的良性/恶性）和⼀组预测变量（对应九个细胞特征）为基础。

具体算法如下：(1) 选定⼀个最佳预测变量将全部样本单元分为两类，实现两类中的纯度最⼤化（即⼀类中良性样本单元尽可能多，另⼀类中恶性样本单元尽可能多）。

如果预测变量连续，则选定⼀个分割点进⾏分类，使得两类纯度最⼤化；如果预测变量为分类变量（本例中未体现），则对各类别进⾏合并再分类。

(2) 对每⼀个⼦类别继续执⾏步骤(1)。

(3) 重复步骤(1)~(2)，直到⼦类别中所含的样本单元数过少，或者没有分类法能将不纯度下降到⼀个给定阈值以下。

最终集中的⼦类别即终端节点（terminal node）。

根据每⼀个终端节点中样本单元的类别数众数来判别这⼀终端节点的所属类别。

(4) 对任⼀样本单元执⾏决策树，得到其终端节点，即可根据步骤3得到模型预测的所属类别。

上述算法通常会得到⼀棵过⼤的树，从⽽出现过拟合现象。

结果就是，对于训练集外单元的分类性能较差。

为解决这⼀问题，可采⽤10折交叉验证法选择预测误差最⼩的树。

这⼀剪枝后的树即可⽤于预测。

R中的rpart包⽀持rpart()函数构造决策树，prune()函数对决策树进⾏剪枝。

下⾯给出判别细胞为良性或恶性的决策树算法实现。

（1）使⽤rpart()函数创建分类决策树：#⽣成树：rpart()函数可⽤于⽣成决策树library(rpart)set.seed(1234)dtree <- rpart(class ~ ., data=df.train, method="class",parms=list(split="information"))#rpart() 返回的cptable值中包括不同⼤⼩的树对应的预测误差，因此可⽤于辅助设定最终的树的⼤⼩。

决策树名词解释决策树（DecisionTree）是一种常见的数据挖掘技术，也称为决策树分类（Decision Tree Classification）。

决策树是一种以树状结构表示数据的模型，它可以用来描述一组数据集的概念，它可以用来作出决策。

策树是一种数据挖掘的常用算法，它可以用于分类、回归任务，以及关联规则建模，它可以帮助智能系统理解数据，从而实现更好的决策。

决策树的基本原理很简单，它是一种将每个属性值与实例的关联转换成树形结构的方法。

在这种树形结构中，每个节点存储关联属性的值，从而决定一个决策。

策树通常用于研究一组已知数据，它可以用来预测未知数据的结果，也可以用来归类数据，从而发现数据的规律性。

决策树的建立有很多步骤，但是大致可以分为以下几个步骤：（1）数据集准备：首先，需要对数据集进行预处理，将数据分成训练集和测试集。

（2）决策树划分：根据训练集中的特征属性，将数据集划分为不同的分支，并且不断划分，直到达到决策树模型所需要的精度或停止条件为止。

（3）估属性：根据训练集中的数据，选择最优的划分属性，用于对训练集进行划分。

（4）决策树剪枝：新建的决策树可能过度拟合训练数据，这会使训练出来的决策树在测试数据上的表现变差，因此，需要使用剪枝算法，来减少决策树的过拟合现象。

（5）测试：根据训练好的决策树，对测试集数据进行分类，统计测试集分类正确率，从而对决策树进行评估。

决策树在实际应用中可以用于社会决策分析、企业决策分析、关联规则挖掘等应用场景，但是决策树也有若干缺点。

其一，决策树生成过程中属性之间的关系可能非线性，而决策树假设属性之间的关系是线性的，因此可能导致决策树模型的准确性不足。

其二，决策树的剪枝操作可能会过度剪枝，也影响模型的准确性。

总之，决策树是一种常用的数据挖掘技术，它可以用于推理和预测数据，它可以用来帮助智能系统理解数据，从而改善决策效率。

但是，因为决策树的局限性，仍然需要其他的数据挖掘技术来提高决策的准确性。

决策树决策树法(Decision Tree）决策树(decision tree)一般都是自上而下的来生成的。

每个决策或事件（即自然状态）都可能引出两个或多个事件，导致不同的结果，把这种决策分支画成图形很像一棵树的枝干，故称决策树。

决策树就是将决策过程各个阶段之间的结构绘制成一张箭线图，我们可以用下图来表示。

选择分割的方法有好几种，但是目的都是一致的：对目标类尝试进行最佳的分割。

从根到叶子节点都有一条路径，这条路径就是一条“规则”。

决策树可以是二叉的，也可以是多叉的。

对每个节点的衡量：1) 通过该节点的记录数2) 如果是叶子节点的话，分类的路径3) 对叶子节点正确分类的比例有些规则的效果可以比其他的一些规则要好。

决策树的构成要素[1]决策树的构成有四个要素：(1)决策结点；(2)方案枝；(3)状态结点；(4)概率枝。

如图所示：总之，决策树一般由方块结点、圆形结点、方案枝、概率枝等组成，方块结点称为决策结点，由结点引出若干条细支，每条细支代表一个方案，称为方案枝；圆形结点称为状态结点，由状态结点引出若干条细支，表示不同的自然状态，称为概率枝。

每条概率枝代表一种自然状态。

在每条细枝上标明客观状态的内容和其出现概率。

在概率枝的最末稍标明该方案在该自然状态下所达到的结果(收益值或损失值)。

这样树形图由左向右，由简到繁展开，组成一个树状网络图。

决策树对于常规统计方法的优缺点优点：1)可以生成可以理解的规则；2)计算量相对来说不是很大；3) 可以处理连续和种类字段；4) 决策树可以清晰的显示哪些字段比较重要。

缺点：1) 对连续性的字段比较难预测；2) 对有时间顺序的数据，需要很多预处理的工作；3) 当类别太多时，错误可能就会增加的比较快；4) 一般的算法分类的时候，只是根据一个字段来分类。

决策树的适用范围[1]科学的决策是现代管理者的一项重要职责。

我们在企业管理实践中，常遇到的情景是：若干个可行性方案制订出来了，分析一下企业内、外部环境，大部分条件是己知的，但还存在一定的不确定因素。

决策树基本原理1决策树简介决策树（Decision Tree）是一种通过将特征属性划分为若干类别，以用于决策的有监督学习算法。

决策树往往被用于分类与回归问题，比如预测一个样本是病人还是健康，以及估算一个样本的字段。

特征属性与特征值之间通过层级结构进行连接，构造出来的形式结构被称之为决策树。

2决策树的基本原理决策树的基本原理是人工智能估计技术，这种技术把一个复杂问题分割成以特征属性值为基础的可解决问题，从而实现这个复杂问题的求解。

它结合了决策处理、规则推导和数据挖掘技术，可以对大量复杂数据进行有效的监督处理。

为了了解决特定问题，决策树建立了一个模型，即基于特征属性值建立一颗树形结构，以表示该空间的分布情况。

通过大量的数据，模型会遍历每个可能的结果，并逐步进行归纳，从而构建出一个精准的决策树模型。

所有的结论其实都是来源于有监督学习算法所得的结果，一旦构建完成，该模型就可以用来预测新数据的结果。

3决策树的应用决策树是一种广泛应用于人工智能中构建模型的有效方法。

它把复杂的决策问题转换为一种简单易懂的模型，可以帮助不同领域的决策者有效预测结果。

特别是在面对数据量巨大，存在大量缺失值和噪声数据的情况时，决策树常常被当做精炼有效的模型。

用于分类预测的决策树常常用来构建企业管理系统，能够根据不同的特征属性，如客户背景，贷款条件，客户需求等，快速生成优化模型，用于决策和预测，以帮助企业更好地协调内部资源，实现精准营销。

4总结决策树是人工智能估计技术，运用决策处理、规则推导和数据挖掘技术，把复杂的决策问题拆解为简单易懂的模型，用于分类预测，进行企业管理和精准营销等方面，对于面对复杂问题的解决极具价值。

《机器学习（周志华）》笔记--决策树（1）--决策树模型、决策树简史、基本流程⼀、决策树模型 决策树(decision tree)是⼀种常⽤的机器学习⽅法，是⼀种描述对实例进⾏分类的树形结构。

决策树是⼀种常⽤的机器学习⽅法，以⼆分类为例，假设现在我们要对是否买西⽠进⾏判断和决策，我们会问⼀些问题，根据回答，我们决断是买还是不买，或者还拿补丁主意，这时会继续问问题，直到可以确定为⽌。

决策树基于“树”结构进⾏决策： （1）内部结点：属性 （2）分⽀：属性值 （3）p叶结点：分类结果 学习过程：通过对训练样本的分析来确定“划分属性”（即内部结点所对应的属性） 预测过程：将测试⽰例从根结点开始，沿着划分属性所构成的“判定测试序列”下⾏，直到叶结点 学习的过程就是通过划分属性构建决策树的过程，预测过程就是将测试样本从根节点开始，沿着划分属性构成的“判定序列”下⾏，直到叶结点。

结构举例： 从代码⾓度来看，决策树其实可以看成是⼀堆if-else语句的集合，例如引例中的决策树完全可以看成是如下代码：if isRed:if isCold:if hasSeed:print("buy")else:print("don't buy")else:if isCheap:print("buy")else:print("don't buy")else:print("don't buy") 由决策树的根结点(root node)到叶结点(leaf node)的每⼀条路径构建⼀条规则：路径上内部结点的特征对应着规则的条件，⽽叶结点的类对应着规则的结论。

决策树的路径或其对应的if-then规则集合具有⼀个重要的性质：互斥并且完备。

这就是说，每⼀个实例都被⼀条路径或⼀条规则所覆盖，⽽且只被⼀条路径或⼀条规则所覆盖。

决策树是一种决策支持工具，它由决策结点、方案枝、状态结点、概率枝四个构成要素组成。

1. 决策结点
决策结点表示决策的点，根据问题的不同而设定的不同，通常用圆圈表示。

在人力资源管理中，决策结点可以是招聘、离职、调岗等决策点。

2. 方案枝
方案枝是从决策结点延伸出的箭头，表示可供选择的方案，通常用直线表示。

在人力资源管理中，方案枝可以是招聘途径、离职方式、调岗方案等。

3. 状态结点
状态结点是从方案枝延伸出的箭头，表示可能出现的状态，通常用小方框表示。

在人力资源管理中，状态结点可以是招聘后的员工表现、离职后的员工反馈等。

4. 概率枝
概率枝是从状态结点延伸出的箭头，表示每个状态出现的概率，通常用小圆圈表示。

在人力资源管理中，概率枝可以是员工表现好的概率、员工反馈不满意的概率等。

决策树预测项目期望值，做出风险决策什么是决策树决策树是一种运用树状网络图形，根据期望（损益）值决策准则进行项目战略决策分析的工具。

决策树的作用能有效地对风险型项目进行战略决策分析；运用树状网络图直观、方便、易操作；是一种定量的决策分析工具，可以有效地解决多级（序贯）决策问题。

怎么做决策树由以下四部分组成，如下图：☐决策节点 方案节点—树枝✧树梢决策树图—图11.画出决策树A 先画一决策节点“☐”；B 从决策节点引出方案分枝，分枝上注明方案名或代号；C 方案分枝的末端画上方案节点“ ”；D 从每个方案节点引出状态分枝“—”，分枝上注明状态名、代号及其出现的概率；C 树梢末画上结果节点“△”，旁边注明相应的损益值。

提示：按照从左到右的顺序画决策树，画决策树的过程本身就是一个对决策问题进一步深入探索的过程。

例：某计算机制造商为开发一种市场需要的新产品考虑筹建一个分厂。

经过调查研究取得以下有关资料：决策树---表1决策树—图22．计算各方案的期望值损益值按从右到左的顺序计算期望损益值，并将结果标注在相应的状态节点处。

点⑤：[100*0.9+(-20)*0.1]*7(年)=616点②：(-20)*0.1*7(年)=140100*0.7*3(年)+616*0.7+(-20)*0.3*3(年)+(-140)*0.3-300(建大厂投资)=281.2点⑧：(40*0.9+30*0.1)*7(年)=273点⑨：[95*0.9+(-20)*0.1]*7(年)-200(扩建投资)=384.5 因384.5>273,说明扩建方案好;划掉不扩建方案,并将点9的期望值转移到点6处.点⑦：30*1.0*7(年)=210点③：40*0.7*3(年)+384.5*0.7+30*0.3*3(年)+210*0.3-120(建小厂投资)=323.2带有期望损益值的决策树：（单位：万元）见下页图决策树—图33.确定最优方案选择收益期望值最大（或损失值最小）的方案作为最优方案，并将期望值标在决策节点处。