决策树(decision tree)
又名：决策过程流程图，逻辑图，工作图
概述
决策树是指通过一系列的问题得出正确的决策或问题的解决方案。决策树是一种特殊的树图，但通常看起来像流程图。一般来说，决策树是由那些对可能重复发生情况的具有专业知识的人而绘制的，然后被那些没有专业知识并且需要独立作出决策的人所使用。
适用场合
·当需要作出决策或需要解决方案的问题重复出现时；
·当作出决策的思维过程已知，并且能够分解成一系列的问题时；
·决策树的典型应用包括排解纷争、紧急处理，以及对那些复杂的、关键的或很少使用的步骤进行文档化。
实施步骤
1明确使用决策树的场合，并陈述需要作出的决定或需要解决的问题，然后写在卡片上放在水平工作台的最左端。
2用头脑风暴法来找出问题的答案。对每个问题而言，找出所有可能的答案。通常，答案可能有“是非”选择或是一系列的选择。把每个问题和答案写在卡片上放在工作台上。如果顺序有帮助的话，就按顺序排列问题，但是不需太在意顺序的正确性。
3确定问题是否需要按特定的顺序提问。如果不需要，选择一组有效的顺序。在工作台上通过重排卡片将问题排序，在答案和旁边的问题之间用箭头连接。
4检查决策树是否有遗漏的问题或答案，并且确信问题能够清楚地被理解和被正确地回答。
5测试树。设想反映一系列不同状况的情景，运用决策树来解决。当发现有问题时，对树进行改进。
6给没有专业知识的人设置一些情景并让他们使用决策树来作决策。如果他们不能够得出正确的决策，识别出产生错误的问题并且对树进行改进。
示例
图表5.20控制图选择树和图表5.68图形方法的决策树都是决策树的应用例子。
注意事项
·通常情况下某些问题优先级高于其他问题。
·如果问题没有自然顺序，选择一个在大多数情况下能够迅速得出结论的顺序，使常见情况的问题排序优先于非常见情况的。
·在由一系列是非问题组成的决策树中，试着调整树使每个分枝中是与非的位置保持一致。否则的话，当使用者没有注意到两者位置变换时就可能出错。
END
决策树算法研究及应用? 王桂芹黄道 华东理工大学实验十五楼206室 摘要:信息论是数据挖掘技术的重要指导理论之一,是决策树算法实现的理论依据。决 策树算法是一种逼近离散值目标函数的方法,其实质是在学习的基础上,得到分类规则。本文简要介绍了信息论的基本原理,重点阐述基于信息论的决策树算法,分析了它们目前 主要的代表理论以及存在的问题,并用具体的事例来验证。 关键词:决策树算法分类应用 Study and Application in Decision Tree Algorithm WANG Guiqin HUANG Dao College of Information Science and Engineering, East China University of Science and Technology Abstract:The information theory is one of the basic theories of Data Mining,and also is the theoretical foundation of the Decision Tree Algorithm.Decision Tree Algorithm is a method to approach the discrete-valued objective function.The essential of the method is to obtain a clas-sification rule on the basis of example-based learning.An example is used to sustain the theory. Keywords:Decision Tree; Algorithm; Classification; Application 1 引言 决策树分类算法起源于概念学习系统CLS(Concept Learning System,然后发展 到ID3
1.采购部查询库存信息及用户需求，若商品的库存量不能满足用户的需要，则编制相应的采购订货单，并交送给供应商提出订货请求。供应商按订单要求发货给该公司采购部，并附上采购收货单。公司检验人员在验货后，发现货物不合格，将货物退回供应商，如果合格则送交库房。库房管理员再进一步审核货物是否合格，如果合格则登记流水帐和库存帐目，如果不合格则交由主管审核后退回供应商。 画出物资订货的业务流程图。 2．在盘点管理流程中，库管员首先编制盘存报表并提交给仓库主管，仓库主管查询库存清单和盘点流水账，然后根据盘点规定进行审核，如果合格则提交合格盘存报表递交给库管员，由库管员更新库存清单和盘点流水账。如果不合格则由仓库主观返回不合格盘存报表给库管员重新查询数据进行盘点。 根据以上情况画出业务流程图和数据流程图。 3.“进书”主要指新书的验收、分类编号、填写、审核、入库。主要过程：书商将采购单和
新书送采购员；采购员验收，如果不合格就退回，合格就送编目员；编目员按照国家标准进行的分类编号，填写包括书名，书号，作者、出版社等基本信息的入库单；库管员验收入库单和新书，如果合格就入库，并更新入库台帐；如果不合格就退回。“售书”的流程：顾客选定书籍后，收银员进行收费和开收费单，并更新销售台帐。顾客凭收费单可以将图书带离书店，书店保安审核合格后，放行，否则将让顾客到收银员处缴费。 画出“进书”和“售书”的数据流程图。 进书业务流程： 进书数据流程： F3.2不合格采购单 售书业务流程：
售书数据流程： 4.背景：若库房里的货品由于自然或其他原因而破损，且不可用的，需进行报损处理，即这些货品清除出库房。具体报损流程如下： 由库房相关人员定期按库存计划编制需要对货物进行报损处理的报损清单，交给主管确认、审核。主管审核后确定清单上的货品必须报损，则进行报损处理，并根据报损清单登记流水帐，同时修改库存台帐；若报损单上的货品不符合报损要求，则将报损单退回库房。 试根据上述背景提供的信息，绘制出“报损”的业务流程图、数据流程图。 报损业务流程图： 业务流程图：
R语言-决策树算法
决策树算法 决策树定义 首先，我们来谈谈什么是决策树。我们还是以鸢尾花为例子来说明这个问题。 观察上图，我们判决鸢尾花的思考过程可以这么来描述：花瓣的长度小于 2.4cm的是setosa(图中绿色的分类)，长度大于1cm的呢?我们通过宽度来判别，宽度小于1.8cm的是versicolor(图中红色的分类)，其余的就是 virginica(图中黑色的分类) 我们用图形来形象的展示我们的思考过程便得到了这么一棵决策树： 这种从数据产生决策树的机器学习技术叫做决策树学习, 通俗点说就是决策树，说白了，这是一种依托于分类、训练上的预测树，根据已知预测、归类未来。 前面我们介绍的k-近邻算法也可以完成很多分类任务，但是他的缺点就是含义不清，说不清数据的内在逻辑，而决策树则很好地解决了这个问题，他十分好理解。从存储的角度来说，决策树解放了存储训练集的空间，毕竟与一棵树的存储空间相比，训练集的存储需求空间太大了。 决策树的构建 一、KD3的想法与实现 下面我们就要来解决一个很重要的问题：如何构造一棵决策树?这涉及十分有趣的细节。 先说说构造的基本步骤，一般来说，决策树的构造主要由两个阶段组成:第一阶段，生成树阶段。选取部分受训数据建立决策树，决策树是按广度优先建立直到每个叶节点包括相同的类标记为止。第二阶段，决策树修剪阶段。用剩余数据检验决策树，如果所建立的决策树不能正确回答所研究的问题，我们要对决策树进行修剪直到建立一棵正确的决策树。这样在决策树每个内部节点处进行属性值的比较，在叶节点得到结论。从根节点到叶节点的一条路径就对应着一条规则，整棵决策树就对应着一组表达式规则。 问题：我们如何确定起决定作用的划分变量。 我还是用鸢尾花的例子来说这个问题思考的必要性。使用不同的思考方式，我们不难发现下面的决策树也是可以把鸢尾花分成3类的。 为了找到决定性特征，划分出最佳结果，我们必须认真评估每个特征。通常划分的办法为信息增益和基尼不纯指数，对应的算法为C4.5和CART。 关于信息增益和熵的定义烦请参阅百度百科，这里不再赘述。 直接给出计算熵与信息增益的R代码：
3.1 分类与决策树概述 3.1.1 分类与预测 分类是一种应用非常广泛的数据挖掘技术，应用的例子也很多。例如，根据信用卡支付历史记录，来判断具备哪些特征的用户往往具有良好的信用；根据某种病症的诊断记录，来分析哪些药物组合可以带来良好的治疗效果。这些过程的一个共同特点是：根据数据的某些属性，来估计一个特定属性的值。例如在信用分析案例中，根据用户的“年龄”、“性别”、“收入水平”、“职业”等属性的值，来估计该用户“信用度”属性的值应该取“好”还是“差”，在这个例子中，所研究的属性“信用度”是一个离散属性，它的取值是一个类别值，这种问题在数据挖掘中被称为分类。 还有一种问题，例如根据股市交易的历史数据估计下一个交易日的大盘指数，这里所研究的属性“大盘指数”是一个连续属性，它的取值是一个实数。那么这种问题在数据挖掘中被称为预测。 总之，当估计的属性值是离散值时，这就是分类；当估计的属性值是连续值时，这就是预测。 3.1.2 决策树的基本原理 1.构建决策树 通过一个实际的例子，来了解一些与决策树有关的基本概念。 表3-1是一个数据库表，记载着某银行的客户信用记录，属性包括“姓名”、“年龄”、“职业”、“月薪”、......、“信用等级”，每一行是一个客户样本，每一列是一个属性（字段）。这里把这个表记做数据集D。 银行需要解决的问题是，根据数据集D，建立一个信用等级分析模型，并根据这个模型，产生一系列规则。当银行在未来的某个时刻收到某个客户的贷款申请时，依据这些规则，可以根据该客户的年龄、职业、月薪等属性，来预测其信用等级，以确定是否提供贷款给该用户。这里的信用等级分析模型，就可以是一棵决策树。在这个案例中，研究的重点是“信用等级”这个属性。给定一个信用等级未知的客户，要根据他/她的其他属性来估计“信用等级”的值是“优”、“良”还是“差”，也就是说，要把这客户划分到信用等级为“优”、“良”、“差”这3个类别的某一类别中去。这里把“信用等级”这个属性称为“类标号属性”。数据集D中“信用等级”属性的全部取值就构成了类别集合：Class={“优”，
管理信息系统流程图 电商121 王旺 实验三业务流程图 [ 实验目的] 1. 熟练绘制组织结构图 2. 掌握业务流程图的绘制方法 [ 实验内容] 1.试根据下述业务过程画出物资订货的业务流程图: 采购员从仓库收到缺货通知单以后，查阅订货合同单，若已订货，向供货单位发出催货请求，否则，填写订货单交供货单位，供货单位发出货物后，立即向采购员发出取货通知。 2. 某工厂成品库管理的业务过程如下: 成品库保管员按车间送来的入库单登记库存台帐。发货时，发货员根据销售科送来的发货通知单将成品出库，并发货，同时填写三份出库单，其中一份交给成品库保管员，由他按此出库单登记库存台帐，出库单的另外两联分别送销售科和会计科。试按此业务过程画出业务流程图。 1图:
ft ft 电商121王旺 2图:
firl H'.di 电商121王旺 实验三（二） ［实验目的］ 1.掌握业务流程图和业务流程图的绘制方法［实验内容］
1.根据下述业务过程绘制业务流程图：采购部门准备采购单一式四份，第一张交给卖方；第二张交到收货部门，用来登记收货清单；第三张交给财会部门，登记应付账;第四张存档。到货时，收货部门按待收货清单校对货物是否齐全后填写收货单四张，其中第一张交财会部门，通知付款，第二张通知采购部门取货，第三张存档，第四张交给卖方。 2..绘制业务流程图。 销售科负责成品销售及成品库管理。该科计划员将合同登记入合同台账，并定期根据合同台账查询库存台账，决定是否可以发货。如果可以发货，则填写出库单交成品库保管员。保管员按出库单和由车间送来的入库单填写库存台账。出库单的 另外两联分送计划员和财务科。计划员将合同执行情况登入合同台账。销售部门负责人定期进行销售统计并上报厂办。 电商121王旺F H ◎------ E A
1.采购部查询库存信息及用户需求, 若商品的库存量不能满足用户的需要, 则编制相应的采购订货单, 并交送给供应商提出订货请求。供应商按订单要求发货给该公司采购部, 并附上采购收货单。公司检验人员在验货后, 发现货物不合格, 将货物退回供应商, 如果合格则送交库房。库房管理员再进一步审核货物是否合格, 如果合格则登记流水帐和库存帐目, 如果不合格则交由主管审核后退回供应商。 画出物资订货的业务流程图。( 共10分) 2．在盘点管理流程中, 库管员首先编制盘存报表并提交给仓库主管, 仓库主管查询库存清单和盘点流水账, 然后根据盘点规定进行审核, 如果合格则提交合格盘存报表递交给库管员, 由库管员更新库存清单和盘点流水账。如果不合格则由仓库主观返回不合格盘存报表给库管员重新查询数据进行盘点。 根据以上情况画出业务流程图和数据流程图。( 共15分)
3.”进书”主要指新书的验收、分类编号、填写、审核、入库。主要过程: 书商将采购单和新书送采购员; 采购员验收, 如果不合格就退回, 合格就送编目员; 编目员按照国家标准进行的分类编号, 填写包括书名, 书号, 作者、出版社等基本信息的入库单; 库管员验收入库单和新书, 如果合格就入库, 并更新入库台帐; 如果不合格就退回。”售书”的流程: 顾客选定书籍后, 收银员进行收费和开收费单, 并更新销售台帐。顾客凭收费单能够将图书带离书店, 书店保安审核合格后, 放行, 否则将让顾客到收银员处缴费。 画出”进书”和”售书”的数据流程图。 进书业务流程:
进书数据流程: F3.2不合格采购单 售书业务流程:
售书数据流程: 4.背景: 若库房里的货品由于自然或其它原因而破损, 且不可用的, 需进行报损处理, 即这些货品清除出库房。具体报损流程如下: 由库房相关人员定期按库存计划编制需要对货物进行报损处 理的报损清单, 交给主管确认、审核。主管审核后确定清单上的货品必须报损, 则进行报损处理, 并根据报损清单登记流水帐, 同时 修改库存台帐; 若报损单上的货品不符合报损要求, 则将报损单退回库房。 试根据上述背景提供的信息, 绘制出”报损”的业务流程图、数据流程图。
决策树模型 相比贝叶斯算法，决策树的优势在于构造过程中不需要任何的参数设置，因此决策树更偏重于探测式的知识发现。 决策树的思想贯穿着我们的生活方方面面，人们在生活中的每一个选择都是输的一个分支节点，只不过生活是一根走不到尽头的决策树，而一般的问题的决策结论是正确或者错误。举个例子说明决策树，比如给寝室的哥们介绍对象时需要跟人家讲明女孩子的如下情况： A.家是哪里的。 B.人脾气如何 C.人长相如何 D.人个头如何 OK ，先举这几个，以上4个条件便是一个实例。然后男孩的决定策略便是决策树，比如说寝室的哥们的要求是：家北京的，脾气温柔的，长相一般，个头一般。那么这个决策树变构造成了。 以上便是一个决策树，实例的每一个特征在决策树中都会找到一个肯定或者否定的结论，至于每一个节点的权重还需要以后在学习中获得，可以根据不同的权重将节点排序，或者每个节点带一个权重。 构造决策树的关键步骤是分裂属性。所谓分裂属性就是在某个节点处按照某一特征属性的不同划分构造不同的分支，其目标是让各个分裂子集尽可能地“纯”。尽可能“纯”就是尽量让一个分裂子集中待分类项属于同一类别。分裂属性分为三种不同的情况： 1、属性是离散值且不要求生成二叉决策树。此时用属性的每一个划分作为一个分支。
2、属性是离散值且要求生成二叉决策树。此时使用属性划分的一个子集进行测试，按照“属于此子集”和“不属于此子集”分成两个分支。 3、属性是连续值。此时确定一个值作为分裂点split_point，按照>split_point和<=split_point 生成两个分支。 构造决策树的关键性内容是进行属性选择度量，属性选择度量是一种选择分裂准则，是将给定的类标记的训练集合的数据划分D“最好”地分成个体类的启发式方法，它决定了拓扑结构及分裂点split_point的选择。 常用的有ID3算法和C4.5算法 从信息论知识中我们直到，期望信息越小，信息增益越大，从而纯度越高。所以ID3算法的核心思想就是以信息增益度量属性选择，选择分裂后信息增益最大的属性进行分裂。下面先定义几个要用到的概念。 设D为用类别对训练元组进行的划分，则D的熵（entropy）表示为： 其中pi表示第i个类别在整个训练元组中出现的概率，可以用属于此类别元素的数量除以训练元组元素总数量作为估计。熵的实际意义表示是D中元组的类标号所需要的平均信息量。 现在我们假设将训练元组D按属性A进行划分，则A对D划分的期望信息为： 而信息增益即为两者的差值： 对于计算机病毒的检测分类可以利用ID3算法，首先计算整个训练集的信息熵，然后计算训练集按照不同的属性进行划分的期望信息，当期望信息最小的时候的信息增益最大，也就是说决策树的节点是以该属性进行分裂的，然后依次类推即可构造病毒分类的决策树。 具体的计算过程如下： A.将训练集S分为1 ......N个最终类别，对于病毒检测为2个类别，是病毒，不是病 毒 B.计算S的总信息熵INFO(S),改值等于最终类别的各自信息量和几率质量函数的乘积， 即每一个类别所占训练集的比例乘以该比例的对数值取负，然后加和。 C.确定用来进行分类的属性向量V1,V2....Vn D.计算每一个属性向量对应的该属性向量对训练集的信息熵INFO(S)Vi，比如对应的属 性Vi将训练集分为了M类，那么改值等于在该属性划分下的某一类值出现的概率 乘以对应的该值所在的集的信息熵。改值所在的集的信息熵再套公式发现等于最终 分类在Vi属性划分下的某一个类里的概率值乘以该概率值的对数值取负。表述的 有些复杂，最好看公式。 E.在众多属性对于训练集的信息熵之中取最小的，这样信息增益最大，信息增益最大 代表着信息的纯度越高，这样的分类越有效。
import java.util.HashMap; import java.util.HashSet; import java.util.LinkedHashSet; import java.util.Iterator; //调试过程中发现4个错误，感谢宇宙无敌的调试工具——print //1、selectAtrribute中的一个数组下标出错 2、两个字符串相等的判断 //3、输入的数据有一个错误 4、selectAtrribute中最后一个循环忘记了i++ //决策树的树结点类 class TreeNode { String element; //该值为数据的属性名称 String value; //上一个分裂属性在此结点的值 LinkedHashSet
决策树算法的原理与应用 发表时间：2019-02-18T17:17:08.530Z 来源：《科技新时代》2018年12期作者：曹逸知[导读] 在以后，分类问题也是伴随我们生活的主要问题之一，决策树算法也会在更多的领域发挥作用。江苏省宜兴中学江苏宜兴 214200 摘要：在机器学习与大数据飞速发展的21世纪，各种不同的算法成为了推动发展的基石.而作为十大经典算法之一的决策树算法是机器学习中十分重要的一种算法。本文对决策树算法的原理，发展历程以及在现实生活中的基本应用进行介绍，并突出说明了决策树算法所涉及的几种核心技术和几种具有代表性的算法模式。 关键词：机器学习算法决策树 1.决策树算法介绍 1.1算法原理简介 决策树模型是一种用于对数据集进行分类的树形结构。决策树类似于数据结构中的树型结构，主要是有节点和连接节点的边两种结构组成。节点又分为内部节点和叶节点。内部节点表示一个特征或属性, 叶节点表示一个类. 决策树(Decision Tree),又称为判定树, 是一种以树结构(包括二叉树和多叉树)形式表达的预测分析模型，决策树算法被评为十大经典机器学习算法之一[1]。 1.2 发展历程 决策树方法产生于上世纪中旬，到了1975年由J Ross Quinlan提出了ID3算法，作为第一种分类算法模型，在很多数据集上有不错的表现。随着ID3算法的不断发展，1993年J Ross Quinlan提出C4.5算法，算法对于缺失值补充、树型结构剪枝等方面作了较大改进，使得算法能够更好的处理分类和回归问题。决策树算法的发展同时也离不开信息论研究的深入，香农提出的信息熵概念，为ID3算法的核心，信息增益奠定了基础。1984年，Breiman提出了分类回归树算法，使用Gini系数代替了信息熵，并且利用数据来对树模型不断进行优化[2]。2．决策树算法的核心 2.1数据增益 香农在信息论方面的研究，提出了以信息熵来表示事情的不确定性。在数据均匀分布的情况下，熵越大代表事物的越不确定。在ID3算法中，使用信息熵作为判断依据，在建树的过程中，选定某个特征对数据集进行分类后，数据集分类前后信息熵的变化就叫作信息增益，如果使用多个特征对数据集分别进行分类时，信息增益可以衡量特征是否有利于算法对数据集进行分类，从而选择最优的分类方式建树。如果一个随机变量X的可以取值为Xi（i=1…n），那么对于变量X来说，它的熵就是
(收藏)决策树的作用与画法介绍？ 导语： 决策树是一种在结构化决策过程中出现复杂分支时所使用的特定决策情况的树形图模型。它的每个内部节点都表示一个属性上的测试，每个分支代表一个属性某个值域上的测试输出，每个叶节点都存放在一种类别。决策树是使用分支方法来说明各种可能性，评判项目风险及可行性。 免费获取决策树软件：https://www.doczj.com/doc/1f8578650.html,/project/decisiontree/ 决策树符号 决策树通常包括决策节点，事件节点，结束等符号，如下图所示。图中所有的符号都是可以编辑的，用户可以根据自己的不同需求来改变符号的颜色，大小以及尺寸。
决策树的优点与缺点 优点：1.可读性好，具有描述性，易于人工理解与分析。 2. 效率高，一次创建可以反复使用。 3. 通过信息增益轻松处理不相关的属性， 缺点：1. 信息不是特别准确。 2. 决策容易受到法律问题和人为观点的影响。 亿图助你快速绘制决策树 第一步：新建空白页面 运行亿图软件，找到项目管理，通过双击模板页面下的决策树来打开一个空白页面。如果时间有限制的话，用户可以直接在例子页面选择合适的例子进行编辑以节省时间。
第二步：拖放符号 从右边符号库中拖放合适的决策树符号在空白页面上，并根据自己的需要调节符号的大小或颜色。 第三步：添加文本
用户有2种添加文本的方式。第一种是直接双击符号然后输入文本；第二种是ctrl+2打开一个文本框然后输入文本。 第四步：选择主题 导航到页面布局，从内置的主题中选择一个合适的主题让决策树显得更加专业和吸引人。 第五步：保存或导出决策树 回到文件页面，用户可以点击保存将决策树保存为默认的.eddx格式或者为了方便分享点击导出&发送将决策树导出为常见的文件格式。
3.1分类与决策树概述 3.1.1分类与预测 分类是一种应用非常广泛的数据挖掘技术，应用的例子也很多。例如，根据信用卡支付历史记录，来判断具备哪些特征的用户往往具有良好的信用；根据某种病 症的诊断记录，来分析哪些药物组合可以带来良好的治疗效果。这些过程的一个共同特点是：根据数据的某些属性，来估计一个特定属性的值。例如在信用分析案例中，根据用户的“年龄”、“性别”、“收入水平”、“职业”等属性的值，来估计该用户“信用度”属性的值应该取“好”还是“差”，在这个例子中，所研究的属性“信用度”是E—个离散属性，它的取值是一个类别值，这种问题在数 据挖掘中被称为分类。 还有一种问题，例如根据股市交易的历史数据估计下一个交易日的大盘指数，这 里所研究的属性“大盘指数”是一个连续属性，它的取值是一个实数。那么这种 问题在数据挖掘中被称为预测。 总之，当估计的属性值是离散值时，这就是分类；当估计的属性值是连续值时，这就是预测。 3.1.2决策树的基本原理 1. 构建决策树 通过一个实际的例子，来了解一些与决策树有关的基本概念。 表3-1是一个数据库表，记载着某银行的客户信用记录，属性包括“姓名”、“年龄”、“职业”、“月薪”、......、“信用等级”，每一行是一个客户样本，每一列是一个属性（字段）。这里把这个表记做数据集D。 银行需要解决的问题是，根据数据集D,建立一个信用等级分析模型，并根据这个模型，产生一系列规则。当银行在未来的某个时刻收到某个客户的贷款申请时，依据这些规则，可以根据该客户的年龄、职业、月薪等属性，来预测其信用等级，以确定是否提供贷款给该用户。这里的信用等级分析模型，就可以是一棵决策树。在这个案例中，研究的重点是“信用等级”这个属性。给定一个信用等级未知的客户，要根据他/她的其他属性来估计“信用等级”的值是“优”、“良”还是 “差”，也就是说，要把这客户划分到信用等级为“优”、“良”、“差”这3 个类别的某一类别中去。这里把“信用等级”这个属性称为“类标号属性”。数据集D中“信用等级”属性的全部取值就构成了类别集合：Class={ “优”，
机器学习算法day04_决策树分类算法及应用课程大纲 决策树分类算法原理决策树算法概述 决策树算法思想 决策树构造 算法要点 决策树分类算法案例案例需求 Python实现 决策树的持久化保存 课程目标： 1、理解决策树算法的核心思想 2、理解决策树算法的代码实现 3、掌握决策树算法的应用步骤：数据处理、建模、运算和结果判定
1. 决策树分类算法原理 1.1 概述 决策树（decision tree）——是一种被广泛使用的分类算法。 相比贝叶斯算法，决策树的优势在于构造过程不需要任何领域知识或参数设置 在实际应用中，对于探测式的知识发现，决策树更加适用 1.2 算法思想 通俗来说，决策树分类的思想类似于找对象。现想象一个女孩的母亲要给这个女孩介绍男朋友，于是有了下面的对话： 女儿：多大年纪了？ 母亲：26。 女儿：长的帅不帅？ 母亲：挺帅的。 女儿：收入高不？ 母亲：不算很高，中等情况。 女儿：是公务员不？ 母亲：是，在税务局上班呢。 女儿：那好，我去见见。 这个女孩的决策过程就是典型的分类树决策。 实质：通过年龄、长相、收入和是否公务员对将男人分为两个类别：见和不见 假设这个女孩对男人的要求是：30岁以下、长相中等以上并且是高收入者或中等以上收入的公务员，那么这个可以用下图表示女孩的决策逻辑
上图完整表达了这个女孩决定是否见一个约会对象的策略，其中： ◆绿色节点表示判断条件 ◆橙色节点表示决策结果 ◆箭头表示在一个判断条件在不同情况下的决策路径 图中红色箭头表示了上面例子中女孩的决策过程。 这幅图基本可以算是一颗决策树，说它“基本可以算”是因为图中的判定条件没有量化，如收入高中低等等，还不能算是严格意义上的决策树，如果将所有条件量化，则就变成真正的决策树了。 决策树分类算法的关键就是根据“先验数据”构造一棵最佳的决策树，用以预测未知数据的类别 决策树：是一个树结构（可以是二叉树或非二叉树）。其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。
决策树分类算法 学号：20120311139 学生所在学院：软件工程学院学生姓名：葛强强 任课教师：汤亮 教师所在学院：软件工程学院2015年11月
12软件1班 决策树分类算法 葛强强 12软件1班 摘要：决策树方法是数据挖掘中一种重要的分类方法，决策树是一个类似流程图的树型结构，其中树的每个内部结点代表对一个属性的测试，其分支代表测试的结果，而树的每个 叶结点代表一个类别。通过决策树模型对一条记录进行分类，就是通过按照模型中属 性测试结果从根到叶找到一条路径，最后叶节点的属性值就是该记录的分类结果。 关键词：数据挖掘，分类，决策树 近年来，随着数据库和数据仓库技术的广泛应用以及计算机技术的快速发展，人们利用信息技术搜集数据的能力大幅度提高，大量数据库被用于商业管理、政府办公、科学研究和工程开发等。面对海量的存储数据，如何从中有效地发现有价值的信息或知识，是一项非常艰巨的任务。数据挖掘就是为了应对这种要求而产生并迅速发展起来的。数据挖掘就是从大型数据库的数据中提取人们感兴趣的知识，这些知识是隐含的、事先未知的潜在有用的信息，提取的知识表示为概念、规则、规律、模式等形式。 分类在数据挖掘中是一项非常重要的任务。 分类的目的是学会一个分类函数或分类模型，把数据库中的数据项映射到给定类别中的某个类别。分类可用于预测，预测的目的是从历史数据记录中自动推导出对给定数据的趋势描述，从而能对未来数据进行预测。分类算法最知名的是决策树方法，决策树是用于分类的一种树结构。 1决策树介绍 决策树（decisiontree）技术是用于分类和预测 的主要技术，决策树学习是一种典型的以实例为基础的归纳学习算法，它着眼于从一组无次序、无规则的事例中推理出决策树表示形式的分类规则。它采用自顶向下的递归方式，在决策树的内部节点进行属性的比较，并根据不同属性判断从该节点向下的分支，在决策树的叶节点得到结论。所以从根到叶节点就对应着一条合取规则，整棵树就对应着一组析取表达式规则。 把决策树当成一个布尔函数。函数的输入为物体或情况的一切属性（property），输出为”是”或“否”的决策值。在决策树中，每个树枝节点对应着一个有关某项属性的测试，每个树叶节点对应着一个布尔函数值，树中的每个分支，代表测试属性其中一个可能的值。 最为典型的决策树学习系统是ID3，它起源于概念学习系统CLS，最后又演化为能处理连续属性的C4．5（C5．0）等。它是一种指导的学习方法，该方法先根据训练子集形成决策树。如果该树不能对所有给出的训练子集正确分类，那么选择一些其它的训练子集加入到原来的子集中，重复该过程一直到时形成正确的决策集。当经过一批训练实例集的训练产生一棵决策树，决策树可以根据属性的取值对一个未知实例集进行分类。使用决策树对实例进行分类的时候，由树根开始对该对象的属性逐渐测试其值，并且顺着分支向下走，直至到达某个叶结点，此叶结点代表的类即为该对象所处的类。 决策树是应用非常广泛的分类方法，目前有多种决策树方法，如ID3，C4．5，PUBLIC，
决策树是分类应用中采用最广泛的模型之一。与神经网络和贝叶斯方法相比，决策树无须花费大量的时间和进行上千次的迭代来训练模型，适用于大规模数据集，除了训练数据中的信息外不再需要其他额外信息，表现了很好的分类精确度。其核心问题是测试属性选择的策略，以及对决策树进行剪枝。连续属性离散化和对高维大规模数据降维，也是扩展决策树算法应用范围的关键技术。本文以决策树为研究对象，主要研究内容有：首先介绍了数据挖掘的历史、现状、理论和过程，然后详细介绍了三种决策树算法，包括其概念、形式模型和优略性，并通过实例对其进行了分析研究 目录 一、引言 (1) 二、数据挖掘 (2) (一)概念 (2) (二)数据挖掘的起源 (2) (三)数据挖掘的对象 (3) (四)数据挖掘的任务 (3) (五)数据挖掘的过程 (3) (六)数据挖掘的常用方法 (3) (七)数据挖掘的应用 (5) 三、决策树算法介绍 (5) (一)归纳学习 (5) (二)分类算法概述 (5) (三)决策树学习算法 (6) 1、决策树描述 (7) 2、决策树的类型 (8) 3、递归方式 (8) 4、决策树的构造算法 (8) 5、决策树的简化方法 (9) 6、决策树算法的讨论 (10) 四、ID3、C4.5和CART算法介绍 (10) (一)ID3学习算法 (11) 1、基本原理 (11) 2、ID3算法的形式化模型 (13) （二）C4.5算法 (14) （三）CART算法 (17) 1、CART算法理论 (17) 2、CART树的分支过程 (17) （四）算法比较 (19) 五、结论 (24) 参考文献...................................................................................... 错误！未定义书签。 致谢.............................................................................................. 错误！未定义书签。
1. 采购部查询库存信息及用户需求, 若商品的库存量不能满足用户的需要, 则编制相应的采购订货单, 并交送给供应商提出订货请求。供应商按订单要求发货给该公司采购部, 并附上采购收货单。公司检验人员在验货后,发现货物不合格, 将货物退回供应商,如果合格则送交库房。库房管理员再进一步审核货物是否合格, 如果合格则登记流水帐和库存帐目, 如果不合格则交由主管审核后退回供应商。 画出物资订货的业务流程图。 (共 10分 2.在盘点管理流程中,库管员首先编制盘存报表并提交给仓库主管,仓库主管查询库存清单和盘点流水账,然后根据盘点规定进行审核,如果合格则提交合格盘存报表递交给库管员,由库管员更新库存清单和盘点流水账。如果不合格则由仓库主观返回不合格盘存报表给库管员重新查询数据进行盘点。 根据以上情况画出业务流程图和数据流程图。 (共 15分
3. “进书”主要指新书的验收、分类编号、填写、审核、入库。主要过程:书商将采购单和新书送采购员; 采购员验收,如果不合格就退回, 合格就送编目员;编目员按照国家标准进行的分类编号,填写包括书名,书号,作者、出版社等基本信息的入库单;库管员验收入库单和新书,如果合格就入库,并更新入库台帐;如果不合格就退回。“售书”的流程:顾客选定书籍后, 收银员进行收费和开收费单, 并更新销售台帐。顾客凭收费单可以将图书带离书店,书店保安审核合格后,放行,否则将让顾客到收银员处缴费。 画出“进书”和“售书”的数据流程图。 进书业务流程:
进书数据流程: F3.2不合格采购单售书业务流程:
售书数据流程: 4. 背景 :若库房里的货品由于自然或其他原因而破损,且不可用的,需进行报损处理, 即这些货品清除出库房。具体报损流程如下: 由库房相关人员定期按库存计划编制需要对货物进行报损处理的报损清单, 交给主管确认、审核。主管审核后确定清单上的货品必须报损,则进行报损处理, 并根据报损清单登记流水帐,同时修改库存台帐;若报损单上的货品不符合报损要求,则将报损单退回库房。
实验四决策树 一、实验目的 1.了解典型决策树算法 2.熟悉决策树算法的思路与步骤 3.掌握运用Matlab对数据集做决策树分析的方法 二、实验内容 1.运用Matlab对数据集做决策树分析 三、实验步骤 1.写出对决策树算法的理解 决策树方法是数据挖掘的重要方法之一，它是利用树形结构的特性来对数据进行分类的一种方法。决策树学习从一组无规则、无次序的事例中推理出有用的分类规则，是一种实例为基础的归纳学习算法。决策树首先利用训练数据集合生成一个测试函数，根据不同的权值建立树的分支，即叶子结点，在每个叶子节点下又建立层次结点和分支，如此重利生成决策树，然后对决策树进行剪树处理，最后把决策树转换成规则。决策树的最大优点是直观，以树状图的形式表现预测结果，而且这个结果可以进行解释。决策树主要用于聚类和分类方面的应用。 决策树是一树状结构，它的每一个叶子节点对应着一个分类，非叶子节点对应着在某个属性上的划分，根据样本在该属性上的不同取值将其划分成若干个子集。构造决策树的核心问题是在每一步如何选择适当的属性对样本进行拆分。对一个分类问题，从已知类标记的训练样本中学习并构造出决策树是一个自上而下分而治之的过程。 2.启动Matlab，运用Matlab对数据集进行决策树分析，写出算法名称、数据集名称、关键代码，记录实验过程，实验结果，并分析实验结果 (1)算法名称: ID3算法 ID3算法是最经典的决策树分类算法。ID3算法基于信息熵来选择最佳的测试属性，它选择当前样本集中具有最大信息增益值的属性作为测试属性；样本集的划分则依据测试属性的取值进行，测试属性有多少个不同的取值就将样本集划分为多少个子样本集，同时决策树上相应于该样本集的节点长出新的叶子节点。ID3算法根据信息论的理论，采用划分后样本集的不确定性作为衡量划分好坏的标准，用信息增益值度量不确定性：信息增益值越大，不确定性越小。因此，ID3算法在每个非叶节点选择信息增益最大的属性作为测试属性，这样可以得到当前情况下最纯的划分，从而得到较小的决策树。 ID3算法的具体流程如下： 1）对当前样本集合，计算所有属性的信息增益； 2）选择信息增益最大的属性作为测试属性，把测试属性取值相同的样本划为同一个子样本集； 3）若子样本集的类别属性只含有单个属性，则分支为叶子节点，判断其属性值并标上相应的符号，然后返回调用处；否则对子样本集递归调用本算法。 (2)数据集名称：鸢尾花卉Iris数据集 选择了部分数据集来区分Iris Setosa（山鸢尾）及Iris Versicolour（杂色鸢尾）两个种类。
实验三业务流程图[实验目的] 1.熟练绘制组织结构图 2.掌握业务流程图的绘制方法 [实验内容] 1.试根据下述业务过程画出物资订货的业务流程图：采购员从仓库收到缺货通知单以后，查阅订货合同单，若已订货，向供货单位发出催货请求，否则，填写订货单交供货单位，供货单位发出货物后，立即向采购员发出取货通知。 2.某工厂成品库管理的业务过程如下：成品库保管员按车间送来的入库单登记库存台帐。发货时，发货员根据销售科送来的发货通知单将成品出库，并发货，同时填写三份出库单，其中一份交给成品库保管员，由他按此出库单登记库存台帐，出库单的另外两联分别送销售科和会计科。试按此业务过程画出业务流程图。 1图： :
图2． 实验三（二）． [实验目的] 1.掌握业务流程图和业务流程图的绘制方法
[实验内容] 1.根据下述业务过程绘制业务流程图：采购部门准备采购单一式四份，第一张交给卖方；第二张交到收货部门，用来登记收货清单；第三张交给财会部门，登记应付账；第四张存档。到货时，收货部门按待收货清单校对货物是否齐全后填写收货单四张，其中第一张交财会部门，通知付款，第二张通知采购部门取货，第三张存档，第四张交给卖方。 2..绘制业务流程图。 销售科负责成品销售及成品库管理。该科计划员将合同登记入合同台账，并定期根据合同台账查询库存台账，决定是否可以发货。如果可以发货，则填写出库单交成品库保管员。保管员按出库单和由车间送来的入库单填写库存台账。出库单的另外两联分送计划员和财务科。计划员将合同执行情况登入合同台账。销售部门负责人定期进行销售统计并上报厂办。 2图： 1图：
数据流程图实验四 [实验目的] 掌握数据流程图的绘制 [实验内容] 1.某仓库管理系统按以下步骤进行信息处理 （1）保管员根据当日的出库单和入库单通过出入库处理去修改库存台帐；
企业CRM系统中决策树算法的应用 河北金融学院郭佳许明 保定市科技局《基于数据挖掘的客户关系管理系统应用研究》09ZG009 摘要：客户资源决定企业的核心竞争力，更多的关心自己的销售群体，并与之建立良好的、长期的客户关系，提升客户价值，对全面提升企业竞争能力和盈利能力具有重要作用。本文以某企业销售业绩为对象，利用决策树分类算法，得到支持决策，从而挖掘出理想客户。 关键字：客户关系管理；数据挖掘；分类算法 决策树分类是一种从无规则、无序的训练样本集合中推理出决策树表示形式的分类规则的方法。该方法采用自顶向下的比较方式，在决策树的内部结点进行属性值的比较，然后根据不同的属性值判断从该结点向下的分支，在决策树的叶结点得到结论。 本文主要研究决策树分类算法中ID3算法在企业CRM系统中的应用情况。 1.ID3算法原理 ID3算法是一种自顶向下的决策树生成算法，是一种根据熵减理论选择最优的描述属性的方法。该算法从树的根节点处的训练样本开始，选择一个属性来区分样本。对属性的每一个值产生一个分支。分支属性的样本子集被移到新生成的子节点上。这个算法递归地应用于每个子节点，直到一个节点上的所有样本都分区到某个类中。 2.用于分类的训练数据源组 数据挖掘的成功在很大程度上取决于数据的数量和质量。我们应从大量的企业客户数据中找到与分析问题有关的，具有代表性的样本数据子集。然后，进行数据预处理、分析，按问题要求对数据进行组合或增删生成新的变量，从而对问题状态进行有效描述。 在本文研究的企业数据中，是将客户的年龄概化为“小于等于30”、“30到50之间”和“大于50”三个年龄段，分别代表青年、中年和老年客户，将产品价格分为高、中、低三档等，详见表1，将企业CRM系统数据库中销售及客户信息汇总为4个属性2个类别。4个属性是客户年龄段、文化程度、销售地区、产品档次，类别是销售业绩，分为好和差两类。
决策树研发二部
目录 1. 算法介绍 (1) 1.1.分支节点选取 (1) 1.2.构建树 (3) 1.3.剪枝 (10) 2. sk-learn中的使用 (12) 3. sk-learn中源码分析 (13)
1.算法介绍 决策树算法是机器学习中的经典算法之一，既可以作为分类算法，也可以作为回归算法。决策树算法又被发展出很多不同的版本，按照时间上分，目前主要包括，ID3、C4.5和CART版本算法。其中ID3版本的决策树算法是最早出现的，可以用来做分类算法。C4.5是针对ID3的不足出现的优化版本，也用来做分类。CART也是针对ID3优化出现的，既可以做分类，可以做回归。 决策树算法的本质其实很类似我们的if-elseif-else语句，通过条件作为分支依据，最终的数学模型就是一颗树。不过在决策树算法中我们需要重点考虑选取分支条件的理由，以及谁先判断谁后判断，包括最后对过拟合的处理，也就是剪枝。这是我们之前写if语句时不会考虑的问题。 决策树算法主要分为以下3个步骤： 1.分支节点选取 2.构建树 3.剪枝 1.1.分支节点选取 分支节点选取，也就是寻找分支节点的最优解。既然要寻找最优，那么必须要有一个衡量标准，也就是需要量化这个优劣性。常用的衡量指标有熵和基尼系数。 熵：熵用来表示信息的混乱程度，值越大表示越混乱，包含的信息量也就越多。比如，A班有10个男生1个女生，B班有5个男生5个女生，那么B班的熵值就比A班大，也就是B班信息越混乱。 基尼系数：同上，也可以作为信息混乱程度的衡量指标。
有了量化指标后，就可以衡量使用某个分支条件前后，信息混乱程度的收敛效果了。使用分支前的混乱程度，减去分支后的混乱程度，结果越大，表示效果越好。 #计算熵值 def entropy(dataSet): tNum = len(dataSet) print(tNum) #用来保存标签对应的个数的，比如,男：6，女：5 labels = {} for node in dataSet: curL = node[-1] #获取标签 if curL not in labels.keys(): labels[curL] = 0 #如果没有记录过该种标签，就记录并初始化为0 labels[curL] += 1 #将标签记录个数加1 #此时labels中保存了所有标签和对应的个数 res = 0 #计算公式为-p*logp，p为标签出现概率 for node in labels: p = float(labels[node]) / tNum res -= p * log(p, 2) return res #计算基尼系数 def gini(dataSet): tNum = len(dataSet) print(tNum) # 用来保存标签对应的个数的，比如,男：6，女：5 labels = {} for node in dataSet: curL = node[-1] # 获取标签 if curL not in labels.keys(): labels[curL] = 0 # 如果没有记录过该种标签，就记录并初始化为0 labels[curL] += 1 # 将标签记录个数加1 # 此时labels中保存了所有标签和对应的个数 res = 1