决策树分类方法

机器学习算法day04_决策树分类算法及应用

课程大纲

决策树分类算法原理 决策树算法概述

决策树算法思想

决策树构造

算法要点

决策树分类算法案例 案例需求

Python实现

决策树的持久化保存

课程目标：

1、理解决策树算法的核心思想

2、理解决策树算法的代码实现

3、掌握决策树算法的应用步骤：数据处理、建模、运算和结果判定

1. 决策树分类算法原理

1.1 概述

决策树（decision tree）——是一种被广泛使用的分类算法。

相比贝叶斯算法，决策树的优势在于构造过程不需要任何领域知识或参数设置

在实际应用中，对于探测式的知识发现，决策树更加适用

1.2 算法思想

通俗来说，决策树分类的思想类似于找对象。现想象一个女孩的母亲要给这个女孩介绍男朋友，于是有了下面的对话：

女儿：多大年纪了？

母亲：26。

女儿：长的帅不帅？

母亲：挺帅的。

女儿：收入高不？

母亲：不算很高，中等情况。

女儿：是公务员不？

母亲：是，在税务局上班呢。

女儿：那好，我去见见。

这个女孩的决策过程就是典型的分类树决策。

实质：通过年龄、长相、收入和是否公务员对将男人分为两个类别：见和不见

假设这个女孩对男人的要求是：30岁以下、长相中等以上并且是高收入者或中等以上收入的公务员，那么这个可以用下图表示女孩的决策逻辑

上图完整表达了这个女孩决定是否见一个约会对象的策略，其中：

 绿色节点表示判断条件

 橙色节点表示决策结果

 箭头表示在一个判断条件在不同情况下的决策路径

图中红色箭头表示了上面例子中女孩的决策过程。

这幅图基本可以算是一颗决策树，说它“基本可以算”是因为图中的判定条件没有量化，如收入高中低等等，还不能算是严格意义上的决策树，如果将所有条件量化，则就变成真正的决策树了。

决策树分类算法的关键就是根据“先验数据”构造一棵最佳的决策树，用以预测未知数据的类别

决策树分类算法与应用

机器学习算法day04_决策树分类算法及应用

课程大纲

决策树分类算法原理 决策树算法概述

决策树算法思想

决策树构造

算法要点

决策树分类算法案例 案例需求

Python实现

决策树的持久化保存

课程目标：

1、理解决策树算法的核心思想

2、理解决策树算法的代码实现

3、掌握决策树算法的应用步骤：数据处理、建模、运算和结果判定 决策树分类算法与应用

4、

1。 决策树分类算法原理

1。1 概述

决策树（decision tree）—-是一种被广泛使用的分类算法.

相比贝叶斯算法，决策树的优势在于构造过程不需要任何领域知识或参数设置

在实际应用中，对于探测式的知识发现，决策树更加适用

1.2 算法思想

通俗来说，决策树分类的思想类似于找对象。现想象一个女孩的母亲要给这个女孩介绍男朋友，于是有了下面的对话：

女儿：多大年纪了？

母亲：26。

女儿：长的帅不帅？

母亲：挺帅的。

女儿:收入高不？

母亲：不算很高，中等情况。

女儿:是公务员不？

母亲：是，在税务局上班呢。

女儿：那好,我去见见.

这个女孩的决策过程就是典型的分类树决策。

实质：通过年龄、长相、收入和是否公务员对将男人分为两个类别：见和不见

决策树分类算法与应用

假设这个女孩对男人的要求是：30岁以下、长相中等以上并且是高收入者或中等以上收入的公务员，那么这个可以用下图表示女孩的决策逻辑

上图完整表达了这个女孩决定是否见一个约会对象的策略，其中：

 绿色节点表示判断条件

 橙色节点表示决策结果

 箭头表示在一个判断条件在不同情况下的决策路径

图中红色箭头表示了上面例子中女孩的决策过程。

这幅图基本可以算是一颗决策树，说它“基本可以算”是因为图中的判定条件没有量化,如收入高中低等等，还不能算是严格意义上的决策树，如果将所有条件量化，则就变成真正的决策树了.

87 4.3 决策树/分类树(Decision or Classification Trees)

决策树是一个多阶段决策过程，它不是一次用样本的所有特征进行决策，而是逐次地用各个特征分量进行决策。例如，一个6维向量x=

(x1, x2, x3, x4, x5, x6)T，决策树如图4.5所示。

决策树的构造一般有下列3个步骤：

(1) 为每一个内部节点(Internal Node)选择划分规则。

(2) 确定终节点(Terminal Nodes)。

(3) 给终节点分配类别标签(Class Labels)。

例如，根据图4.6a所示的二维数据分布情况，可以画出图4.6b所示的决策树。 x6<2

x5<5 x4<1

x1<2 1 2

1 3

2 Yes No

Yes

Yes Yes

No No No

图4.5 一个决策树示意图 88 我们可以利用决策树的原理来解决多类别问题，例如，用一个线性分类器（例如Fisher分类器）解决多类别问题。

图4.6a 一个二维空间样本分布示例 0 xi xk

1 10

6 4

8 9

a1 a2 b1 b2 b3

图4.6b 对应的决策树 xk>b2

xk

xk>b3

8 9 6 4 Yes No

Yes

Yes Yes

No No No xi>a1

10 1 Yes No

科技情报开发与经济　ＳＣＩ—ＴＥＣＨ　ＩＮＦＯＲＭＡＴＩＯＮ　ＤＥＶＥＬＯＰＭＥＮＴ＆ＥＣＯＮＯＭＹ　２００８年第ｌ　８卷第２期　文章编号：ｌ００５—６０３３（２００８）０２—００６５—０３　决策树分类算法的分析和比较　刘莺迎　（郑州大学信息管理系，河南郑州，４５０００１）　摘要：在数据挖掘中存在多种算法，决策树分类算法是应用比较多的一种。基于决策　树分类算法的研究现状，对各种决策树分类算法的基本思想进行了阐述，并对不同的　算法进行了分析和比较。　关键词：决策树分类算法；ＩＤ３；后剪枝；ＧＩＮ１系数　中图分类号：ＴＰ２７４：ＴＰ３１　文献标识码：Ａ　１决策树分类算法的发展　基于决策树的分类算法自提出至今，种类不下几十种。各种算法在　执行速度、可扩展性、输出结果的可理解性，分类预测的准确性等方面各　有干秋。　决策树分类算法的发展分如下几个阶段：首先，１９６６由Ｈｕｎｔ．Ｅ．Ｂ等　人提出了ＣＬＳ（Ｃｏｎｃｅｐｔ　Ｌｅａｒｎｉｎｇ　ｓｙｓｔｅｍ）学习算法。这是第一次提出片ｊ决　策树进行概念学习，随后出现的ＩＤ３算法采用信息熵原理选择测试属性　收稿日期：２００７—１２—２８　

分割样本集，只能处理具有离散型属性和属性值齐全的样本，生成形如　多叉树的决策树。后来出现的ｃ４．５算法经过改进，能够直接处理连续型　属性，也能够处理属性值空缺的训练样本。针对ＩＤ３系列算法和ｃ４．５系　列算法生成决策树分枝较多、规模较大的问题，叉出现了根据ＧＩＮＩ系数　来选择测试属性的决策树算法，使得生成的决策树可以是结构简单、易　于理解的二叉树。大多数决策树算法都采用后剪枝策略，但它策略明显　存在将已经生成的分枝再剪去的重复劳动，降低了决策树的生成效率，　因此出现了以ＰｕＢｕｃ算法为代表的预剪枝决策树算法。随后，为了增　…●●●　人力资源强国，教育则是增加人力资源含金量的重要途径。　动。　我国目前农业劳动生产率与土地投入产出率的双重低下，一个不容　３．４农业部门要建立农业数字信息资源中心　掩盖的原因就是农民综合素质的先天发育不足与后天优化滞后，表现在　科技文化素质、思想心理素质、组织协调素质、市场竞争素质等多个层　面，因此，现代农民的培养是现代农业发展不可或缺的人力资本支撑。潜　在人力资源向现实人力资源的转化，一般是一定的主体对其资源性质进　行认识和作出使用的决策，这就是人力资源的发掘过程。　３－３通过教育提高人的“能力”　所谓“能力”，是指人们顺利实现某种活动的心理条件。研究人力资　源，根本目的是为了运用“人”的这种能力。从现实应用的形态看，能力要　素包括体力、智力、知识、技能４部分。体力、智力、知识、技能四者的不同　组合，形成人力资源多样化的丰富内容。人力资源拥有的体力、智力、知　识和技能，使其具有推动物质资源的各种具体能力。作为政府，对农民采　取“授人以鱼，不如授人以渔”，教其学会ｌ～２门实用技术和技能，不断提　高其综合素质，提升就业技能增强其在就业能力和在市场巾的竞争能　力，唯有培养农民创造性的适应能力，才能够在这千变万化的市场部分　中维持自己，立于不败之地。　大力开展远程教育，提高农民接受文化、科技、信息的能力。远程教　育和培训的优势就在于不受时空限制，通过远程教育平台，可推动农业　科技成果的转化吸收，培训出有文化、懂技术、会经营的新型农民。进而　大大减轻了农民进城学习的负担，同时又推动城市教育资源向农村流　信息资源是整个农村信息服务体系的基础及核心，为了进一步提高　农村信息资源的实用性，省农业部门应牵头各涉农单位配合以整合资　源、避免重复、协调发展、实施共享为立足点和出发点，充分发挥农口部　门信息资源优势，农业部门与各级政府合作，组织实施全省农业数字信　息资源共享＿Ｔ程，建立全省新农村信息资源中心，从而实现“数字化农业　科技文献资源”“专题数据库资源”“多媒体软件资源”等信息资源在全省　各乡镇、行政村和２　０００多个新农村试点村共享。　参考文献　［１］樊合文．以多方合作和资源整合推进发展［Ｎ］经济日报，２００７—０６一　Ｏ７（１３）　［２］张玉番．加快农业信息化建设，助推现代农业发展［Ｎ］．农民１３报，　２００７—１０—２５（６）．　［３］巾国社会科学院课题组．推进国民经济信息化的公共政策研究［Ｊ］．　经济研究参考，２００７（１４）：２、　［４］姚裕群．人力资源开发与管理［Ｍ］、北京：中国人民大学出版社，２００７．　（责任编辑：白尚平）　第一作者简介：郝玉宾，女，１９７５年ｌ１月生，１９９９年毕业于山西大　学，讲师，山西省委党校，山西省太原市学府街９６号，０３０００６．　Ｓｐｅｅｄｉｎｇ　ｕｐ　ｔｈｅ　Ｃｏｎｓｔｒｕｃｔｉｏｎ　ｏｆ　Ａｇｒｉｃｕｌｔｕｒａｌ　Ｉｎｆｏｒｍａｔｉｚａｔｉｏｎ　ｆｏｒ　Ｐｒｏｍｏｔｉｎｇ　ｔｈｅ　Ｄｅｖｅｌｏｐｍｅｎｔ　ｏｆ　ｔｈｅ　Ｃｈａｒａｃｔｅｒｉｓｔｉｃ　Ｍｏｄｅｒｎ　Ａｇｒｉｃｕｌｔｕｒｅ　ＨＡｏ　Ｙｕ－ｂｉｎ．ＪＩＮ　Ｐｅｎｇ－ｃｈｅｎｇ　ＡＢＳＴＲＡＣＴ：Ｔｈｉｓ　ｐａｐｅｒ　ｅｘｐｏｕｎｄｓ　ｔｈｅ　ｉｍｐｏｒｔａｎｔ　ｆｕｎｃｔｉｏｎｓ　ｏｆ　ｔｈｅ　ａｇｒｉｃｕｌｔｕｒａｌ　ｉｎｆｏｒｍａｔｉｚａｔｉｏｎ　ｉｎ　ｔｈｅ　ｎｅｗ　ｐｅｒｉｏｄ，ｐｒｏｂｅｓ　ｉｎｔｏ　ｔｈｅ　ｐｒｏｂｌｅｍ　ｏｆ　ｈｏｗ　ｔｏ　ｐｒｏｍｏｔｅ　ｔｈｅ　ｇｒｅａｔ—ｌｅａｐ－ｆｏｒｗａｒｄ　ｄｅｖｅｌｏｐｍｅｎｔ　ｏｆ　ｔｈｅ　ｒｕｒａｌ　ｉｎｆｏｒｍａｔｉｚａｔｉｏｎ　ｗｉｔｈ　ｔｈｅ　ｃｏｍｐｒｅｈｅｎｓｉｖｅ　ｓｅｒｖｉｃｅ　ｏｆ　ｍｏｄｅｍ　ａｇｒｉｃｕｌｔｕｒａｌ　ｉｎｆｏｒｍａｔｉｚａｔｉｏｎ，ａｎｄ　ｐｏｉｎｔｓ　ｏｕｔ　ｔｈａｔ　ｏｕｒ　ｃｏｕｎｔｒｙ　ｓｈｏｕｌｄ　ｐｒｏｖｉｄｅ　ｔｈｅ　ｔａｌｅｎｔｓ　ｓｕｐｐｏｒｔ　ｆｏｒ　ｔｈｅ　ｍｏｄｅｒｎ　ａｇｒｉｃｕｌｔｕｒｅ　ｂｙ　ｕｓｉｎｇ　ｔｈｅ　ｍｏｄｅｒｎ　ｉｎｆｏｒｍａｔｉｏｎ　ｔｅｃｈｎｏｌｏｇｙ．　ＫＥＹ　ＷＯＲＤＳ：ａｇｒｉｃｕｌｔｕｒａｌ　ｉｎｆｏｒｍａｔｉｚａｔｉｏｎ；ｃｈａｒａｃｔｅｒｉｓｔｉｃ　ｍｏｄｅｒｎ　ａｇｒｉｃｕｌｔｕｒｅ；ｈｕｍａｎ　ｒｅｓｏｕｒｃｅ‘