当前位置：文档之家 › 第6章 决策树

第6章 决策树

  • 格式：pdf
  • 大小：8.13 MB
  • 文档页数：62

下载文档原格式

  / 62

合集下载

第六章 经营决策原理

第六章 经营决策原理

二、经济决策的原则 1．信息准全原则 2．未来预测原则 3．可行性原则 4．系统原则 5．对比优选原则 6．经济性原则 7．民主集中制原则 8．追踪监控原则
第二节 科学决策原理的内容 与类型
一、科学决策的内容 （1）决策原理的研究 （2）决策情报信息研究。 （3）决策步骤和方法的研究 （4）决策组织机构的研究。 （5）决策对象规律性的研究。
2．心理人格素质 （1）宽广的胸怀。 （2）开放的心态。 （3）坚韧的毅力和意志力。 （4）个人的自我控制力。 3．基础知识素质 （1）扎实的基础知识。 （2）完善的知识结构。
二、明确的决策目标：
根据决策是否围绕特定的目标来进行，决 策是否要力图实现某种预期的结果，我们 可以将决策分为理性决策和非理性决策两 大类。 根据一项决策过程中所选定的决策目标的 多寡，决策可分为单目标决策与多目标决 策。
风险型决策有明确的目标，如最大利润；有可 以选择的两个以上的可行方案；有两种以上的 自然状态；不同方案在不同自然状态下的损益 值可以计算出来；决策者能估算出不同自然状 态下的概率。因此，决策者无论采用何种方案 都要承担一定风险。
风险型决策常用的决策方法有期望值法和决策 树法
（一）期望值法 当管理者面临的各备选方案中存在着两种以上 的可能结果，且管理者可估计每一种结果发生 的客观概率时，就可用期望值法进行决策，即 根据各方案的期望值大小来选择行动方案。 各方案的收益期望值： 期望值＝（方案在状态下的预期收益）×（方 案i状态发生的概率）
第六章 经营决策原理
【重点难点】 1．科学决策原理的内容与类型和科学决策的基本要素； 2．经营决策的基本方法 。
【学习内容】 1．经营决策的内涵与原则； 2．经营决策的内容与类型； 3．经营决策的方法 ； 4．经营决策的基本要素和经营决策的程序。

第六章 多阶段决策

第六章 多阶段决策

θ θ1 θ2 θ3
P（θ） 0.4 0.3 0.3
a1
40000
a2
30000
a3
10000
20000
30000
10000
-30000 -20000 10000
为了更正确地了解市场情况，正式投产前可先生产少量产品 试销。由于要增添少量生产设备等原因，试销费需要600元。 由于试销前未做广告，顾客对产品不太了解，加之试销量较小， 试销结果不很准确。假设试销结果分为产品受欢迎（H1）、一 般（H2）和不受欢迎（H3）三种，其准确度见表。
（3）如果不试销，应大批生产、中批生产还是 小批生产？如果试销，又应该如何根据试销结 果决定其行动？
第二节 序列决策
序列决策：有些问题，在进行决策后又产 生一些新情况，需要进行新的决策，接着又 有一些新的情况，又需要进行新的决策。这 样就构成一个序列，这就是序列决策。
例 6-3 设某石油勘探队，在一片估计能出油的 荒田钻探，可以先做试验，然后决策钻井与否。或 者不做试验，只凭经验决策钻井与否。做试验的费 用为每次3000元，钻井费用为10000元。若钻井 后出油，井队可收入 40000 元；若不出油就没有 收入。各种情况下出油的概率已估计出，并标在图 6-2 上。问钻井队该如果决策使其期望收入值最大。
θ θ1 θ2 θ3
P（θ） P(H1|θ ) 0.4 0.4 0.3 0.2 0.3 0.4
P(H2|θ )
P(H3|θ )
0.3 0.4 0.5
0.3 0.4 0.1
如不买此技术，把这笔费用用在其它方面， 在同样的时期可获利ห้องสมุดไป่ตู้000元。那么，该公司应 该如何决策？ （1）是否买技术？
（2）如果买技术，是否采取试销方法？

第六章 领导决策

第六章 领导决策

第六章领导决策经管教学部丰云1. 界定领导艺术的概念及其特征；2. 描述现代决策的特点及趋势；3. 熟知决策分析的程序与方法；4. 阐释如何评估决策的科学性；5. 把握不同类型决策之间的区别联系；6. 辨析领导者与智囊团的关系。

两利相权取其重，两害相权取其轻。

领导决策，是领导者在实施领导活动过程中对若干个准备行动的方案进行选择，以期最好地达到目标。

决策行为贯穿于领导活动的全过程，领导者进行有效的决策，是领导活动取得高效的关键所在。

因此，掌握必备的决策知识与决策艺术，是领导活动成败的关键。

各级领导者要深刻认识领导决策的主要方法，理解不同类型决策之间的区别联系，切实提高领导决策水平。

一、领导决策概述（一）领导决策的含义、特点与作用1．领导决策的含义领导决策是指享有领导权力的领导或领导机关，为达成特定的管理目标，在综合考虑各种需求和可能性的基础上，为处理领导权力范围内的事务而进行的一种决定政策、对策和方案的活动过程。

2．领导决策的特点与其他非领导决定相比，它具有下列几个明显的特点。

（1）领导决策主要是组织决策领导决策所要解决的问题是多种多样的，以决策主体地位高低为标准，可分为组织决策、管理决策和业务决策三种。

组织决策：是由组织中最高管理层做出的、关系到组织全局利益的、与外界环境关系密切的重大问题的决定。

它主要表现为方针、目标、政策、计划及重大方案的制定，具有战略性、整体性和长期性的特点。

管理决策：是由组织内中层管理者做出的，关系到本地区、本部门的一些较大问题的决定。

它主要以实现组织决策所规定的目标为决策标准，具体内容包括诸如设计、调整组织的体制结构、规划、安排同类资源、协调、控制各个环节等。

管理决策具有策略性、局部性和连接性的特点。

业务决策：是由组织内部基层管理者做出的，主要是解决日常实际工作中的具体问题。

它比管理决策更具体、更定量化。

业务决策具有战术性、技术性和短期性的特点。

（2）领导决策主要是非常规型(或非程序化)决策根据决策问题的重复程度，可分为常规型(或程序化)决策和非常规型(或非程序化)决策两种。

《管理学》习题第六章 决策(参考答案)

《管理学》习题第六章 决策(参考答案)

第六章决策（练习与思考-参考答案）一、单项选择题1. ( )大多由中层管理者来进行，主要是对组织内部的资源进行有效的组织和利用，以提高管理效力。

A. 业务性决策B. 战略性决策C. 战术性决策D. 程序化决策2. 决策树适合下列哪种类型的决策？( )A. 确定型决策B. 非确定型决策C. 风险型决策D. 非程序化决策3. 有一种说法认为“管理就是决策”，这实际上意味着( )。

A. 对于管理者来说只要善于决策就一定能够获得成功B. 管理的复杂性和挑战性都是由于决策的复杂性而导致的C. 决策能力对于管理的成功具有特别重要的作用D. 管理首先需要的就是面对复杂的环境作出决策4. 波士顿矩阵中的瘦狗业务是指( )。

A. 高增长、低市场份额B. 低增长、低市场份额C. 高增长、高市场份额D. 低增长、高市场份额5. 某企业生产某产品，固定成本8万元，单位可变成本每件5元，该产品每件售价13元，则产品的盈亏平衡点产量是( )。

A. 8000件B. 10000件C. 12000件D. 20000件参考答案：1.C； 2.C； 3.D； 4.B；5.B；二、多项选择题1. 以下属于主观决策法的主要有( )。

A. 头脑风暴法B. 发散思维法C. 德尔菲法D. 定量决策法E. 后悔值最小法2. 下列选项中不属于企业短期决策的是( )。

A. 投资方向的选择B. 人力资源的开发C. 组织规模的确定D. 企业日常营销E. 本季度研发支出的投入3. 决策的影响因素有( )。

A. 环境B. 过去的决策C. 决策者的风险态度D. 组织成员对组织变化所持的态度E. 决策者的素质4. 量本利分析法中的所谓“量、本、利”是指( )。

A. 产量B. 成本C. 产出D. 利润E. 利益参考答案：1.ABC； 2.ABC； 3.ABCD； 4.ABD；三、判断题1. 按照决策条件的可控程度，决策可分为程序性决策和非程序性决策者。

( ) 2. 不确定型决策面临的是多种可能的自然状态，可选方案在不同自然状态下的结果不同，未来会出现哪一种自然状态，事前虽难以肯定，但却可以预测其出现的概率。

管理学06章-决策

管理学06章-决策

34
最小最大后悔值法
• 基本思想是：
– 各种自然状态下最大收益值（最优值） – 后悔值＝（最优值－各个自然状态下收益值） – 求出不同方案中的最大后悔值，并选择所有最大 后悔值中最小的一个所对应的方案作为决策方案。
• 后悔的程度用最大收益值与所采取的方案的 收益值之差来衡量，称为后悔值。 • 例：Ｐ１４７
• 优点是有可能夺取最好的效果； • 缺点是承担的风险较大。 • 例：Ｐ１４６
33
坏中求好的决策方法（小中取大）
• 基本思想是：
– 计算出各种方案在各种自然状态下可能有的收益 值 – 找出各种自然状态下的最小收益值 – 选择这些最小收益值中最大的所对应的方案为决 策方案。
• 优点是风险较小，即使在不利的情况下，也 能获得一定的利润。 • 缺点是有可能失去获得高额利润的机会。 • 例：１４７
7
2、决策的类型－（２）
• 决策问题的大小：宏观和微观决策 • 问题描述的性质：定量与定性决策 • 决策问题的考虑方式：动态决策、静态 决策
8
二、决策的原则与影响因素
• 满意原则
9
决策的影响因素－组织决策
环境 过去决策 决策者对风险的态度 组织文化 时间
10
环境的构成
经济 自然 资源 科学 技术
38
（2）按“坏中求好”决策方法决策。
首先求每一方案在各自然状态下的最小收益值：
f (d1 ) min(200, 20) 20
f (d 2 ) min(150, 20) 20
f (d3 ) min(100, 60) 60
在各最小收益中选取最大，最大值为60，对应的 为第三方案，因此“坏中求好”决策方法结果是第 三方案为最优方案。

第六章 决策(参考答案)[6页]

第六章 决策(参考答案)[6页]

第六章决策（练习与思考-参考答案）一、单项选择题1. ( )大多由中层管理者来进行，主要是对组织内部的资源进行有效的组织和利用，以提高管理效力。

A. 业务性决策B. 战略性决策C. 战术性决策D. 程序化决策2. 决策树适合下列哪种类型的决策？( )A. 确定型决策B. 非确定型决策C. 风险型决策D. 非程序化决策3. 有一种说法认为“管理就是决策”，这实际上意味着( )。

A. 对于管理者来说只要善于决策就一定能够获得成功B. 管理的复杂性和挑战性都是由于决策的复杂性而导致的C. 决策能力对于管理的成功具有特别重要的作用D. 管理首先需要的就是面对复杂的环境作出决策4. 波士顿矩阵中的瘦狗业务是指( )。

A. 高增长、低市场份额B. 低增长、低市场份额C. 高增长、高市场份额D. 低增长、高市场份额5. 某企业生产某产品，固定成本8万元，单位可变成本每件5元，该产品每件售价13元，则产品的盈亏平衡点产量是( )。

A. 8000件B. 10000件C. 12000件D. 20000件参考答案：1.C； 2.C； 3.D； 4.B；5.B；二、多项选择题1. 以下属于主观决策法的主要有( )。

A. 头脑风暴法B. 发散思维法C. 德尔菲法D. 定量决策法E. 后悔值最小法2. 下列选项中不属于企业短期决策的是( )。

A. 投资方向的选择B. 人力资源的开发C. 组织规模的确定D. 企业日常营销E. 本季度研发支出的投入3. 决策的影响因素有( )。

A. 环境B. 过去的决策C. 决策者的风险态度D. 组织成员对组织变化所持的态度E. 决策者的素质4. 量本利分析法中的所谓“量、本、利”是指( )。

A. 产量B. 成本C. 产出D. 利润E. 利益参考答案：1.ABC； 2.ABC； 3.ABCD； 4.ABD；三、判断题1. 按照决策条件的可控程度，决策可分为程序性决策和非程序性决策者。

( ) 2. 不确定型决策面临的是多种可能的自然状态，可选方案在不同自然状态下的结果不同，未来会出现哪一种自然状态，事前虽难以肯定，但却可以预测其出现的概率。

第六章 系统分析


3. 数据字典的条目 数据字典中的条目有以下六种形式： (1) 数据项。是数据处理中基本的不可分割的逻辑单位。 (2) 数据结构。 用以描述数据流/数据存储的逻辑组成。 (3) 数据流。 (4) 数据存储。 (5) 处理功能。 (6) 外部实体。
6.3.3 功能分析
功能分析是对数据流程图中处理过程的功能作详细的说明。从逻辑上进行分析， 处理功能可归纳为三类，即数据的输入和输出处理、算术运算、逻辑判断。 常采用决策树、决策表及结构化语言等作为描述功能分析的工具。 1.决策树 决策树又称判定树，是一种呈树状的图形工具，适合于描述处理中具有 多种策略，要根据若干条件的判定，确定所采用策略的情况。左端圆圈为树 根表示决策结点；由决策结点引出的直线，形似树枝，称为条件技，每条树 枝代表一个条件；中间的圆圈称为条件结点；右端的实心圆表示决策结果。 决策树中条件结点以及每个结点所引出条件技的数量依具体问题而定。 决策树的优点是清晰、直观；缺点是当条件多，而且互相组合时，不容 易清楚地表达判断过程。
6.1.2 系统分析阶段的任务与团队
系统分析阶段的主要任务是要对现有系统进行详细调查，充分掌握现有系统的 作用环境和真实情况，完成用户需求分析，在此基础上建立新系统的逻辑 模型。
1. 系统分析师：他们的主要任务是研究用户对信息系统的需求；评价该企业开 发计算机化信息系统的可行性；进行系统分析与设计，负责对新系统的安 装、测试和技术文件的编写。 2. 业务人员：参与开发工作的业务人员，应当由来自企业信息系统部门的用户 代表组成，业务骨干且具备计算机知识。提出、解释和梳理用户的业务需 求，介绍业务流程含义，对原型评估和反馈。 3. 计算机技术专家：有些开发项目需要聘请专门的计算机技术专家参与系统分 析过程，如审计专家、通信专家、安全专家等，加强某些方面的设计。

数据仓库与数据挖掘技术 第六章 决策树

第6章决策树方法6.1信息论的基本原理6.1.1信息论原理6.1.2互信息的计算1. 定义2. 出现概率3. 条件概率4. 子集概率5. 子集条件概率6. 信息熵7. 互信息6.2常用决策树算法6.2.1ID3算法1. 基本思想数据仓库与数据挖掘技术图6-1ID3决策树2. 主算法数据仓库与数据挖掘技术图6-2ID3算法流程3. 建树算法4. 实例计算6.2.2C4.5算法1. 信息增益比例的概念2. 连续属性值的处理3. 未知属性值的处理4. 规则的产生5. 案例计算数据仓库与数据挖掘技术图6-3天气结点及其分支图6-4C4.5算法形成的决策树数据仓库与数据挖掘技术6.3决策树剪枝6.3.1先剪枝6.3.2后剪枝6.4由决策树提取分类规则6.4.1获得简单规则图6-5决策树6.4.2精简规则属性数据仓库与数据挖掘技术6.5利用SQL Server 2005进行决策树挖掘6.5.1数据准备6.5.2挖掘模型设置6.5.3挖掘流程图6-6选择数据挖掘技术数据仓库与数据挖掘技术图6-7选择数据源视图图6-8指定表类型数据仓库与数据挖掘技术图6-9指定定型数据图6-10指定列的内容和数据类型图6-11完成数据挖掘结构的创建数据仓库与数据挖掘技术6.5.4挖掘结果分析图6-12挖掘得到的“次级”决策树图6-13挖掘得到的依赖关系图数据仓库与数据挖掘技术图6-14“余额”结点的依赖关系图图6-15与“余额”结点链接强度最强结点示意图数据仓库与数据挖掘技术6.5.5挖掘性能分析图6-16列映射图数据仓库与数据挖掘技术图6-17属性“次级”的预测提升图习题61. 概率分布［0:0625;0:0625;0:125;0:5］的熵是多少？2. 汽车保险例子。

假定训练数据库具有两个属性: 年龄和汽车的类型。

年龄——序数分类。

汽车类型——分类属性。

类——L: 低(风险)，H: 高(风险)。

使用ID3算法做出它的决策树。

管理学课件第6章制定决策管理者工作的本质(Decision

Ø Assumptions are that decision makers:
v Will not seek out or have knowledge of all alternatives
v Will satisfice—choose the first alternative encountered that satisfactorily solves the problem—rather than maximize the outcome of their decision by considering all alternatives and choosing the best.
v Are perfectly rational, fully objective, and logical. v Have carefully defined the problem and identified all viable
alternatives. v Have a clear and specific goal v Will select the alternative that maximizes outcomes in the
• Choosing the best alternative
Ø The alternative with the highest total weight is chosen.
Step 7: Implementing the Alternative
• Putting the chosen alternative into action.
管理学课件第6章制定决策管理者工 作的本质(Decision
The Role of Intuition（直觉的作用）

管理信息系统第六章习题

第六章管理信息系统第六章习题6。

1 单项选择题6.1.1 表格分西图是( D ）。

a. 数据流程调查使用的工具b。

编程工具c。

系统设计工具d。

管理业务调查使用的工具6。

1.2 开发MIS的系统分析阶段的任务是（Aa。

完成新系统的逻辑设计 b. 完成新系统的功能分析c。

完成新系统的物理设计d。

完成新系统的数据分析6。

1.3 数据字典建立应从( B ）阶段开始.a. 系统设计b.系统分析c。

系统实施 d.系统规划6.1.4 对一个企业供户、存管理信息系统而言，（ B ）是外部实体。

a. 仓库b. 划科c. 供应科d。

销售科6.1。

5 数据流( A ）。

a. 也可以用来表示数据文件的存储操作b. 不可以用来表示数据文件的存储操作c. 必需流向外部实体d. 不应该仅是一项数据6。

1.6 管理业务流程图可用来描述（ C ）a. 处理功能b. 数据流程c. 作业顺序d. 功能结构6.1。

7 管理信息系统的开发过程不包含( A ）a。

设备设计过程b。

学习过程c。

人与人之间的对话过程d. 通过改革管理制度来适应信息系统的需要6.1。

8 决策树和决策表用来描述（Aa. 逻辑判断功能b. 决策过程c。

数据流程 d. 功能关系6。

1.9 表格分配图是系统分析阶段用来描述( A ）的。

a. 管理业务流程的图表b. 数据流程的图表c. 功能结构的图表d。

数据处理方式的图表6.1.10 工资系统中职工的“电费”数据（每月按表计费）具有（ Ca. 固定值属性b。

随机变动属性 c. 固定个体变动属性 d. 静态特性属性6.1。

11 数据流程图是描述信息系统的( Ca。

物理模型的主要工具 b. 优化模型的主要工具c. 逻辑模型的主要工具d。

决策模型的主要工具6。

1.12 在系统设计阶段，图6.1中的四种符号用于绘制( A ）a. 数据流程图b. 处理流程图c。

信息系统流程图d. 表格分配图图6.1 四种符号6。

1。

13 描述数据流程图的基本元素包括：( D ）a。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

6.1 决策树
从数据中生成分类器的一个特别有效的方 法是生成一个决策树。它是一种基于逻辑 的方法，通过一组输入-输出样本构建决策 树的有指导学习方法。 决策树包含属性已被检验的节点，一个节 点的输出分枝和该节点的所有可能的检验 结果相对应。
图7-2是一个简单的决策树。该问题有两个 属性X,Y。所有属性值X>1和Y>B的样本属 于类2。不论属性Y的值是多少，值X <1的 样本都属于类1。
6.2 C4.5算法：生成一个决策树
C4.5算法最重要的部分是由一组训练样本 生成一个初始决策树的过程。决策树可以 用来对一个新样本进行分类，这种分类从 该树的根节点开始，然后移动样本直至达 叶节点。在每个非叶决策点处，确定该节 点的属性检验结果，把注意力转移到所选 择子树的根节点上。
例如，如图7-3a为决策树分类模型，待分 类有样本如图7-3b所示，由决策树分类模 型可得出待分类样本为类2。(节点A,C,F(叶 节点))
该算法的关键性决策是对节点属性值的选 择。ID3和C4.5算法的属性选择的基础是 基于使节点所含的信息熵最小化。 基于信息论的方法坚持对数据库中一个样 本进行分类时所做检验的数量最小。ID3的 属性选择是根据一个假设，即：决策树的 复杂度和所给属性值表达的信息量是密切 相关的。基于信息的试探法选择的是可以 给出最高信息的属性，即这个属性是使样 本分类的结果子树所需的信息最小。
而C4.5算法选择{vi,vi+1}的最小值vi为阈值。 这确保出现结果中阈值属于数据库的一个 值。 对于上例，属性2的值的集合是: {65,70,75,78,80,85,90,95,96} 可能的阈值Z的集合是: {65,70,75,78,80,85,90,95}。 从这8个值里选择最优的阈值(最高信息增 益)，最优的Z=80。(如果计算?)
2.如果属性Y有连续的数值，通过将该值和阈 值Z比较，用输出Y≤Z和Y＞Z定义二元检验。 3.基于离散值的更复杂的检验，该检验中属 性的每个可能值被分配到许多易变的组中， 每组都有一个输出和分枝。 数值型属性检验： 对于属性Y，按训练样本进行分类，分类顺 序用{v1,v2,…,vm}表示，因此对Y仅有m-1个 分区，要系统在检查所有分区以求得最优 分区。通常选择区间的中点为阈值。
假设选择有n个输出(所给属性的n个 值)的检验，把训练样本集T分区成子 集T1,T2,…,Tn。仅有的指导信息是在 T和它的子集Ti中的类分布。 如果S是任意样本集，设freq(Ci,S)代 表S中属于Ci的样本数量，|S|表示集 合S中的样本数量。
ID3算法的属性选择的检验方法采用增益标 准，它基于信息论中熵的概念。 集合S的期望信息(熵)如下：
Gain(x3)=0.94-0=0.94 产生两个分枝为最终叶节点，分枝中的数据 子集属于同一类。
对根节点下的T3子集进行同样的计算，按 属性3=真和属性3=假检验，产生两个叶节 点。图7-5表示数据库T的最终决策树。
另外，决策树可以用可执行代码（或伪代码） 的形式表示。图7-6用伪代码给出了上面例 子的决策树。
除了考虑到仅有的几个有已知属性值的样 本，Info(T)和Infox(T)的计算和前面机相同。 然后可以用系数Ｆ合理地修正增益参数， 该系数表示所给属性已知的概率。 Ｆ＝数据库中一个给出的属性值具有已知 值的样本的数量/数据集中样本数量总和。 新的增益标准有以下形式： Gain(x)=F· (Info(T)-Infox(T)) 同样，通过把具有未知值的样本看作分区 的一个附加组可以修改Split-info(x) 。如果 检验x有n个输出， Split-info(x)按照检验把 数据集分区成n+1个子集计算。
3. T包含属于不同类的样本。这种情况 下，是把T精化成朝向一个单类样本 集的样本子集。根据某一属性，选择 具有一个或更多互斥的输出 {O1,O2,…,On}的合适检验。T被分区 成子集T1,T2,…,Tn。T的决策树包含 标识检验的一个决策点和每个可能输 出的一个分枝(如图7-3a中的A,B和C 节点)
6.3 未知属性值
C4.5算法的前一版本是基于所有属性值都 已确定这一假设。但是在一个数据库，经 常会缺少某些样本的一些属性。由于该属 性值与某个样本是不相关的，或搜集样本 时没有对它进行记录，或在数据录入时有 人为的误差，就可能出现属性值丢失的情 况。
解决丢失值问题的两种方法： 1.抛弃数据库中有丢失数据的样本。 2.定义一个新的算法或改进现有算法来处理 丢失的数据。 第一种解决方案很简单，但当样本集中存 在大量丢失值时不能采用这种方法。 在C4.5算法中,有未知值的样本是按照已知 值的相对频率随机分布的,这是普遍使用的 法则。
2.4/0.4
上图与图7-6结构相同，但是因为最终分类的 不明确性，每个决策都以形式(|Ti|/E)和两个参 数关联。|Ti|是到叶节点的部分样本和，E是属 于除了指定类以外的类的样本的数量。
对每个分枝重复上述步骤选择检验和最优 化过程。对于子节点T2子集，4个样本都是 类1，该节点是叶节点。
对于余下的节点，在T1中有5个样本，最优 检验有两个选择：属性2≤70和属性2＞70的 检验x4。 info(T1)=-2/5log2(2/5)-3/5log2(3/5) =0.940
infox4(T1)=2/5(-2/2log2(2/2)-0/2log2(0/2)) +3/5(-0/3log2(0/3)-3/3log2(3/3)) =0
info ( S ) (( freg (Ci , S ) / S ) log 2 ( freg (Ci , S ) / S ))
i 1 k
T被分区之后的一个相似度标准，T按照一 个属性检验X的几个输出进行分区。所需信 息为子集的熵的加权和:
info x (T ) ( Ti / T ) info (Ti ))
例如：一个改进了的C4.5决策树的方法。 数据集见表7-2。
该例有14个样本，属性1有一个丢失值，用 “?”表示。只有13个样本数据完整。 分区前的熵是： Info(T)=-8/13log2(8/13)-5/13log2(5/13) =0.961 属性1检验的信息： infox1(T)=5/13(-2/5log2(2/5)-3/5log2(3/5)) +3/13(-3/3log2(3/3)-0/3log2(0/3)) +5/13(-3/5log2(3/5)-2/5log2(2/5)) =0.747
增益标准对具有许多输出的检验有严重的偏 差，根据info(S)的定义，指定一个附加的参 数：
Split info ( X ) ((Ti / T ) log 2 (Ti / T ))
i 1 n
这表示通过把集T分区成n个子集Ti而生成的 潜在信息。现在，定义一个新的增益标准： Gain-radio(X)=gain(X)/Split-info(X)
对应属性2的检验3(属性2≤80和属性2＞80) 的信息增益计算：
infox3(T)=9/14(-7/9log2(7/9)-2/9log2(2/9)) +5/14(-2/5log2(2/5)-3/5log2(3/5)) =0.837
相应的增益: Gain(x3)=0.94-0.837=0.103 属性1的增益最高，选择该属性进行首次分 区。每个属性值具有一个分枝，产生3个分 枝，如图7-4所示.
C4.5算法的构架是基于亨特的CLS方法， 其通过一组训练样本T构造一个决策树。 用{C1,C2,…,CK}来表示这些类，集合T所 含的内容信息有3种可能性： 1. T包含一个或更多的样本，全部属于单个 的类Cj。那么T的决策树是由类Cj标识的一 个叶节点。 2. T不包含样本。决策树也是一个叶，但和 该叶关联的类由不同于T的信息决定，如T 中的绝大多数类。
相应的增益: Gain(x1)=0.94-0.694=0.246
按属性3分区可得子集的熵的加权和：
infox2(T)=6/14(-3/6log2(3/6)-3/6log2(3/6)) +8/14(-6/8log2(6/8)-2/8log2(2/8)) =0.892
相应的增益: Gain(x2)=0.94-0.892=0.048 由于属性2是数值型的连续数据，不能简 单按上面方式计算。下面先介绍一下C4.5 算法中一般包含3种类型的检验结构： 1.离散值的“标准”检验，对属性的每个可 能值有一个分枝和输出。
对于属性1的检验x1分区结果，丢失值的记 录将被表示在3个子集中。如图7-7所示。
因为最初的(旧的)w值等于1，新的权 值wi等于概率5/13,3/13,和5/13。在 C4.5中，Ti的算式如下： |T1|=5+5/13, |T2|=3+3/13, |T3|=5+5/13 对属性2和属性3检验分区，最终决策 树如图7-8中所示的形式。
对于树中的非叶节点，可以沿着分枝 继续分区样本，每一个节点得到它相 应的样本子集。 生成决策树的一个著名的算法是 Quinlan的ID3算法，C4.5是它改进版。
ID3算法的基本思路： 1. 从树的根节点处的所有训练样本开始，选 取一个属性来划分这些样本。对属性的每 一个值产生一分枝。分枝属性值的相应样 本子集被移到新生成的子节点上。 2. 这个算法递归地应用于每个子节点，直到 一个节点上的所有样本都分区到某个类中。 3. 到达决策树的叶节点的每条路径表示一个 分类规则。
另外，每个样本都有一个相关的新参数,即 概率。显然，当一个值已知的样本从T分配 给Ti时，它属于Ti的概率是1，属于其他所 有子集的概率是0。 当一值是未知时，只能得出不稳定的概率 描述。因此C4.5和每个子集Ti中的每个样本 是用权重w联系起来的，它表示属于每个子 集的样本概率。 为了使该解决方法更具一般性，必须认为 分区前样本的概率并不总是等于1。因此， 分区后丢失值的新参数wnew为： wnew=wold· P(Ti)
9个样本属于类1，5个属于类2，因此分区 前的熵为（基于类的熵计算） info(T)=-9/14log2(9/14)-5/14log2(5/14) =0.940 按属性1分区可得子集的熵的加权和：