盈亏平衡分析 某建筑工地需抽除积水保证施工顺利进行，现有A 、B 两个方案可供选择。 A 方案：新建一条动力线，需购置一台2.5W 电动机并线运转，其投资为1400元，第四年 末残值为200元，电动机每小时运行成本为0.84元，每年预计的维护费用120元， 因设备完全自动化无需专人看管。 B 方案：购置一台3.86KW 的（5马力）柴油机，其购置费用为550元，使用寿命为4年， 设备无残值。运行每小时燃料费为0.42元，平均每小时维护费为0.15元，每小 时的人工成本为0.8元。 若寿命都为4年，基准折现率为10％，试比较A 、B 方案的优劣。 解：两方案的总费用都与年开机小时数t 有关，故两方案的年成本均可表示t 的函数。 )4%,10,/(200)4%,10,/(1400F A P A C A -=t t 84.056.51884.0120+=++ t P A C B )8.015.042.0()4%,10,/(550+++= t 37.151.175+= 令C A =C B ，即518.56+0.84t=173.51+1.37t 可解出：t =651(h),所以在t =651h 这一点上， C A =C B =1065.4（元） A 、 B 两方案的年成本函数如图13所示。从图中可见，当年开机小时数低于651h ，选B 方案有利；当年开机小时数高于651h 则选A 方案有利。 图13 A 、B 方案成本函数曲线
决策树问题 55.某建筑公司拟建一预制构件厂，一个方案是建大厂，需投资300万元，建成后如销路 好每年可获利100万元，如销路差，每年要亏损20万元，该方案的使用期均为10年； 另一个方案是建小厂，需投资170万元，建成后如销路好，每年可获利40万元，如销路差每年可获利30万元；若建小厂，则考虑在销路好的情况下三年以后再扩建，扩建投资130万元，可使用七年，每年盈利85万元。假设前3年销路好的概率是0.7，销路差的概率是0.3，后7年的销路情况完全取决于前3年；试用决策树法选择方案。 决策树图示 考虑资金的时间价值，各点益损期望值计算如下： 点①：净收益＝[100×(P/A，10％，10)×0.7+(-20)×（P/A，10％，10）×0.3]-300=93.35(万元) 点③：净收益＝85×(P/A，10％，7)×1.0-130=283.84(万元) 点④：净收益＝40×(P/A，10％，7)×1.0=194.74(万元) 可知决策点Ⅱ的决策结果为扩建，决策点Ⅱ的期望值为283.84+194.74＝478.58（万元）点②:净收益＝（283.84+194.74）×0.7+40×(P/A，10％，3)×0.7+30×(P/A，10％，10)×0.3-170＝345.62（万元） 由上可知，最合理的方案是先建小厂，如果销路好，再进行扩建。在本例中，有两个决策点Ⅰ和Ⅱ，在多级决策中，期望值计算先从最小的分枝决策开始，逐级决定取舍到决策能选定为止。 56.某投资者预投资兴建一工厂，建设方案有两种：①大规模投资300万元；②小规模投 资160万元。两个方案的生产期均为10年，其每年的损益值及销售状态的规律见表15。 试用决策树法选择最优方案。 表15 各年损益值及销售状态
R语言-决策树算法
决策树算法 决策树定义 首先，我们来谈谈什么是决策树。我们还是以鸢尾花为例子来说明这个问题。 观察上图，我们判决鸢尾花的思考过程可以这么来描述：花瓣的长度小于 2.4cm的是setosa(图中绿色的分类)，长度大于1cm的呢?我们通过宽度来判别，宽度小于1.8cm的是versicolor(图中红色的分类)，其余的就是 virginica(图中黑色的分类) 我们用图形来形象的展示我们的思考过程便得到了这么一棵决策树： 这种从数据产生决策树的机器学习技术叫做决策树学习, 通俗点说就是决策树，说白了，这是一种依托于分类、训练上的预测树，根据已知预测、归类未来。 前面我们介绍的k-近邻算法也可以完成很多分类任务，但是他的缺点就是含义不清，说不清数据的内在逻辑，而决策树则很好地解决了这个问题，他十分好理解。从存储的角度来说，决策树解放了存储训练集的空间，毕竟与一棵树的存储空间相比，训练集的存储需求空间太大了。 决策树的构建 一、KD3的想法与实现 下面我们就要来解决一个很重要的问题：如何构造一棵决策树?这涉及十分有趣的细节。 先说说构造的基本步骤，一般来说，决策树的构造主要由两个阶段组成:第一阶段，生成树阶段。选取部分受训数据建立决策树，决策树是按广度优先建立直到每个叶节点包括相同的类标记为止。第二阶段，决策树修剪阶段。用剩余数据检验决策树，如果所建立的决策树不能正确回答所研究的问题，我们要对决策树进行修剪直到建立一棵正确的决策树。这样在决策树每个内部节点处进行属性值的比较，在叶节点得到结论。从根节点到叶节点的一条路径就对应着一条规则，整棵决策树就对应着一组表达式规则。 问题：我们如何确定起决定作用的划分变量。 我还是用鸢尾花的例子来说这个问题思考的必要性。使用不同的思考方式，我们不难发现下面的决策树也是可以把鸢尾花分成3类的。 为了找到决定性特征，划分出最佳结果，我们必须认真评估每个特征。通常划分的办法为信息增益和基尼不纯指数，对应的算法为C4.5和CART。 关于信息增益和熵的定义烦请参阅百度百科，这里不再赘述。 直接给出计算熵与信息增益的R代码：
注意答卷要求： 1．统一代号：P 为利润，C 为成本，Q 为收入，EP 为期望利润 2．画决策树时一定按照标准的决策树图形画，不要自创图形 3．决策点和状态点做好数字编号 4．决策树上要标出损益值 某企业似开发新产品，现在有两个可行性方案需要决策。 I 开发新产品A ，需要追加投资180万元，经营期限为5年。此间，产品销路好可获利170万元；销路一般可获利90万元；销路差可获利-6万元。三种情况的概率分别为30%，50%，20%。 II.开发新产品B ，需要追加投资60万元，经营期限为4年。此间，产品销路好可获利100万元；销路一般可获利50万元；销路差可获利20万元。三种情况的概率分别为60%，30%，10%。 （1）画出决策树 销路好 0.3 170 90 -6 100 50 20
（2）计算各点的期望值，并做出最优决策 求出各方案的期望值： 方案A=170×0.3×5+90×0.5×5+(-6)×0.2×5=770(万元) 方案B=100×0.6×4+50×0.3×4+20×0.1×4=308(万元) 求出各方案的净收益值： 方案A=770-180=590(万元) 方案B=308-60=248(万元) 因为590大于248大于0 所以方案A最优。 某企业为提高其产品在市场上的竞争力，现拟定三种改革方案：（1）公司组织技术人员逐渐改进技术，使用期是10年；（2）购买先进技术，这样前期投入相对较大，使用期是10年；（3）前四年先组织技术人员逐渐改进，四年后再决定是否需要购买先进技术，四年后买入技术相对第一年便宜一些，收益与前四年一样。预计该种产品前四年畅销的概率为0.7，滞销的概率为0.3。如果前四年畅销，后六年畅销的概率为0.9；若前四年滞销，后六年滞销的概率为0.1。相关的收益数据如表所示。 （1）画出决策树 （2）计算各点的期望值，并做出最优决策 投资收益 表单位：万元 解（1）画出决策树，R为总决策，R1为二级决策。
17秋学期（1709）《经管学》在线作业一 一、单选题（共30道试卷，共60分。）1.（C）是进行组织设计的基本出发点。 A. 人员配备 B. 组织文化 C. 组织目标 D. 组织结构满分：2分2.领导的特质理论告诉我们. A A. 领导是天生的 B. 领导的行为决定了领导才能 C. 下属的服从是领导之所以为领导的关键 D. 领导行为是可以模仿的满分：2分3.决策方法中的“硬技术”是指（A）。 A. 计量决策方法 B. 专家意见法 C. 定性决策法 D. 决策树法满分：2分4.（B ）是指企业经管系统随着企业内外部环境的变化，而不断更新自己的经营理念、经营方针和经营目标，为达此目的，必须相应的改变有关的经管方法和手段，使其与企业的经营目标相适应。 A. 激励原理 B. 动态原理 C. 创新原理 D. 可持续发展原理满分：2分5.被称为“科学经管之父”的经管学家是（A）。 A. 泰勒 B. 法约尔 C. 德鲁克 D. 西蒙满分：2分6.现在很多大公司都实行所谓的“门户开放”政策（比如IBM），即鼓励各级员工通过多种途径直接向公司高层领导反映意见、提出建议，公司总裁也会设立专门的信箱，以接收这些意见或者抱怨。这里的沟通渠道可以看成是一种（B）。 A. 下行沟通 B. 上行沟通 C. 对角沟通 D. 横向沟通满分：2分7.非程序化决策往往是有关企业重大战略问题的决策，主要由（B）承担。 A. 一线工人 B. 上层经管人员 C. 中层经管人员 D. 低层经管人员满分：2分8.下面关于内部招聘的说法不正确的是（B）。 A. 内部员工的竞争结果必然有胜有败，可能影响组织的内部团结。 B. 内部招聘人员筛选难度大，成本高。 C. 可能在组织中滋生“小集团”，削弱组织效能。 D. 组织内的“近亲繁殖”现象，可能不利于个体创新。满分：2分9.（D）是指依靠企业各级行政组织的法定权力，通过命令、指示、规定、制度、规范以及具有约束性的计划等行政手段来经管企业的方法。 A. 教育方法 B. 经济方法 C. 法制方法 D. 行政方法满分：2分10.目标经管的提出者是（C）。 A. 泰罗 B. 法约尔 C. 德鲁克 D. 巴纳德满分：2分11.解决复杂问题应采用的沟通方式是（D）。 A. 链式 B. 轮式 C. 环式 D. 全通道式满分：2分12.（D）就是对一系列典型的事物进行观察分析，找出各种因素之间的因果关系，从中找出事物发展变化的一般规律，这种从典型到一般的研究方法也称为实证研究。 A. 演绎法 B. 调查法 C. 实验法 D. 归纳法满分：2分13.泰罗经管理论的代表着作是（B）。
注意答卷要求： 欧阳光明（2021.03.07） 1．统一代号：P为利润，C为成本，Q为收入，EP为期望利润2．画决策树时一定按照标准的决策树图形画，不要自创图形3．决策点和状态点做好数字编号 4．决策树上要标出损益值 某企业似开发新产品，现在有两个可行性方案需要决策。 I开发新产品A，需要追加投资180万元，经营期限为5年。此间，产品销路好可获利170万元；销路一般可获利90万元；销路差可获利-6万元。三种情况的概率分别为30%，50%，20%。 II.开发新产品B，需要追加投资60万元，经营期限为4年。此间，产品销路好可获利100万元；销路一般可获利50万元；销路差可获利20万元。三种情况的概率分别为60%，30%，10%。 （1）画出决策树
（2）计算各点的期望值，并做出最优决策 求出各方案的期望值： 方案A=170×0.3×5+90×0.5×5+(-6)×0.2×5=770(万元) 方案B=100×0.6×4+50×0.3×4+20×0.1×4=308(万元) 求出各方案的净收益值： 方案A=770-180=590(万元) 方案B=308-60=248(万元) 因为590大于248大于0 所以方案A 最优。 某企业为提高其产品在市场上的竞争力，现拟定三种改革方案：（1）公司组织技术人员逐渐改进技术，使用期是10年；（2）购 销路好 0.3 170 90 -6 100 50 20
买先进技术，这样前期投入相对较大，使用期是10年；（3）前四年先组织技术人员逐渐改进，四年后再决定是否需要购买先进技术，四年后买入技术相对第一年便宜一些，收益与前四年一样。预计该种产品前四年畅销的概率为0.7，滞销的概率为0.3。如果前四年畅销，后六年畅销的概率为0.9；若前四年滞销，后六年滞销的概率为0.1。相关的收益数据如表所示。 （1）画出决策树 （2）计算各点的期望值，并做出最优决策 投资收益表单位：万元 解（1）画出决策树，R为总决策，R1为二级决策。
3.1 分类与决策树概述 3.1.1 分类与预测 分类是一种应用非常广泛的数据挖掘技术，应用的例子也很多。例如，根据信用卡支付历史记录，来判断具备哪些特征的用户往往具有良好的信用；根据某种病症的诊断记录，来分析哪些药物组合可以带来良好的治疗效果。这些过程的一个共同特点是：根据数据的某些属性，来估计一个特定属性的值。例如在信用分析案例中，根据用户的“年龄”、“性别”、“收入水平”、“职业”等属性的值，来估计该用户“信用度”属性的值应该取“好”还是“差”，在这个例子中，所研究的属性“信用度”是一个离散属性，它的取值是一个类别值，这种问题在数据挖掘中被称为分类。 还有一种问题，例如根据股市交易的历史数据估计下一个交易日的大盘指数，这里所研究的属性“大盘指数”是一个连续属性，它的取值是一个实数。那么这种问题在数据挖掘中被称为预测。 总之，当估计的属性值是离散值时，这就是分类；当估计的属性值是连续值时，这就是预测。 3.1.2 决策树的基本原理 1.构建决策树 通过一个实际的例子，来了解一些与决策树有关的基本概念。 表3-1是一个数据库表，记载着某银行的客户信用记录，属性包括“姓名”、“年龄”、“职业”、“月薪”、......、“信用等级”，每一行是一个客户样本，每一列是一个属性（字段）。这里把这个表记做数据集D。 银行需要解决的问题是，根据数据集D，建立一个信用等级分析模型，并根据这个模型，产生一系列规则。当银行在未来的某个时刻收到某个客户的贷款申请时，依据这些规则，可以根据该客户的年龄、职业、月薪等属性，来预测其信用等级，以确定是否提供贷款给该用户。这里的信用等级分析模型，就可以是一棵决策树。在这个案例中，研究的重点是“信用等级”这个属性。给定一个信用等级未知的客户，要根据他/她的其他属性来估计“信用等级”的值是“优”、“良”还是“差”，也就是说，要把这客户划分到信用等级为“优”、“良”、“差”这3个类别的某一类别中去。这里把“信用等级”这个属性称为“类标号属性”。数据集D中“信用等级”属性的全部取值就构成了类别集合：Class={“优”，
3.1分类与决策树概述 3.1.1分类与预测 分类是一种应用非常广泛的数据挖掘技术，应用的例子也很多。例如，根据信用卡支付历史记录，来判断具备哪些特征的用户往往具有良好的信用；根据某种病 症的诊断记录，来分析哪些药物组合可以带来良好的治疗效果。这些过程的一个共同特点是：根据数据的某些属性，来估计一个特定属性的值。例如在信用分析案例中，根据用户的“年龄”、“性别”、“收入水平”、“职业”等属性的值，来估计该用户“信用度”属性的值应该取“好”还是“差”，在这个例子中，所研究的属性“信用度”是E—个离散属性，它的取值是一个类别值，这种问题在数 据挖掘中被称为分类。 还有一种问题，例如根据股市交易的历史数据估计下一个交易日的大盘指数，这 里所研究的属性“大盘指数”是一个连续属性，它的取值是一个实数。那么这种 问题在数据挖掘中被称为预测。 总之，当估计的属性值是离散值时，这就是分类；当估计的属性值是连续值时，这就是预测。 3.1.2决策树的基本原理 1. 构建决策树 通过一个实际的例子，来了解一些与决策树有关的基本概念。 表3-1是一个数据库表，记载着某银行的客户信用记录，属性包括“姓名”、“年龄”、“职业”、“月薪”、......、“信用等级”，每一行是一个客户样本，每一列是一个属性（字段）。这里把这个表记做数据集D。 银行需要解决的问题是，根据数据集D,建立一个信用等级分析模型，并根据这个模型，产生一系列规则。当银行在未来的某个时刻收到某个客户的贷款申请时，依据这些规则，可以根据该客户的年龄、职业、月薪等属性，来预测其信用等级，以确定是否提供贷款给该用户。这里的信用等级分析模型，就可以是一棵决策树。在这个案例中，研究的重点是“信用等级”这个属性。给定一个信用等级未知的客户，要根据他/她的其他属性来估计“信用等级”的值是“优”、“良”还是 “差”，也就是说，要把这客户划分到信用等级为“优”、“良”、“差”这3 个类别的某一类别中去。这里把“信用等级”这个属性称为“类标号属性”。数据集D中“信用等级”属性的全部取值就构成了类别集合：Class={ “优”，
决策树 1. 原理 1.1 模型简介 决策树是一种基本的回归和分类算法。在分类问题中，可以认为是一系列if-then 规则的几何。决策树学通常包括三个步骤：特征选择，决策树的生成，决策树的修剪。 定义：决策树由结点和有向边组成，内部节点表示一个特征和属性，叶子结点表示一个类。 性质：决策树路径（或者对应的if-then 规则）具有互斥且完备性：每一个实例都被一条路径或规则所覆盖，而且只被这条路径或规则所覆盖。 决策树学习：能够正确对数据集进行分类的决策树可能有多个，也可能一个也没有，我们的目的是找到一个与训练数据集矛盾较小的，同时具有很好泛化能力的决策树。 特征选择：一种是在决策树学习开始的时候，对特征进行选择，只留下对训练数据有足够分类能力的特征，一种是在学习过程中对训练数据分割成自己的时候，选择最优的特征进行分割。 决策树生成：一般这是一个递归的规程。 决策树的剪枝：提高决策树的泛化能力。 1.2 特征选择 特征选择的准则一般是：信息增益和信息增益比 1.2.1 信息增益 a.信息增益：信息增益大的特征具有更强的分类能力，即选择信息增益值大的特征作为最优特征。 b.信息熵：表示变量的不确定性（在得知特征X 的信息时，使得Y 的信息不确定性减少的程度），熵越大，变量的不确定性越大。设X 是一个取有限值的离散型随机变量，其概率分布为： ()i i p X x p == 则随机变量X 的熵定义为：
1()log n i i i H X p p ==-∑ 注：若p i =0,定义0log 00=。其中若对数以2为底，熵的单位称为比特，若以e 为底，单位称为纳特。 c.条件熵：随机变量X 在给定条件下随机变量Y 的条件熵H （Y|X ）表示：X 给定条件下Y 的条件概率分布的熵 关于X 的数学期望： 1(|)(|)n i i i H Y X p H Y X x ===∑ 其中，()i i p X x p ==。 当熵和条件熵有数据估计（特别是极大似然估计）得到时，被分别称为经验熵和经验条件熵。 信息增益： 特征A 对训练数据集D 的信息增益g(D|A)定义为： (,)()(|)g D A H D H D A =- 其中，()H D 为集合D 的经验熵，(|)H D A 为特征A 给定条件下D 的经验条件熵。 d.信息增益的计算方法。 设： 训练数据集D ，个数为|D|。 K 个类，分别为C k..每个类内个数|C k | 根据特征A ，能够将训练集划分为n 个子集：D 1，D 2，…D n 。|D I |为该子集的样本个数。 子集D i 中属于类C k 的个数|D ik |。 则计算信息增益的公式为： 数据集D 的信息熵： i 1||||()log()||||k K K C C H D D D ==-∑ 特征A 对数据集D 的经验条件熵： 111||||||||(|)()log()||||||||n n K i i ik ik i i i k i i D D D D H D A H D D D D D =====∑∑∑ 注：此公式意义：在特征A 作用下，将数据集D 分为多个D i 。这时关于D 的熵等于关于D i 熵的均值。 计算信息增益。
盈亏平衡分析 某建筑工地需抽除积水保证施工顺利进行，现有A 、B 两个方案可供选择。 A 方案：新建一条动力线，需购置一台2.5W 电动机并线运转，其投资为1400元，第四年 末残值为200元，电动机每小时运行成本为0.84元，每年预计的维护费用120元，因设备完全自动化无需专人看管。 B 方案：购置一台3.86KW 的（5马力）柴油机，其购置费用为550元，使用寿命为4年， 设备无残值。运行每小时燃料费为0.42元，平均每小时维护费为0.15元，每小时的人工成本为0.8元。 若寿命都为4年，基准折现率为10％，试比较A 、B 方案的优劣。 解：两方案的总费用都与年开机小时数t 有关，故两方案的年成本均可表示t 的函数。 )4%,10,/(200)4%,10,/(1400F A P A C A -=t t 84.056.51884.0120+=++ t P A C B )8.015.042.0()4%,10,/(550+++= t 37.151.175+= 令C A =C B ，即518.56+0.84t=173.51+1.37t 可解出：t =651(h),所以在t =651h 这一点上， C A =C B =1065.4（元） A 、 B 两方案的年成本函数如图13所示。从图中可见，当年开机小时数低于651h ，选B 方案有利；当年开机小时数高于651h 则选A 方案有利。 图13 A 、B 方案成本函数曲 线
决策树问题 55.某建筑公司拟建一预制构件厂，一个方案是建大厂，需投资300万元，建成后如销路 好每年可获利100万元，如销路差，每年要亏损20万元，该方案的使用期均为10年； 另一个方案是建小厂，需投资170万元，建成后如销路好，每年可获利40万元，如销路差每年可获利30万元；若建小厂，则考虑在销路好的情况下三年以后再扩建，扩建投资130万元，可使用七年，每年盈利85万元。假设前3年销路好的概率是0.7，销路差的概率是0.3，后7年的销路情况完全取决于前3年；试用决策树法选择方案。 决策树图示 考虑资金的时间价值，各点益损期望值计算如下： 点①：净收益＝[100×(P/A，10％，10)×0.7+(-20)×（P/A，10％，10）×0.3]-300=93.35(万元) 点③：净收益＝85×(P/A，10％，7)×1.0-130=283.84(万元) 点④：净收益＝40×(P/A，10％，7)×1.0=194.74(万元) 可知决策点Ⅱ的决策结果为扩建，决策点Ⅱ的期望值为283.84+194.74＝478.58（万元）点②:净收益＝（283.84+194.74）×0.7+40×(P/A，10％，3)×0.7+30×(P/A，10％，10)×0.3-170＝345.62（万元） 由上可知，最合理的方案是先建小厂，如果销路好，再进行扩建。在本例中，有两个决策点Ⅰ和Ⅱ，在多级决策中，期望值计算先从最小的分枝决策开始，逐级决定取舍到决策能选定为止。 56.某投资者预投资兴建一工厂，建设方案有两种：①大规模投资300万元；②小规模投 资160万元。两个方案的生产期均为10年，其每年的损益值及销售状态的规律见表15。 试用决策树法选择最优方案。 表15 各年损益值及销售状态
项目6 决策树和决策规则 6.1 实验目的 （1）掌握使用决策树进行分类决策的操作方法，并学会对结果进行解释、提取合理的分类规则； （2）理解决策树模型相对于其他预测模型（如神经网络）的优势所在，如它的决策模型可以为自然语言构成的规则或为逻辑陈述； （3）了解较为流行的决策树模型的不同特征，如CHAID和CART； （4）了解决策树模型中的替代规则对于处理缺失值的优势，掌握操作方法； （5）学会使用决策树模型进行变量选择。 6.2 实验原理 数据库内容丰富，蕴藏大量信息，可以用来作出智能的决策。分类和预测是数据分析的两种形式，可以用来提取描述重要数据类的模型或预测未来的数据趋势。分类是预测分类标号，而预测建立连续值函数模型。在本章中，我们将学习利用决策树进行数据分类的技术。 决策树是一个类似于流程图的树结构，其中每个内部节点表示在一个属性上的测试，每个分枝代表一个测试输出，而每个树叶节点代表类或类分布。树的最顶层节点是根节点。有些决策树算法只产生二叉树，而另一些决策树算法可以产生非二叉树。 对于一个需要进行分类的数据，我们可以利用该数据的各个属性的值，在决策树的包括根节点在内的节点上对相应的数据的属性进行测试，这样就形成了一条由顶到底的或从根节点到某个叶子节点的路径。该数据所到达的叶子节点给出了该数据所应归属的类。 决策树容易转换成为分类规则。我们可以根据需要分类的数据在决策树中所经过的所有可能的路径得到一组分类规则，并利用分类规则对数据进行分类。 决策树的构造不需要任何领域知识或参数设置，因此适合于探测式知识发现。决策树可以处理高维数据。获取的知识用树的形式表示是直观的，并且容易理解。 决策树建立时，许多分枝可能反映的是训练数据中的噪声或离群点。树剪枝试图识别并剪去这种分枝，以提高对未知数据分类的准确性。 6.2.1 决策树归纳 目前比较有名的决策树算法大概有上百种，其中，最有影响的当属ID3、C4.5、C5.0，
. 注意答卷要求： EP为期望利润P1．统一代号：为利润，C为成本，Q为收入，2．画决策树时一定按照标准的决策树图形画，不要自创图形 3．决策点和状态点做好数字编号．决策树上要标出损益值4 某企业似开发新产品，现在有两个可行性方案需要决策。年。此间，产品销路好5I开发新产品A，需要追加投资180万元，经营期限为万元。三种情况的90可获利170万元；销路一般可获利万元；销路差可获利-6 概率分别为30%，50%，20%。年。此间，产品销路好开发新产品B，需要追加投资万元，经营期限为460II.三种情况的万元。万元；销路差可获利2050可获利100万元；销路一般可获利，10%。，概率分别为60%30%（1）画出决策树0.3 销路好 170 0.5销路一90 2 0.1 销路差-6 A 开发产品1 0.6 销路好 100 B 开发产品0.3 销路一般 3 50 0.1
销路差 20 4 / 1 . （2）计算各点的期望值，并做出最优决策 求出各方案的期望值： 方案A=170×0.3×5+90×0.5×5+(-6)×0.2×5=770(万元) 方案B=100×0.6×4+50×0.3×4+20×0.1×4=308(万元) 求出各方案的净收益值： 方案A=770-180=590(万元) 方案B=308-60=248(万元) 因为590大于248大于0 所以方案A最优。 某企业为提高其产品在市场上的竞争力，现拟定三种改革方案：（1）公司组织技术人员逐渐改进技术，使用期是10年；（2）购买先进技术，这样前期投入相对较大，使用期是10年；（3）前四年先组织技术人员逐渐改进，四年后再决定是否需要购买先进技术，四年后买入技术相对第一年便宜一些，收益与前四年一样。预计该种产品前四年畅销的概率为0.7，滞销的概率为0.3。如果前四年畅销，后六年畅销的概率为0.9；若前四年滞销，后六年滞销的概率为0.1。相关的收益数据如表所示。 （1）画出决策树 （2）计算各点的期望值，并做出最优决策 投资收益 为总决策，）画出决策树，1（解 RR1为二级决策。 4 / 2
决策树研发二部
目录 1. 算法介绍 (1) 1.1.分支节点选取 (1) 1.2.构建树 (3) 1.3.剪枝 (10) 2. sk-learn中的使用 (12) 3. sk-learn中源码分析 (13)
1.算法介绍 决策树算法是机器学习中的经典算法之一，既可以作为分类算法，也可以作为回归算法。决策树算法又被发展出很多不同的版本，按照时间上分，目前主要包括，ID3、C4.5和CART版本算法。其中ID3版本的决策树算法是最早出现的，可以用来做分类算法。C4.5是针对ID3的不足出现的优化版本，也用来做分类。CART也是针对ID3优化出现的，既可以做分类，可以做回归。 决策树算法的本质其实很类似我们的if-elseif-else语句，通过条件作为分支依据，最终的数学模型就是一颗树。不过在决策树算法中我们需要重点考虑选取分支条件的理由，以及谁先判断谁后判断，包括最后对过拟合的处理，也就是剪枝。这是我们之前写if语句时不会考虑的问题。 决策树算法主要分为以下3个步骤： 1.分支节点选取 2.构建树 3.剪枝 1.1.分支节点选取 分支节点选取，也就是寻找分支节点的最优解。既然要寻找最优，那么必须要有一个衡量标准，也就是需要量化这个优劣性。常用的衡量指标有熵和基尼系数。 熵：熵用来表示信息的混乱程度，值越大表示越混乱，包含的信息量也就越多。比如，A班有10个男生1个女生，B班有5个男生5个女生，那么B班的熵值就比A班大，也就是B班信息越混乱。 基尼系数：同上，也可以作为信息混乱程度的衡量指标。
有了量化指标后，就可以衡量使用某个分支条件前后，信息混乱程度的收敛效果了。使用分支前的混乱程度，减去分支后的混乱程度，结果越大，表示效果越好。 #计算熵值 def entropy(dataSet): tNum = len(dataSet) print(tNum) #用来保存标签对应的个数的，比如,男：6，女：5 labels = {} for node in dataSet: curL = node[-1] #获取标签 if curL not in labels.keys(): labels[curL] = 0 #如果没有记录过该种标签，就记录并初始化为0 labels[curL] += 1 #将标签记录个数加1 #此时labels中保存了所有标签和对应的个数 res = 0 #计算公式为-p*logp，p为标签出现概率 for node in labels: p = float(labels[node]) / tNum res -= p * log(p, 2) return res #计算基尼系数 def gini(dataSet): tNum = len(dataSet) print(tNum) # 用来保存标签对应的个数的，比如,男：6，女：5 labels = {} for node in dataSet: curL = node[-1] # 获取标签 if curL not in labels.keys(): labels[curL] = 0 # 如果没有记录过该种标签，就记录并初始化为0 labels[curL] += 1 # 将标签记录个数加1 # 此时labels中保存了所有标签和对应的个数 res = 1
决策树决策树研发二部
目录 1. 算法介绍 (1) 1.1. 分支节点选取 (1) 1.2. 构建树 (3) 1.3. 剪枝 (10) 2. sk-learn 中的使用 (12) 3. sk-learn中源码分析 (13)
1. 算法介绍 决策树算法是机器学习中的经典算法之一，既可以作为分类算法，也可以作 为回归算法。决策树算法又被发展出很多不同的版本，按照时间上分，目前主要包括，ID3、C4.5和CART版本算法。其中ID3版本的决策树算法是最早出现的，可以用来做分类算法。C4.5是针对ID3的不足出现的优化版本，也用来做分类。CART也是针对 ID3优化出现的，既可以做分类，可以做回归。 决策树算法的本质其实很类似我们的if-elseif-else语句，通过条件作为分支依据，最终的数学模型就是一颗树。不过在决策树算法中我们需要重点考虑选取分支条件的理由，以及谁先判断谁后判断，包括最后对过拟合的处理，也就是剪枝。这是我们之前写if语句时不会考虑的问题。 决策树算法主要分为以下3个步骤： 1. 分支节点选取 2. 构建树 3. 剪枝 1.1. 分支节点选取 分支节点选取，也就是寻找分支节点的最优解。既然要寻找最优，那么必须要有一个衡量标准，也就是需要量化这个优劣性。常用的衡量指标有熵和基尼系数。 熵：熵用来表示信息的混乱程度，值越大表示越混乱，包含的信息量也就越多。比如，A班有10个男生1个女生，B班有5个男生5个女生，那么B班的熵值就比A班大，也就是B班信息越混乱。 Entropy = -V p ” 基尼系数：同上，也可以作为信息混乱程度的衡量指标。 Gini = 1 - p： l-L
决策树分类算法 决策树是一种用来表示人们为了做出某个决策而进行的一系列判断过程的树形图。决策树方法的基本思想是：利用训练集数据自动地构造决策树，然后根据这个决策树对任意实例进行判定。 1．决策树的组成 决策树的基本组成部分有：决策节点、分支和叶，树中每个内部节点表示一个属性上的测试，每个叶节点代表一个类。图1就是一棵典型的决策树。 图1 决策树 决策树的每个节点的子节点的个数与决策树所使用的算法有关。例如，CART算法得到的决策树每个节点有两个分支，这种树称为二叉树。允许节点含有多于两个子节点的树称为多叉树。 下面介绍一个具体的构造决策树的过程，该方法
是以信息论原理为基础，利用信息论中信息增益寻找数据库中具有最大信息量的字段，建立决策树的一个节点，然后再根据字段的不同取值建立树的分支，在每个分支中重复建立树的下层节点和分支。 ID3算法的特点就是在对当前例子集中对象进行分类时，利用求最大熵的方法，找出例子集中信息量（熵）最大的对象属性，用该属性实现对节点的划分，从而构成一棵判定树。 首先，假设训练集C 中含有P 类对象的数量为p ，N 类对象的数量为n ，则利用判定树分类训练集中的对象后，任何对象属于类P 的概率为p/(p+n)，属于类N 的概率为n/(p+n)。 当用判定树进行分类时，作为消息源“P ”或“N ”有关的判定树，产生这些消息所需的期望信息为： n p n log n p n n p p log n p p )n ,p (I 22++-++- = 如果判定树根的属性A 具有m 个值｛A 1, A 2, …, A m ｝，它将训练集C 划分成｛C 1, C 2, …, C m ｝，其中A i 包括C 中属性A 的值为A i 的那些对象。设C i 包括p i 个类P 对象和n i 个类N 对象，子树C i 所需的期望信息是I(p i , n i )。以属性A 作为树根所要求的期望信息可以通过加权平均得到
机器学习CART算法 导读：人工智能机器学习有关算法内容，今天我们重点探讨一下CART算法。继上两篇决策树算法之ID3算法和ID3的改进算法－C4．5算法后，本文继续讨论另一种二分决策树算法－CART算法。我们知道十大机器学习中决策树算法占有两席位置，即C4．5算法和CART算法，可见CART算法的重要性。下面重点介绍CART算法。 不同于ID3与C4．5，CART为一种二分决策树，是满二叉树。CART算法由Breiman等人在1984 年提出，它采用与传统统计学完全不同的方式构建预测准则，它是以二叉树的形式给出，易于理解、使用和解释。由CART 模型构建的预测树在很多情况下比常用的统计方法构建的代数学预测准则更加准确，且数据越复杂、变量越多，算法的优越性就越显著。 CART算法既可用于分类也可用于回归。CART算法被称为数据挖掘领域内里程碑式的算法。 CART算法概念：CART（ClassificaTIon andRegression Tree）分类回归树是一种决策树构建算法。CART是在给定输入随机变量X条件下输出随机变量Y的条件概率分布的学习方法。CART假设决策树是二叉树，内部结点特征的取值为是和否，左分支是取值为是的分支，右分支是取值为否的分支。这样的决策树等价于递归地二分每个特征，将输入空间即特征空间划分为有限个单元，并在这些单元上确定预测的概率分布，也就是在输入给定的条件下输出的条件概率分布。 CART算法既可以处理离散型问题，也可以处理连续型问题。这种算法在处理连续型问题时，主要通过使用二元切分来处理连续型变量，即特征值大于某个给定的值就走左子树，或者就走右子树。 CART算法组成：1）决策树生成：基于训练数据集生成决策树，生成的决策树要尽量大；自上而下从根开始建立节点，在每个节点处要选择一个最好（不同算法使用不同指标来定义＂最好＂）的属性来分裂，使得子节点中的训练数据集尽量的纯。
管理学决策树习题及答案-标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII
注意答卷要求： 1．统一代号：P为利润，C为成本，Q为收入，EP为期望利润 2．画决策树时一定按照标准的决策树图形画，不要自创图形 3．决策点和状态点做好数字编号 4．决策树上要标出损益值 某企业似开发新产品，现在有两个可行性方案需要决策。 I开发新产品A，需要追加投资180万元，经营期限为5年。此间，产品销路好可获利170万元；销路一般可获利90万元；销路差可获利-6万元。三种情况的概率分别为30%，50%，20%。 II.开发新产品B，需要追加投资60万元，经营期限为4年。此间，产品销路好可获利100万元；销路一般可获利50万元；销路差可获利20万元。三种情况的概率分别为60%，30%，10%。 （1）画出决策树
（2）计算各点的期望值，并做出最优决策 求出各方案的期望值： 方案A=170×0.3×5+90×0.5×5+(-6)×0.2×5=770(万元) 方案B=100×0.6×4+50×0.3×4+20×0.1×4=308(万元) 求出各方案的净收益值： 方案A=770-180=590(万元) 方案B=308-60=248(万元) 因为590大于248大于0 所以方案A 最优。 170 90 -6 100 50 20
某企业为提高其产品在市场上的竞争力，现拟定三种改革方案：（1）公司组织技术人员逐渐改进技术，使用期是10年；（2）购买先进技术，这样前期投入相对较大，使用期是10年；（3）前四年先组织技术人员逐渐改进，四年后再决定是否需要购买先进技术，四年后买入技术相对第一年便宜一些，收益与前四年一样。预计该种产品前四年畅销的概率为0.7，滞销的概率为0.3。如果前四年畅销，后六年畅销的概率为0.9；若前四年滞销，后六年滞销的概率为 0.1。相关的收益数据如表所示。 （1）画出决策树 （2）计算各点的期望值，并做出最优决策 投资收益 表单位：万元 解（1）画出决策树，R为总决策，R1为二级决策。
决策树是分类应用中采用最广泛的模型之一。与神经网络和贝叶斯方法相比，决策树无须花费大量的时间和进行上千次的迭代来训练模型，适用于大规模数据集，除了训练数据中的信息外不再需要其他额外信息，表现了很好的分类精确度。其核心问题是测试属性选择的策略，以及对决策树进行剪枝。连续属性离散化和对高维大规模数据降维，也是扩展决策树算法应用范围的关键技术。本文以决策树为研究对象，主要研究内容有：首先介绍了数据挖掘的历史、现状、理论和过程，然后详细介绍了三种决策树算法，包括其概念、形式模型和优略性，并通过实例对其进行了分析研究 目录 一、引言 (1) 二、数据挖掘 (2) (一)概念 (2) (二)数据挖掘的起源 (2) (三)数据挖掘的对象 (3) (四)数据挖掘的任务 (3) (五)数据挖掘的过程 (3) (六)数据挖掘的常用方法 (3) (七)数据挖掘的应用 (5) 三、决策树算法介绍 (5) (一)归纳学习 (5) (二)分类算法概述 (5) (三)决策树学习算法 (6) 1、决策树描述 (7) 2、决策树的类型 (8) 3、递归方式 (8) 4、决策树的构造算法 (8) 5、决策树的简化方法 (9) 6、决策树算法的讨论 (10) 四、ID3、C4.5和CART算法介绍 (10) (一)ID3学习算法 (11) 1、基本原理 (11) 2、ID3算法的形式化模型 (13) （二）C4.5算法 (14) （三）CART算法 (17) 1、CART算法理论 (17) 2、CART树的分支过程 (17) （四）算法比较 (19) 五、结论 (24) 参考文献...................................................................................... 错误！未定义书签。 致谢.............................................................................................. 错误！未定义书签。
注意答卷要求: 1.统一代号：P为利润，C为成本，Q为收入，EP为期望利润 2.画决策树时一定按照标准的决策树图形画，不要自创图形 3.决策点和状态点做好数字编号 4.决策树上要标出损益值 某企业似开发新产品，现在有两个可行性方案需要决策。 I开发新产品A，需要追加投资180万元，经营期限为5年。此间，产品销路好可获利170万元；销路一般可获利90万元；销路差可获利-6万元。三种情况的概率分别为30%，50%, 20%。 II.开发新产品B，需要追加投资60万元，经营期限为4年。此间，产品销路好可获利100万元；销路一般可获利50万元；销路差可获利20万元。 三种情况的概率分别为60%，30%，10%。 (1)画出决策树 170 90 -6 100 50 20
（2）计算各点的期望值，并做出最优决策 求出各方案的期望值： 方案 A=170X0.3 >5+90X0.5 >5+（-6）区.2 >5=770（万元） 方案 B=100X0.6 >4+50X 0.3 >4+20X 0.1 >4=308（万元） 求出各方案的净收益值： 方案 A=770-180=590（万元） 方案 B=308-60=248（万元） 因为590大于248大于0 所以方案A 最优。 某企业为提高其产品在市场上的竞争力，现拟定三种改革方案：（ 1）公司组织 技术人员逐渐改进技术，使用期是10年；（2）购买先进技术，这样前期投入相 对较大，使用期是10年；（3）前四年先组织技术人员逐渐改进，四年后再决定 是否需要购买先进技术，四年后买入技术相对第一年便宜一些， 收益与前四年一 样。预计该种产品前四年畅销的概率为 0.7，滞销的概率为0.3。如果前四年畅 销，后六年畅销的概率为0.9 ;若前四年滞销，后六年滞销的概率为 0.1。相关 的收益数据如表所示。 （1）画出决策树 （2）计算各点的期望值，并做出最优决策 表 解（1）画出决策树，R 为总决策，R1为二级决策。 投资收益 单位：万元
决策树算法的原理与应用 摘要：在机器学习与大数据飞速发展的21世纪，各种不同的算法成为了推动发 展的基石.而作为十大经典算法之一的决策树算法是机器学习中十分重要的一种算法。本文对决策树算法的原理，发展历程以及在现实生活中的基本应用进行介绍，并突出说明了决策树算法所涉及的几种核心技术和几种具有代表性的算法模式。 关键词：机器学习算法决策树 1.决策树算法介绍 1.1算法原理简介 决策树模型是一种用于对数据集进行分类的树形结构。决策树类似于数据结 构中的树型结构，主要是有节点和连接节点的边两种结构组成。节点又分为内部 节点和叶节点。内部节点表示一个特征或属性, 叶节点表示一个类. 决策树(Decision Tree),又称为判定树, 是一种以树结构(包括二叉树和多叉树)形式表达的 预测分析模型，决策树算法被评为十大经典机器学习算法之一[1]。 1.2 发展历程 决策树方法产生于上世纪中旬，到了1975年由J Ross Quinlan提出了ID3算法，作为第一种分类算法模型，在很多数据集上有不错的表现。随着ID3算法的 不断发展，1993年J Ross Quinlan提出C4.5算法，算法对于缺失值补充、树型结 构剪枝等方面作了较大改进，使得算法能够更好的处理分类和回归问题。决策树 算法的发展同时也离不开信息论研究的深入，香农提出的信息熵概念，为ID3算 法的核心，信息增益奠定了基础。1984年，Breiman提出了分类回归树算法，使 用Gini系数代替了信息熵，并且利用数据来对树模型不断进行优化[2]。 2．决策树算法的核心 2.1数据增益 香农在信息论方面的研究，提出了以信息熵来表示事情的不确定性。在数据 均匀分布的情况下，熵越大代表事物的越不确定。在ID3算法中，使用信息熵作 为判断依据，在建树的过程中，选定某个特征对数据集进行分类后，数据集分类 前后信息熵的变化就叫作信息增益，如果使用多个特征对数据集分别进行分类时，信息增益可以衡量特征是否有利于算法对数据集进行分类，从而选择最优的分类 方式建树。 如果一个随机变量X的可以取值为Xi（i=1…n），那么对于变量X来说，它 的熵就是 在得到基尼指数增益之后，选择基尼指数增益最大的特征来作为当前步骤的 分类依据，在之后的分类中重复迭代使用这一方法来实现模型的构造。 3. 决策树算法的优缺点 3.1决策树算法的优点[3] （1）计算速度快，算法简单，分类依据清晰 （2）在处理数据时，有很高的准确度，同时分类结果清晰，步骤明朗。 （3）可以处理连续和种类字段 （4）适合高维数据 3.2决策树算法的缺点 （1）决策树算法可以帮助使用者创建复杂的树，但是在训练的过程中，如