小伙伴们大家好~o(￣▽￣)ブ，首先声明一下，我的开发环境是Jupyter lab，所用的库和版本大家参考：
Python 3.7.1（你的版本至少要3.4以上
Scikit-learn 0.20.0 （你的版本至少要0.20
Graphviz 0.8.4 (没有画不出决策树哦，安装代码conda install python-graphviz
Numpy 1.15.3 Pandas 0.23.4 Matplotlib 3.0.1 SciPy 1.1.0
用SKlearn 建立一棵决策树
这里采用的数据集是SKlearn中的红酒数据集。
1 导入需要的算法库和模块
lang="Python" contenteditable="true" cid="n11" mdtype="fences" >from sklearn import tree #导入tree模块
from sklearn.datasets import load_wine #导入红酒数据集
from sklearn.model_selection import train_test_split #导入训练集和测试集切分包
2 探索数据
wine = load_wine()wine.data
wine.data.shape
wine.target
wine.target.shape
运行的结果是这样子的：
data就是该数据集的特征矩阵，从运行结果可以看出，该红酒数据集一共有178条记录，13个特征。
特征矩阵中有178条记录，相对应的标签Y就有178个数据。
如果wine是一张表，应该长这样：
import pandas as pd pd.concat([pd.Datafrxxxxame(wine.data)pd.Datafrxxxxame(wine.target)]axis=1)这是数据集特征列名和标签分类
lang="python" contenteditable="true" cid="n23" mdtype="fences" >wine.feature_names wine.target_names
3 分训练集和测试集
这里选取30%作为测试集。切分好之后，训练集有124条数据，测试集有54条数据。
lang="Python" contenteditable="true" cid="n28" mdtype="fences" >Xtrain Xtest Ytrain Ytest = train_test_split(wine.datawine.targettest_size=0.3)
Xtrain.shape
Xtest.shape
4 建立模型
lang="Python" contenteditable="true" cid="n32" mdtype="fences" >clf =
tree.DecisionTreeClassifier(criterion="entropy") #初始化树模型
clf = clf.fit(Xtrain Ytrain) #实例化训练集
score = clf.score(Xtest Ytest) #返回预测的准确度
score
5 画出一棵树吧
lang="Python" contenteditable="true" cid="n36" mdtype="fences" >feature_name = ['酒精''苹果酸''灰''灰的碱性''镁''总酚''类黄酮''非黄烷类酚类''花青素''颜色强度''色调''od280/od315稀释葡萄酒''脯氨酸']
import graphviz
dot_data = tree.export_graphviz(clf
out_file=None
feature_names= feature_name
class_names=["琴酒""雪莉""贝尔摩德"]
filled=True
rounded=True
)
graph = graphviz.Source(dot_data)
graph
6 探索决策树
#特征重要性clf.feature_importances_[*zip(feature_nameclf.feature_importances_)]
到现在为止，我们已经学会建立一棵完整的决策树了。有兴趣的话，动手建立一棵属于自己的决策树吧~
盈亏平衡分析 某建筑工地需抽除积水保证施工顺利进行，现有A 、B 两个方案可供选择。 A 方案：新建一条动力线，需购置一台2.5W 电动机并线运转，其投资为1400元，第四年 末残值为200元，电动机每小时运行成本为0.84元，每年预计的维护费用120元， 因设备完全自动化无需专人看管。 B 方案：购置一台3.86KW 的（5马力）柴油机，其购置费用为550元，使用寿命为4年， 设备无残值。运行每小时燃料费为0.42元，平均每小时维护费为0.15元，每小 时的人工成本为0.8元。 若寿命都为4年，基准折现率为10％，试比较A 、B 方案的优劣。 解：两方案的总费用都与年开机小时数t 有关，故两方案的年成本均可表示t 的函数。 )4%,10,/(200)4%,10,/(1400F A P A C A -=t t 84.056.51884.0120+=++ t P A C B )8.015.042.0()4%,10,/(550+++= t 37.151.175+= 令C A =C B ，即518.56+0.84t=173.51+1.37t 可解出：t =651(h),所以在t =651h 这一点上， C A =C B =1065.4（元） A 、 B 两方案的年成本函数如图13所示。从图中可见，当年开机小时数低于651h ，选B 方案有利；当年开机小时数高于651h 则选A 方案有利。 图13 A 、B 方案成本函数曲线
决策树问题 55.某建筑公司拟建一预制构件厂，一个方案是建大厂，需投资300万元，建成后如销路 好每年可获利100万元，如销路差，每年要亏损20万元，该方案的使用期均为10年； 另一个方案是建小厂，需投资170万元，建成后如销路好，每年可获利40万元，如销路差每年可获利30万元；若建小厂，则考虑在销路好的情况下三年以后再扩建，扩建投资130万元，可使用七年，每年盈利85万元。假设前3年销路好的概率是0.7，销路差的概率是0.3，后7年的销路情况完全取决于前3年；试用决策树法选择方案。 决策树图示 考虑资金的时间价值，各点益损期望值计算如下： 点①：净收益＝[100×(P/A，10％，10)×0.7+(-20)×（P/A，10％，10）×0.3]-300=93.35(万元) 点③：净收益＝85×(P/A，10％，7)×1.0-130=283.84(万元) 点④：净收益＝40×(P/A，10％，7)×1.0=194.74(万元) 可知决策点Ⅱ的决策结果为扩建，决策点Ⅱ的期望值为283.84+194.74＝478.58（万元）点②:净收益＝（283.84+194.74）×0.7+40×(P/A，10％，3)×0.7+30×(P/A，10％，10)×0.3-170＝345.62（万元） 由上可知，最合理的方案是先建小厂，如果销路好，再进行扩建。在本例中，有两个决策点Ⅰ和Ⅱ，在多级决策中，期望值计算先从最小的分枝决策开始，逐级决定取舍到决策能选定为止。 56.某投资者预投资兴建一工厂，建设方案有两种：①大规模投资300万元；②小规模投 资160万元。两个方案的生产期均为10年，其每年的损益值及销售状态的规律见表15。 试用决策树法选择最优方案。 表15 各年损益值及销售状态
人工智能之机器学习常见算法 摘要机器学习无疑是当前数据分析领域的一个热点内容。很多人在平时的工作中都或多或少会用到机器学习的算法。这里小编为您总结一下常见的机器学习算法，以供您在工作和学习中参考。 机器学习的算法很多。很多时候困惑人们都是，很多算法是一类算法，而有些算法又是从其他算法中延伸出来的。这里，我们从两个方面来给大家介绍，第一个方面是学习的方式，第二个方面是算法的类似性。 学习方式 根据数据类型的不同，对一个问题的建模有不同的方式。在机器学习或者人工智能领域，人们首先会考虑算法的学习方式。在机器学习领域，有几种主要的学习方式。将算法按照学习方式分类是一个不错的想法，这样可以让人们在建模和算法选择的时候考虑能根据输入数据来选择最合适的算法来获得最好的结果。 监督式学习： 在监督式学习下，输入数据被称为训练数据，每组训练数据有一个明确的标识或结果，如对防垃圾邮件系统中垃圾邮件非垃圾邮件，对手写数字识别中的1，2，3，4等。在建立预测模型的时候，监督式学习建立一个学习过程，将预测结果与训练数据的实际结果进行比较，不断的调整预测模型，直到模型的预测结果达到一个预期的准确率。监督式学习的常见应用场景如分类问题和回归问题。常见算法有逻辑回归（LogisTIc Regression）和反向传递神经网络（Back PropagaTIon Neural Network） 非监督式学习： 在非监督式学习中，数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。常见的应用场景包括关联规则的学习以及聚类等。常见算法包括Apriori算法以及k-Means 算法。 半监督式学习： 在此学习方式下，输入数据部分被标识，部分没有被标识，这种学习模型可以用来进行预
注意答卷要求： 1．统一代号：P 为利润，C 为成本，Q 为收入，EP 为期望利润 2．画决策树时一定按照标准的决策树图形画，不要自创图形 3．决策点和状态点做好数字编号 4．决策树上要标出损益值 某企业似开发新产品，现在有两个可行性方案需要决策。 I 开发新产品A ，需要追加投资180万元，经营期限为5年。此间，产品销路好可获利170万元；销路一般可获利90万元；销路差可获利-6万元。三种情况的概率分别为30%，50%，20%。 II.开发新产品B ，需要追加投资60万元，经营期限为4年。此间，产品销路好可获利100万元；销路一般可获利50万元；销路差可获利20万元。三种情况的概率分别为60%，30%，10%。 （1）画出决策树 销路好 0.3 170 90 -6 100 50 20
（2）计算各点的期望值，并做出最优决策 求出各方案的期望值： 方案A=170×0.3×5+90×0.5×5+(-6)×0.2×5=770(万元) 方案B=100×0.6×4+50×0.3×4+20×0.1×4=308(万元) 求出各方案的净收益值： 方案A=770-180=590(万元) 方案B=308-60=248(万元) 因为590大于248大于0 所以方案A最优。 某企业为提高其产品在市场上的竞争力，现拟定三种改革方案：（1）公司组织技术人员逐渐改进技术，使用期是10年；（2）购买先进技术，这样前期投入相对较大，使用期是10年；（3）前四年先组织技术人员逐渐改进，四年后再决定是否需要购买先进技术，四年后买入技术相对第一年便宜一些，收益与前四年一样。预计该种产品前四年畅销的概率为0.7，滞销的概率为0.3。如果前四年畅销，后六年畅销的概率为0.9；若前四年滞销，后六年滞销的概率为0.1。相关的收益数据如表所示。 （1）画出决策树 （2）计算各点的期望值，并做出最优决策 投资收益 表单位：万元 解（1）画出决策树，R为总决策，R1为二级决策。
17秋学期（1709）《经管学》在线作业一 一、单选题（共30道试卷，共60分。）1.（C）是进行组织设计的基本出发点。 A. 人员配备 B. 组织文化 C. 组织目标 D. 组织结构满分：2分2.领导的特质理论告诉我们. A A. 领导是天生的 B. 领导的行为决定了领导才能 C. 下属的服从是领导之所以为领导的关键 D. 领导行为是可以模仿的满分：2分3.决策方法中的“硬技术”是指（A）。 A. 计量决策方法 B. 专家意见法 C. 定性决策法 D. 决策树法满分：2分4.（B ）是指企业经管系统随着企业内外部环境的变化，而不断更新自己的经营理念、经营方针和经营目标，为达此目的，必须相应的改变有关的经管方法和手段，使其与企业的经营目标相适应。 A. 激励原理 B. 动态原理 C. 创新原理 D. 可持续发展原理满分：2分5.被称为“科学经管之父”的经管学家是（A）。 A. 泰勒 B. 法约尔 C. 德鲁克 D. 西蒙满分：2分6.现在很多大公司都实行所谓的“门户开放”政策（比如IBM），即鼓励各级员工通过多种途径直接向公司高层领导反映意见、提出建议，公司总裁也会设立专门的信箱，以接收这些意见或者抱怨。这里的沟通渠道可以看成是一种（B）。 A. 下行沟通 B. 上行沟通 C. 对角沟通 D. 横向沟通满分：2分7.非程序化决策往往是有关企业重大战略问题的决策，主要由（B）承担。 A. 一线工人 B. 上层经管人员 C. 中层经管人员 D. 低层经管人员满分：2分8.下面关于内部招聘的说法不正确的是（B）。 A. 内部员工的竞争结果必然有胜有败，可能影响组织的内部团结。 B. 内部招聘人员筛选难度大，成本高。 C. 可能在组织中滋生“小集团”，削弱组织效能。 D. 组织内的“近亲繁殖”现象，可能不利于个体创新。满分：2分9.（D）是指依靠企业各级行政组织的法定权力，通过命令、指示、规定、制度、规范以及具有约束性的计划等行政手段来经管企业的方法。 A. 教育方法 B. 经济方法 C. 法制方法 D. 行政方法满分：2分10.目标经管的提出者是（C）。 A. 泰罗 B. 法约尔 C. 德鲁克 D. 巴纳德满分：2分11.解决复杂问题应采用的沟通方式是（D）。 A. 链式 B. 轮式 C. 环式 D. 全通道式满分：2分12.（D）就是对一系列典型的事物进行观察分析，找出各种因素之间的因果关系，从中找出事物发展变化的一般规律，这种从典型到一般的研究方法也称为实证研究。 A. 演绎法 B. 调查法 C. 实验法 D. 归纳法满分：2分13.泰罗经管理论的代表着作是（B）。
注意答卷要求： 欧阳光明（2021.03.07） 1．统一代号：P为利润，C为成本，Q为收入，EP为期望利润2．画决策树时一定按照标准的决策树图形画，不要自创图形3．决策点和状态点做好数字编号 4．决策树上要标出损益值 某企业似开发新产品，现在有两个可行性方案需要决策。 I开发新产品A，需要追加投资180万元，经营期限为5年。此间，产品销路好可获利170万元；销路一般可获利90万元；销路差可获利-6万元。三种情况的概率分别为30%，50%，20%。 II.开发新产品B，需要追加投资60万元，经营期限为4年。此间，产品销路好可获利100万元；销路一般可获利50万元；销路差可获利20万元。三种情况的概率分别为60%，30%，10%。 （1）画出决策树
（2）计算各点的期望值，并做出最优决策 求出各方案的期望值： 方案A=170×0.3×5+90×0.5×5+(-6)×0.2×5=770(万元) 方案B=100×0.6×4+50×0.3×4+20×0.1×4=308(万元) 求出各方案的净收益值： 方案A=770-180=590(万元) 方案B=308-60=248(万元) 因为590大于248大于0 所以方案A 最优。 某企业为提高其产品在市场上的竞争力，现拟定三种改革方案：（1）公司组织技术人员逐渐改进技术，使用期是10年；（2）购 销路好 0.3 170 90 -6 100 50 20
买先进技术，这样前期投入相对较大，使用期是10年；（3）前四年先组织技术人员逐渐改进，四年后再决定是否需要购买先进技术，四年后买入技术相对第一年便宜一些，收益与前四年一样。预计该种产品前四年畅销的概率为0.7，滞销的概率为0.3。如果前四年畅销，后六年畅销的概率为0.9；若前四年滞销，后六年滞销的概率为0.1。相关的收益数据如表所示。 （1）画出决策树 （2）计算各点的期望值，并做出最优决策 投资收益表单位：万元 解（1）画出决策树，R为总决策，R1为二级决策。
算法二：决策树算法 决策树定义 首先，我们来谈谈什么是决策树。我们还是以鸢尾花为例子来说明这个问题。 观察上图，我们判决鸢尾花的思考过程可以这么来描述：花瓣的长度小于2.4cm 的是setosa(图中绿色的分类)，长度大于1cm的呢?我们通过宽度来判别，宽度小于1.8cm的是versicolor(图中红色的分类)，其余的就是virginica(图中黑色的分类)
我们用图形来形象的展示我们的思考过程便得到了这么一棵决策树： 这种从数据产生决策树的机器学习技术叫做决策树学习, 通俗点说就是决策树，说白了，这是一种依托于分类、训练上的预测树，根据已知预测、归类未来。 前面我们介绍的k-近邻算法也可以完成很多分类任务，但是他的缺点就是含义不清，说不清数据的内在逻辑，而决策树则很好地解决了这个问题，他十分好理解。从存储的角度来说，决策树解放了存储训练集的空间，毕竟与一棵树的存储空间相比，训练集的存储需求空间太大了。 决策树的构建 一、KD3的想法与实现 下面我们就要来解决一个很重要的问题：如何构造一棵决策树?这涉及十分有趣的细节。 先说说构造的基本步骤，一般来说，决策树的构造主要由两个阶段组成:第一阶段，生成树阶段。选取部分受训数据建立决策树，决策树是按广度优先建立直到每个叶节点包括相同的类标记为止。第二阶段，决策树修剪阶段。用剩余数据检验决策树，如果所建立的决策树不能正确回答所研究的问题，我们要对决策树进行修剪直到建立一棵正确的决策树。这样在决策树每个内部节点处进行属性值的比较，在叶节点得到结论。从根节点到叶节点的一条路径就对应着一条规则，整棵决策树就对应着一组表达式规则。
机器学习决策树ID3算法的源代码上（VC6.0测试通过） 发布: 2009-4-16 11:42 | 作者: 天涯| 来源: 资讯 [i=s] 本帖最后由天涯于2009-4-17 13:03 编辑 这个的重要，不用多说了吧，有什么意见和建议跟帖留言啊，哈，觉得好，请顶一个 第一部分： #include
盈亏平衡分析 某建筑工地需抽除积水保证施工顺利进行，现有A 、B 两个方案可供选择。 A 方案：新建一条动力线，需购置一台2.5W 电动机并线运转，其投资为1400元，第四年 末残值为200元，电动机每小时运行成本为0.84元，每年预计的维护费用120元，因设备完全自动化无需专人看管。 B 方案：购置一台3.86KW 的（5马力）柴油机，其购置费用为550元，使用寿命为4年， 设备无残值。运行每小时燃料费为0.42元，平均每小时维护费为0.15元，每小时的人工成本为0.8元。 若寿命都为4年，基准折现率为10％，试比较A 、B 方案的优劣。 解：两方案的总费用都与年开机小时数t 有关，故两方案的年成本均可表示t 的函数。 )4%,10,/(200)4%,10,/(1400F A P A C A -=t t 84.056.51884.0120+=++ t P A C B )8.015.042.0()4%,10,/(550+++= t 37.151.175+= 令C A =C B ，即518.56+0.84t=173.51+1.37t 可解出：t =651(h),所以在t =651h 这一点上， C A =C B =1065.4（元） A 、 B 两方案的年成本函数如图13所示。从图中可见，当年开机小时数低于651h ，选B 方案有利；当年开机小时数高于651h 则选A 方案有利。 图13 A 、B 方案成本函数曲 线
决策树问题 55.某建筑公司拟建一预制构件厂，一个方案是建大厂，需投资300万元，建成后如销路 好每年可获利100万元，如销路差，每年要亏损20万元，该方案的使用期均为10年； 另一个方案是建小厂，需投资170万元，建成后如销路好，每年可获利40万元，如销路差每年可获利30万元；若建小厂，则考虑在销路好的情况下三年以后再扩建，扩建投资130万元，可使用七年，每年盈利85万元。假设前3年销路好的概率是0.7，销路差的概率是0.3，后7年的销路情况完全取决于前3年；试用决策树法选择方案。 决策树图示 考虑资金的时间价值，各点益损期望值计算如下： 点①：净收益＝[100×(P/A，10％，10)×0.7+(-20)×（P/A，10％，10）×0.3]-300=93.35(万元) 点③：净收益＝85×(P/A，10％，7)×1.0-130=283.84(万元) 点④：净收益＝40×(P/A，10％，7)×1.0=194.74(万元) 可知决策点Ⅱ的决策结果为扩建，决策点Ⅱ的期望值为283.84+194.74＝478.58（万元）点②:净收益＝（283.84+194.74）×0.7+40×(P/A，10％，3)×0.7+30×(P/A，10％，10)×0.3-170＝345.62（万元） 由上可知，最合理的方案是先建小厂，如果销路好，再进行扩建。在本例中，有两个决策点Ⅰ和Ⅱ，在多级决策中，期望值计算先从最小的分枝决策开始，逐级决定取舍到决策能选定为止。 56.某投资者预投资兴建一工厂，建设方案有两种：①大规模投资300万元；②小规模投 资160万元。两个方案的生产期均为10年，其每年的损益值及销售状态的规律见表15。 试用决策树法选择最优方案。 表15 各年损益值及销售状态
机器学习--决策树(ID3)算法及案例 1基本原理 决策树是一个预测模型。它代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，每个分支路径代表某个可能的属性值，每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。一般情况下，决策树由决策结点、分支路径和叶结点组成。在选择哪个属性作为结点的时候，采用信息论原理，计算信息增益，获得最大信息增益的属性就是最好的选择。信息增益是指原有数据集的熵减去按某个属性分类后数据集的熵所得的差值。然后采用递归的原则处理数据集，并得到了我们需要的决策树。 2算法流程 检测数据集中的每个子项是否属于同一分类： If是，则返回类别标签； Else 计算信息增益，寻找划分数据集的最好特 征 划分数据数据集 创建分支节点（叶结点或决策结点）
for每个划分的子集 递归调用，并增加返回结果 到分支节点中 return分支结点 算法的基本思想可以概括为： 1）树以代表训练样本的根结点开始。 2）如果样本都在同一个类．则该结点成为树叶，并记录该类。 3）否则，算法选择最有分类能力的属性作为决策树的当前结点． 4）根据当前决策结点属性取值的不同，将训练样本根据该属性的值分为若干子集，每个取值形成一个分枝，有几个取值形成几个分枝。匀针对上一步得到的一个子集，重复进行先前步骤，递归形成每个划分样本上的决策树。一旦一个属性只出现在一个结点上，就不必在该结点的任何后代考虑它，直接标记类别。 5）递归划分步骤仅当下列条件之一成立时停止： ①给定结点的所有样本属于同一类。 ②没有剩余属性可以用来进一步划分样本．在这种情况下．使用多数表决，将给定的结点转换成树叶，并以样本中元组个数最多的类别作为类别标记，同时也可以存放该结点样本的类别分布[这个主要可以用来剪枝]。 ③如果某一分枝tc，没有满足该分支中已有分类的样本，则以样本的多数类生成叶子节点。 算法中2)步所指的最优分类能力的属性。这个属性的选择是本算法种的关键点，分裂属性的选择直接关系到此算法的优劣。 一般来说可以用比较信息增益和信息增益率的方式来进行。 其中信息增益的概念又会牵扯出熵的概念。熵的概念是香农在研究信息量方面的提出的。它的计算公式是：
机器学习算法day04_决策树分类算法及应用课程大纲 课程目标： 1、理解决策树算法的核心思想 2、理解决策树算法的代码实现 3、掌握决策树算法的应用步骤：数据处理、建模、运算和结果判定
1. 决策树分类算法原理 1.1 概述 决策树（decision tree）——是一种被广泛使用的分类算法。 相比贝叶斯算法，决策树的优势在于构造过程不需要任何领域知识或参数设置 在实际应用中，对于探测式的知识发现，决策树更加适用 1.2 算法思想 通俗来说，决策树分类的思想类似于找对象。现想象一个女孩的母亲要给这个女孩介绍男朋友，于是有了下面的对话： 女儿：多大年纪了？ 母亲：26。 女儿：长的帅不帅？ 母亲：挺帅的。 女儿：收入高不？ 母亲：不算很高，中等情况。 女儿：是公务员不？ 母亲：是，在税务局上班呢。 女儿：那好，我去见见。 这个女孩的决策过程就是典型的分类树决策。 实质：通过年龄、长相、收入和是否公务员对将男人分为两个类别：见和不见 假设这个女孩对男人的要求是：30岁以下、长相中等以上并且是高收入者或中等以上收入的公务员，那么这个可以用下图表示女孩的决策逻辑
上图完整表达了这个女孩决定是否见一个约会对象的策略，其中： ◆绿色节点表示判断条件 ◆橙色节点表示决策结果 ◆箭头表示在一个判断条件在不同情况下的决策路径 图中红色箭头表示了上面例子中女孩的决策过程。 这幅图基本可以算是一颗决策树，说它“基本可以算”是因为图中的判定条件没有量化，如收入高中低等等，还不能算是严格意义上的决策树，如果将所有条件量化，则就变成真正的决策树了。 决策树分类算法的关键就是根据“先验数据”构造一棵最佳的决策树，用以预测未知数据的类别 决策树：是一个树结构（可以是二叉树或非二叉树）。其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。
. 注意答卷要求： EP为期望利润P1．统一代号：为利润，C为成本，Q为收入，2．画决策树时一定按照标准的决策树图形画，不要自创图形 3．决策点和状态点做好数字编号．决策树上要标出损益值4 某企业似开发新产品，现在有两个可行性方案需要决策。年。此间，产品销路好5I开发新产品A，需要追加投资180万元，经营期限为万元。三种情况的90可获利170万元；销路一般可获利万元；销路差可获利-6 概率分别为30%，50%，20%。年。此间，产品销路好开发新产品B，需要追加投资万元，经营期限为460II.三种情况的万元。万元；销路差可获利2050可获利100万元；销路一般可获利，10%。，概率分别为60%30%（1）画出决策树0.3 销路好 170 0.5销路一90 2 0.1 销路差-6 A 开发产品1 0.6 销路好 100 B 开发产品0.3 销路一般 3 50 0.1
销路差 20 4 / 1 . （2）计算各点的期望值，并做出最优决策 求出各方案的期望值： 方案A=170×0.3×5+90×0.5×5+(-6)×0.2×5=770(万元) 方案B=100×0.6×4+50×0.3×4+20×0.1×4=308(万元) 求出各方案的净收益值： 方案A=770-180=590(万元) 方案B=308-60=248(万元) 因为590大于248大于0 所以方案A最优。 某企业为提高其产品在市场上的竞争力，现拟定三种改革方案：（1）公司组织技术人员逐渐改进技术，使用期是10年；（2）购买先进技术，这样前期投入相对较大，使用期是10年；（3）前四年先组织技术人员逐渐改进，四年后再决定是否需要购买先进技术，四年后买入技术相对第一年便宜一些，收益与前四年一样。预计该种产品前四年畅销的概率为0.7，滞销的概率为0.3。如果前四年畅销，后六年畅销的概率为0.9；若前四年滞销，后六年滞销的概率为0.1。相关的收益数据如表所示。 （1）画出决策树 （2）计算各点的期望值，并做出最优决策 投资收益 为总决策，）画出决策树，1（解 RR1为二级决策。 4 / 2
决策树研发二部
目录 1. 算法介绍 (1) 1.1.分支节点选取 (1) 1.2.构建树 (3) 1.3.剪枝 (10) 2. sk-learn中的使用 (12) 3. sk-learn中源码分析 (13)
1.算法介绍 决策树算法是机器学习中的经典算法之一，既可以作为分类算法，也可以作为回归算法。决策树算法又被发展出很多不同的版本，按照时间上分，目前主要包括，ID3、C4.5和CART版本算法。其中ID3版本的决策树算法是最早出现的，可以用来做分类算法。C4.5是针对ID3的不足出现的优化版本，也用来做分类。CART也是针对ID3优化出现的，既可以做分类，可以做回归。 决策树算法的本质其实很类似我们的if-elseif-else语句，通过条件作为分支依据，最终的数学模型就是一颗树。不过在决策树算法中我们需要重点考虑选取分支条件的理由，以及谁先判断谁后判断，包括最后对过拟合的处理，也就是剪枝。这是我们之前写if语句时不会考虑的问题。 决策树算法主要分为以下3个步骤： 1.分支节点选取 2.构建树 3.剪枝 1.1.分支节点选取 分支节点选取，也就是寻找分支节点的最优解。既然要寻找最优，那么必须要有一个衡量标准，也就是需要量化这个优劣性。常用的衡量指标有熵和基尼系数。 熵：熵用来表示信息的混乱程度，值越大表示越混乱，包含的信息量也就越多。比如，A班有10个男生1个女生，B班有5个男生5个女生，那么B班的熵值就比A班大，也就是B班信息越混乱。 基尼系数：同上，也可以作为信息混乱程度的衡量指标。
有了量化指标后，就可以衡量使用某个分支条件前后，信息混乱程度的收敛效果了。使用分支前的混乱程度，减去分支后的混乱程度，结果越大，表示效果越好。 #计算熵值 def entropy(dataSet): tNum = len(dataSet) print(tNum) #用来保存标签对应的个数的，比如,男：6，女：5 labels = {} for node in dataSet: curL = node[-1] #获取标签 if curL not in labels.keys(): labels[curL] = 0 #如果没有记录过该种标签，就记录并初始化为0 labels[curL] += 1 #将标签记录个数加1 #此时labels中保存了所有标签和对应的个数 res = 0 #计算公式为-p*logp，p为标签出现概率 for node in labels: p = float(labels[node]) / tNum res -= p * log(p, 2) return res #计算基尼系数 def gini(dataSet): tNum = len(dataSet) print(tNum) # 用来保存标签对应的个数的，比如,男：6，女：5 labels = {} for node in dataSet: curL = node[-1] # 获取标签 if curL not in labels.keys(): labels[curL] = 0 # 如果没有记录过该种标签，就记录并初始化为0 labels[curL] += 1 # 将标签记录个数加1 # 此时labels中保存了所有标签和对应的个数 res = 1
管理学决策树习题及答案-标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII
注意答卷要求： 1．统一代号：P为利润，C为成本，Q为收入，EP为期望利润 2．画决策树时一定按照标准的决策树图形画，不要自创图形 3．决策点和状态点做好数字编号 4．决策树上要标出损益值 某企业似开发新产品，现在有两个可行性方案需要决策。 I开发新产品A，需要追加投资180万元，经营期限为5年。此间，产品销路好可获利170万元；销路一般可获利90万元；销路差可获利-6万元。三种情况的概率分别为30%，50%，20%。 II.开发新产品B，需要追加投资60万元，经营期限为4年。此间，产品销路好可获利100万元；销路一般可获利50万元；销路差可获利20万元。三种情况的概率分别为60%，30%，10%。 （1）画出决策树
（2）计算各点的期望值，并做出最优决策 求出各方案的期望值： 方案A=170×0.3×5+90×0.5×5+(-6)×0.2×5=770(万元) 方案B=100×0.6×4+50×0.3×4+20×0.1×4=308(万元) 求出各方案的净收益值： 方案A=770-180=590(万元) 方案B=308-60=248(万元) 因为590大于248大于0 所以方案A 最优。 170 90 -6 100 50 20
某企业为提高其产品在市场上的竞争力，现拟定三种改革方案：（1）公司组织技术人员逐渐改进技术，使用期是10年；（2）购买先进技术，这样前期投入相对较大，使用期是10年；（3）前四年先组织技术人员逐渐改进，四年后再决定是否需要购买先进技术，四年后买入技术相对第一年便宜一些，收益与前四年一样。预计该种产品前四年畅销的概率为0.7，滞销的概率为0.3。如果前四年畅销，后六年畅销的概率为0.9；若前四年滞销，后六年滞销的概率为 0.1。相关的收益数据如表所示。 （1）画出决策树 （2）计算各点的期望值，并做出最优决策 投资收益 表单位：万元 解（1）画出决策树，R为总决策，R1为二级决策。
决策树决策树研发二部
目录 1. 算法介绍 (1) 1.1. 分支节点选取 (1) 1.2. 构建树 (3) 1.3. 剪枝 (10) 2. sk-learn 中的使用 (12) 3. sk-learn中源码分析 (13)
1. 算法介绍 决策树算法是机器学习中的经典算法之一，既可以作为分类算法，也可以作 为回归算法。决策树算法又被发展出很多不同的版本，按照时间上分，目前主要包括，ID3、C4.5和CART版本算法。其中ID3版本的决策树算法是最早出现的，可以用来做分类算法。C4.5是针对ID3的不足出现的优化版本，也用来做分类。CART也是针对 ID3优化出现的，既可以做分类，可以做回归。 决策树算法的本质其实很类似我们的if-elseif-else语句，通过条件作为分支依据，最终的数学模型就是一颗树。不过在决策树算法中我们需要重点考虑选取分支条件的理由，以及谁先判断谁后判断，包括最后对过拟合的处理，也就是剪枝。这是我们之前写if语句时不会考虑的问题。 决策树算法主要分为以下3个步骤： 1. 分支节点选取 2. 构建树 3. 剪枝 1.1. 分支节点选取 分支节点选取，也就是寻找分支节点的最优解。既然要寻找最优，那么必须要有一个衡量标准，也就是需要量化这个优劣性。常用的衡量指标有熵和基尼系数。 熵：熵用来表示信息的混乱程度，值越大表示越混乱，包含的信息量也就越多。比如，A班有10个男生1个女生，B班有5个男生5个女生，那么B班的熵值就比A班大，也就是B班信息越混乱。 Entropy = -V p ” 基尼系数：同上，也可以作为信息混乱程度的衡量指标。 Gini = 1 - p： l-L
注意答卷要求: 1.统一代号：P为利润，C为成本，Q为收入，EP为期望利润 2.画决策树时一定按照标准的决策树图形画，不要自创图形 3.决策点和状态点做好数字编号 4.决策树上要标出损益值 某企业似开发新产品，现在有两个可行性方案需要决策。 I开发新产品A，需要追加投资180万元，经营期限为5年。此间，产品销路好可获利170万元；销路一般可获利90万元；销路差可获利-6万元。三种情况的概率分别为30%，50%, 20%。 II.开发新产品B，需要追加投资60万元，经营期限为4年。此间，产品销路好可获利100万元；销路一般可获利50万元；销路差可获利20万元。 三种情况的概率分别为60%，30%，10%。 (1)画出决策树 170 90 -6 100 50 20
（2）计算各点的期望值，并做出最优决策 求出各方案的期望值： 方案 A=170X0.3 >5+90X0.5 >5+（-6）区.2 >5=770（万元） 方案 B=100X0.6 >4+50X 0.3 >4+20X 0.1 >4=308（万元） 求出各方案的净收益值： 方案 A=770-180=590（万元） 方案 B=308-60=248（万元） 因为590大于248大于0 所以方案A 最优。 某企业为提高其产品在市场上的竞争力，现拟定三种改革方案：（ 1）公司组织 技术人员逐渐改进技术，使用期是10年；（2）购买先进技术，这样前期投入相 对较大，使用期是10年；（3）前四年先组织技术人员逐渐改进，四年后再决定 是否需要购买先进技术，四年后买入技术相对第一年便宜一些， 收益与前四年一 样。预计该种产品前四年畅销的概率为 0.7，滞销的概率为0.3。如果前四年畅 销，后六年畅销的概率为0.9 ;若前四年滞销，后六年滞销的概率为 0.1。相关 的收益数据如表所示。 （1）画出决策树 （2）计算各点的期望值，并做出最优决策 表 解（1）画出决策树，R 为总决策，R1为二级决策。 投资收益 单位：万元
5-1简述机器学习十大算法的每个算法的核心思想、工作原理、适用情况及优缺点等。 1）C4.5算法： ID3算法是以信息论为基础，以信息熵和信息增益度为衡量标准，从而实现对数据的归纳分类。ID3算法计算每个属性的信息增益，并选取具有最高增益的属性作为给定的测试属性。 C4.5算法核心思想是ID3算法，是ID3算法的改进，改进方面有： 1）用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足； 2）在树构造过程中进行剪枝 3）能处理非离散的数据 4）能处理不完整的数据 C4.5算法优点：产生的分类规则易于理解，准确率较高。 缺点： 1)在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算 法的低效。 2)C4.5只适合于能够驻留于内存的数据集，当训练集大得无法在内存容纳时程 序无法运行。 2）K means 算法： 是一个简单的聚类算法，把n的对象根据他们的属性分为k个分割，k < n。算法的核心就是要优化失真函数J,使其收敛到局部最小值但不是全局最小值。 ，其中N为样本数，K是簇数，r nk b表示n属于第k个 簇，u k是第k个中心点的值。
然后求出最优的u k 优点：算法速度很快 缺点是，分组的数目k是一个输入参数，不合适的k可能返回较差的结果。 3）朴素贝叶斯算法： 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。算法的基础是概率问题，分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。朴素贝叶斯假设是约束性很强的假设，假设特征条件独立，但朴素贝叶斯算法简单，快速，具有较小的出错率。 在朴素贝叶斯的应用中，主要研究了电子邮件过滤以及文本分类研究。 4)K最近邻分类算法（KNN） 分类思想比较简单，从训练样本中找出K个与其最相近的样本，然后看这k个样本中哪个类别的样本多，则待判定的值（或说抽样）就属于这个类别。 缺点： 1）K值需要预先设定，而不能自适应 2）当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K个邻居中大容量类的样本占多数。 该算法适用于对样本容量比较大的类域进行自动分类。 5)EM最大期望算法 EM算法是基于模型的聚类方法，是在概率模型中寻找参数最大似然估计的算法，其中概率模型依赖于无法观测的隐藏变量。E步估计隐含变量，M步估计其他参数，交替将极值推向最大。 EM算法比K-means算法计算复杂，收敛也较慢，不适于大规模数据集和高维数据，但比K-means算法计算结果稳定、准确。EM经常用在机器学习和计算机视觉的数据集聚（Data Clustering）领域。 6）PageRank算法 是google的页面排序算法，是基于从许多优质的网页链接过来的网页，必定还是优质网页的回归关系，来判定所有网页的重要性。（也就是说，一个人有着越多牛X朋友的人，他是牛X的概率就越大。） 优点： 完全独立于查询，只依赖于网页链接结构，可以离线计算。 缺点： 1）PageRank算法忽略了网页搜索的时效性。 2）旧网页排序很高，存在时间长，积累了大量的in-links，拥有最新资讯的新网页排名却很低，因为它们几乎没有in-links。
1、C4.5 机器学习中，决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。 从数据产生决策树的机器学习技术叫做决策树学习, 通俗说就是决策树。 决策树学习也是数据挖掘中一个普通的方法。在这里，每个决策树都表述了一种树型结构，他由他的分支来对该类型的对象依靠属性进行分类。每个决策树可以依靠对源数据库的分割进行数据测试。这个过程可以递归式的对树进行修剪。当不能再进行分割或一个单独的类可以被应用于某一分支时，递归过程就完成了。另外，随机森林分类器将许多决策树结合起来以提升分类的正确率。 决策树同时也可以依靠计算条件概率来构造。决策树如果依靠数学的计算方法可以取得更加理想的效果。 决策树是如何工作的 决策树一般都是自上而下的来生成的。 选择分割的方法有好几种，但是目的都是一致的：对目标类尝试进行最佳的分割。 从根到叶子节点都有一条路径，这条路径就是一条“规则”。 决策树可以是二叉的，也可以是多叉的。 对每个节点的衡量： 1) 通过该节点的记录数 2) 如果是叶子节点的话，分类的路径 3) 对叶子节点正确分类的比例。 有些规则的效果可以比其他的一些规则要好。 由于ID3算法在实际应用中存在一些问题，于是Quilan提出了C4.5算法，严格上说C4.5只能是ID3的一个改进算法。相信大家对ID3算法都很.熟悉了，这里就不做介绍。 C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进： 1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足； 2) 在树构造过程中进行剪枝； 3) 能够完成对连续属性的离散化处理； 4) 能够对不完整数据进行处理。 C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。其缺点是：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。此外，C4.5只适合于能够驻留于内存的数据集，当训练集大得无法在内存容纳时程序无法运行。 来自搜索的其他内容： C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法. 分类决策树算法是从大量事例中进行提取分类规则的自上而下的决策树. 决策树的各部分是: 根: 学习的事例集. 枝: 分类的判定条件. 叶: 分好的各个类. §4.3.2 ID3算法 1.概念提取算法CLS 1) 初始化参数C={E},E包括所有的例子,为根.
小伙伴们大家好~o(￣▽￣)ブ，首先声明一下，我的开发环境是Jupyter lab，所用的库和版本大家参考： Python 3.7.1（你的版本至少要3.4以上 Scikit-learn 0.20.0 （你的版本至少要0.20 Graphviz 0.8.4 (没有画不出决策树哦，安装代码conda install python-graphviz Numpy 1.15.3 Pandas 0.23.4 Matplotlib 3.0.1 SciPy 1.1.0 用SKlearn 建立一棵决策树 这里采用的数据集是SKlearn中的红酒数据集。 1 导入需要的算法库和模块
from sklearn import tree #导入tree模块 from sklearn.datasets import load_wine #导入红酒数据集 from sklearn.model_selection import train_test_split #导入训练集和测试集切分包 2 探索数据 wine = load_wine() wine.data wine.data.shape机器学习实验报告
决策树算法 一、决策树算法简介： 决策树算法是一种逼近离散函数值的方法。它是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。决策树方法的基本思想是：利用训练集数据自动地构造决策树，然后根据这个决策树对任意实例进行判定。其中决策树（Decision Tree）是一种简单但是广泛使用的分类器。通过训练数据构建决策树，可以高效的对未知的数据进行分类。决策数有两大优点：1）决策树模型可以读性好，具有描述性，有助于人工分析；2）效率高，决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。 决策树算法构造决策树来发现数据中蕴涵的分类规则．如何构造精度高、规模小的决策树是决策树算法的核心内容。决策树构造可以分两步进行。第一步，决策树的生成：由训练样本集生成决策树的过程。一般情况下，训练样本数据集是根据实际需要有历史的、有一定综合程度的，用于数据分析处理的数据集。第二步，决策树的剪技：决策树的剪枝是对上一阶段生成的决策树进行检验、校正和修下的过程，主要是用新的样本数扼集（称为测试数据集）中的数据校验决策树生成过程中产生的初步规则，将那些影响预衡准确性的分枝剪除、决策树方法最早产生于上世纪60年代，到70年代末。由J Ross Quinlan提出了ID3算法，此算法的目的在于减少树的深度。但是忽略了叶子数目的研究。C4.5算法在ID3算法的基础上进行了改进，对于预测变量的缺值处理、剪枝技术、派生规则等方面作了较大改进，既适合于分类问题，又适合于回归问题。 本节将就ID3算法展开分析和实现。 ID3算法： ID3算法最早是由罗斯昆（J. Ross Quinlan）于1975年在悉尼大学提出的一种分类预测算法，算法的核心是“信息熵”。ID3算法通过计算每个属性的信息增益，认为信息增益高的是好属性，每次划分选取信息增益最高的属性为划分标准，重复这个过程，直至生成一个能完美分类训练样例的决策树。 在ID3算法中，决策节点属性的选择运用了信息论中的熵概念作为启发式函数。 在这种属性选择方法中，选择具有最大信息增益（information gain）的属性作为当前划分节点。通过这种方式选择的节点属性可以保证决策树具有最小的分枝数量，使得到的决策树冗余最小。
相关主题
文本预览