决策树算法：
什么是机器学习？
机器学习 (Machine Learning) 是近 20 多年兴起的一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动学习的算法。机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。机器学习在数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA 序列测序、语言与手写识别、战略游戏与机器人运用等领域有着十分广泛的应用。它无疑是当前数据分析领域的一个热点内容。
决策树定义：
机器学习中决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。从数据产生决策树的机器学习技术叫做决策树学习, 通俗说就是决策树。
决策树模型
定义2.1（决策树）分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点（node）和有向边（directed edge）组成。
□——决策点，是对几种可能方案的选择，即最后选择的最佳方案。如果决策属于多级决策，
则决策树的中间可以有多个决策点，以决策树根部的决策点为最终决策方案为最终决策方案。
○——状态节点，代表备选方案的经济效果（期望值），通过各状态节点的经济效果的对比，按照一定的决策标准就可以选出最佳方案。由状态节点引出的分支称为概率枝，
概率枝的数目表示可能出现的自然状态数目每个分枝上要注明该状态出现的概率。
△——结果节点，将每个方案在各种自然状态下取得的损益值标注于结果节点的右端。
决策树是如何工作的？
决策树一般都是自上而下的来生成的。
选择分割的方法有好几种，但是目的都是一致的：对目标类尝试进行最佳的分割。
决策树法(Decision Tree）
决策树(decision tree)一般都是自上而下的来生成的。每个决策或事件（即自然状态）都可能引出两个或多个事件，导致不同的结果，把这种决策分支画成图形很像一棵树的枝干，故称决策树。
决策树就是将决策过程各个阶段之间的结构绘制成一张箭线图，我们可以用下图来表示。
选择分割的方法有好几种，但是目的都是一致的：对目标类尝试进行最佳的分割。
从根到叶子节点都有一条路径，这条路径就是一条“规则”。
决策树可以是二叉的，也可以是多叉的。
对每个节点的衡量：
1) 通过该节点的记录数
2) 如果是叶子节点的话，分类的路径
3) 对叶子节点正确分类的比例
有些规则的效果可以比其他的一些规则要好。
决策树的构成要素[1]
决策树的构成有四个要素：(1)决策结点；(2)方案枝；(3)状态结点；(4)概率枝。如图所示：
总之，决策树一般由方块结点、圆形结点、方案枝、概率枝等组成，方块结点称为决策结点，由结点引出若干条细支，每条细支代表一个方案，称为方案枝；圆形结点称为状态结点，由状态结点引出若干条细支，表示不同的自然状态，称为概率枝。每条概率枝代表一种自然状态。在每条细枝上标明客观状态的内容和其出现概率。在概率枝的最末稍标明该方案在该自然状态下所达到的结果(收益值或损失值)。这样树形图由左向右，由简到繁展开，组成一个树状网络图。
决策树对于常规统计方法的优缺点
优点：
1) 可以生成可以理解的规则；
2) 计算量相对来说不是很大；
3) 可以处理连续和种类字段；
4) 决策树可以清晰的显示哪些字段比较重要。
缺点：
1) 对连续性的字段比较难预测；
2) 对有时间顺序的数据，需要很多预处理的工作； 3) 当类别太多时，错误可能就会增加的比较快；
决策树
决策树法(Decision Tree）
目录
[隐藏]
1 什么是决策树？
2 决策树的构成要素[1]
3 决策树对于常规统计方法的优缺点
4 决策树的适用范围[1]
5 决策树的决策程序[1]
6 决策树的应用前景[1]
7 决策树的应用举例
o 7.1 案例一：利用决策树评价生产方案
8 相关条目
9 参考文献
[编辑]
什么是决策树？
决策树(decision tree)一般都是自上而下的来生成的。每个决策或事件（即自然状态）都可能引出两个或多个事件，导致不同的结果，把这种决策分支画成图形很像一棵树的枝干，故称决策树。
决策树就是将决策过程各个阶段之间的结构绘制成一张箭线图，我们可以用下图来表示。
选择分割的方法有好几种，但是目的都是一致的：对目标类尝试进行最佳的分割。
从根到叶子节点都有一条路径，这条路径就是一条“规则”。
决策树可以是二叉的，也可以是多叉的。
对每个节点的衡量：
1) 通过该节点的记录数
2) 如果是叶子节点的话，分类的路径
3) 对叶子节点正确分类的比例
有些规则的效果可以比其他的一些规则要好。
[编辑]
决策树的构成要素[1]
决策树的构成有四个要素：(1)决策结点；(2)方案枝；(3)状态结点；(4)概率枝。如图所示：
总之，决策树一般由方块结点、圆形结点、方案枝、概率枝等组成，方块结点称为决策结点，由结点引出若干条细支，每条细支代表一个方案，称为方案枝；圆形结点称为状态结点，由状态结点引出若干条细支，表示不同的自然状态，称为概率枝。每条概率枝代表一种自然状态。在每条细枝上标明客观状态的内容和其出现概率。在概率枝的最末稍标明该方案在该自然状态下所达到的结果(收益值或损失值)。这样树形图由左向右，由简到繁展开，组成一个树状网络图。
简单的决策树模型
人工智能发展到一定阶段的时候学者们就发现，这个智能不能靠我们人类完全告诉机器，因为这个世界上的知识和信息都是无止尽的，所以，我们需要让机器学会如何自己学习，于是就产生了机器学习这个研究方向，专门来研究如果让计算机通过数据来学习到知识。今天我们就来介绍一种非常经典的机器学习算法，叫做决策树算法。
我们回想一下我们自己的学习过程，我们学一些知识的时候会有很多例题，但我们考试的时候，老师经常会出一些我们没有见过的题型。我们如果好好学习了这些例题的话，就能解出那些没有见过的题目。这是因为我们人类有归纳的能力。中国人把这个能力叫做融会贯通，举一反三等等。所以，我们也希望机器具有这种能力，所以决策树算法就是一种典型的归纳学习。
决策树（Decision tree）是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策树对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。
我们来看一下决策树算法的定义，首先，我们说决策树算法是一种分类方法。这是我们这门课第一次提到分类这个概念，分类问题，这是人工智能里面一个非常重要的概念，我们之后会有一节课专门来讲分类问题的相关知识。在这里就不详细讲了，我们这里强调的是，决策树就是通过归纳，学习到的一种分类的能力。我们来看一个决策树的例子。
简单的决策树的模型
可以看出这副图很像一棵倒着的树，这个棵树用来分类所有有着X、Y两种属性的数据，可以把这些数据分为三类。我们可以看到类1，类2，类3. 怎么分类的呢，我们从最上面开始，首先判断这个数据的X属性是否等于1，就是最上面那个圆圈，如果不是的话，就直接判断为类1，是的话呢，我们再判断这个数据的Y的大小，我们看到第二个圆圈，它往下有三个分支，说明它不是一个判断是否的问题，而是看Y的数值的范围，所以，如果Y
这个图就非常鲜明了，这些同学每天呆在宿舍里，去不去上课首先判断这节课会不会点名，如果不会点名的话就不去了，非常的现实，如果点名了的话，他们就判断这个寝室到教室的距离，如果寝室到教室的距离在三分钟以下，那么就走着去。如果在需要多过三分钟，就跑着去，如果十分钟还到不了啊，就干脆不去了。这也是他们这个脑海中每天进行的一次分类，他们对于每天关于上不上课的信息主要考虑两个属性，一个是是否点名，一个是能否及时赶到，然后分类的结果，就有三种，一种是不去，一种是跑着去，一种是走着去。南开大一个老师啊，为了惩罚这些学生，在考卷前面加了这么一道选择题。
