当前位置：文档之家 › 随机森林课件

随机森林课件

  • 格式：ppt
  • 大小：1.23 MB
  • 文档页数：33

下载文档原格式

  / 33

合集下载

举例说明随机森林的原理和计算流程

举例说明随机森林的原理和计算流程

举例说明随机森林的原理和计算流程Random forest, as the name suggests, is a collection of decision trees that work together to make predictions. It is a versatile and powerful machine learning algorithm that can be used for both classification and regression tasks. 随机森林，顾名思义，是一组决策树，它们共同工作以进行预测。

这是一种多功能且强大的机器学习算法，既可以用于分类任务，也可以用于回归任务。

The basic principle behind random forest is to build a large numberof decision trees during training and then make predictions based on the majority vote of all the trees. Each decision tree is built using a different subset of the training data, and at each split, a random subset of features is considered. This helps to reduce overfitting and makes the random forest more robust. 随机森林的基本原理是在训练期间构建大量的决策树，然后根据所有树的多数投票进行预测。

每个决策树都是使用训练数据的不同子集构建的，在每次分裂时，都会考虑一组随机特征。

这有助于减少过拟合，使随机森林更加健壮。

The calculation process of the random forest algorithm can be broken down into the following steps. First, a random subset of thetraining data is selected. Then, a decision tree is built using this subset of data, considering only a random subset of features at each split. This process is repeated for a predefined number of trees. Once all the trees are built, the random forest can make predictions by aggregating the predictions of each individual tree. 随机森林算法的计算过程可以分解为以下步骤。

随机森林

随机森林

• > rt<-read.table("exam1.txt“,head=TRUE); rt rt<-read.table("exam1.txt“ •
> lm.sol<-lm(Weight, data=rt) lm.sol<> summary(lm.sol) 文件的第一行是读文件exam1.txt；并认为文本文件 文件的第一行是读文件exam1.txt；并认为文本文件 exam1.txt中的第一行是文件的头head=TRUE exam1.txt中的第一行是文件的头head=TRUE ；否则 （FALSE）文件中的第一行作为数据处理。并将读出的 FALSE）文件中的第一行作为数据处理。并将读出的 内容放在变量rt中。第二个rt是显示变量的内容（如果 内容放在变量rt中。第二个rt是显示变量的内容（如果 一行执行多个命令，需用分号（；）隔开） 第二行是对数据rt中的重量作线性回归，其计算结果放 第二行是对数据rt中的重量作线性回归，其计算结果放 置在变量lm.sol中 置在变量lm.sol中 第三行是显示变量lm.sol的详细内容 第三行是显示变量lm.sol的详细内容
• 单棵树生长方法
生长单棵分类树的原则是递归分区。最简单的 树是二叉树，即树中每个节点最多有两个分支节 点（见图）。分类树按照不纯度最小的原则，首 先找到一个特征把全部训练样本分成两组，然后 按照同样的规则对节点处的样本进行再次分类。 在二叉树中，根节点包含全部训练数据，按照分 支生成规则分裂为左孩子节点和右孩子节点，它 们分别包含训练数据的一个子集，孩子节点可以 继续分裂。这样依次进行，直到满足分支停止规 则停止生长为止。这时每个终端节点称为叶节点。 分支节点是判断特征是否满足 m ≤ M T是每个节 （ 点处判断的阈值），并按照节点不纯度最小的原 则生成。节点n 则生成。节点n上的分类数据如果都来自于同一类 别，则此节点的不纯度i (n)=0；如果分类数据服 别，则此节点的不纯度i (n)=0；如果分类数据服 从均匀分布，则不纯度很大。常见的不纯度的度 量有3种：误分类不纯度，熵不纯度和Gini不纯度。 量有3种：误分类不纯度，熵不纯度和Gini不纯度。

《决策树与随机森林》课件

《决策树与随机森林》课件

交叉验证
使用交叉验证来评估模型的泛化能力，以避 免过拟合。
随机森林的参数调整
1 2
决策树数量
调整决策树的数量，以找到最优的模型性能。
特征子集大小
调整在每一步分裂中选择的特征子集大小，以找 到最优的模型性能。
3
决策树深度
调整决策树的深度限制，以防止过拟合或欠拟合 。
05
决策树与随机森林的应用场景
分类问题
THANKS
感谢观看
随机森林的优缺点
可解释性强
每棵决策树都可以单独解释，有助于理解模型的工作原理。
鲁棒
对异常值和噪声具有较强的鲁棒性。
随机森林的优缺点
对参数敏感
随机森林中的参数如树的数量、特征选择比例等对模型性能影响较大。
可能产生过拟合
当数据集较小或特征过多时，随机森林可能产生过拟合。
04
随机森林算法
随机森林的生成
决策树的基本原理
特征选择
选择最能划分数据集的特征进行分裂，以减少决 策树的深度和复杂度。
剪枝
通过去除部分分支来降低过拟合的风险，提高模 型的泛化能力。
决策规则
将每个叶子节点映射到一个类别或值，根据该节 点所属类别或值进行预测。
决策树的优缺点
优点
易于理解和解释，分类效果好，对异常值和缺失值容忍度高 。
在构建每棵决策树时，随 机选择一部分特征进行划 分，增加模型的泛化能力 。
多样性
通过生成多棵决策树，增 加模型的多样性，降低过 拟合的风险。
集成学习
将多棵决策树的预测结果 进行汇总，利用投票等方 式决定最终输出，提高分 类任务的准确率。
随机森林的优缺点
高效
能够处理大规模数据集，计算效率高 。

大数据挖掘与应用 第7章 随机森林分类算法

大数据挖掘与应用 第7章 随机森林分类算法
第7章 随机森林分类算法
7.1随机森林算法原理
由于传统的很多分类方法具有精度不高且容易出 现过拟合的问题，因此可以通过聚集多个模型的 方法来提高预测精度，这种方法称为组合 （ensemble）或分类器组合（classifier combination）方法。该类方法首先利用训练集数 据构建一组基本的分类模型（base classifier）， 然后通过对每个基分类模型的预测值进行投票 （因变量为分类或离散变量时）或取平均值（因 变量为连续数值变量）来决定最终预测值。
随机森林的字段信息与参数设置如下图所示，其中，字段设 置前三项在第六章已有解释，这里没有权重列，故权重列列 名可不填写，标签列选择的是“label”列，参数设置中需要 注意的有，单棵树的算法在随机森林中的位置，如果有则长 度为2.比如有n棵树，algorithmTypes=[a,b], 则[0,a) 是 id3, [a,b) 是cart， [b,n) 是c4.5。例如：在一个拥有5棵 树的森林中，[2, 4]表示0，1为id3算法，2, 3为cart算法， 4为c4.5算法。如果输入为None，则算法在森林中均分；单棵 树随机特征数，为单棵树在生成时，每次分列时选择的随机 的特征个数。
程序运行结果如图7-3所示。
图 7-3 随机森林程序运行结果图
当测试的数据是Age=Youth,Income=Low，Student=No， careditRating=Fair时，从运行结果得到两个决策树，两个决策树对每 个属性值都作出了准确的预测；最后的给的预测结果是Yes，也就是会 买电脑。
7.4基于阿里云数加平台的随机森 林分类实例
随机森林是一个包含多个 决策树的分类器， 并且其 输出的类别是由单棵树输 出的类别的众数而定，其 操作思路与逻辑回归分类 算法一致。这里使用第五 章中的数据来操作随机森 林算法，其流程图为，下 图左侧数据为带有标签的 训练集，右侧为不带标签 的预测集。

随机森林算法PPT课件

随机森林算法PPT课件
随机森林算法主要包括决策树的生长和投票过程
第2页/共16页
决策树的Hale Waihona Puke 长 生长步骤：第3页/共16页
决策树的生长 3、分类树为了达到低偏差和高差异而要充分生长，使每个 节点的不纯度达到最小，不进行通常的剪枝操作。
第4页/共16页
投票过程
投票过程 随机森林采用Bagging方法生成多个决策树分类器。
目录
随机森林算法 决策树的生长 投票过程 基于随机森林算法的故障诊断
第1页/共16页
随机森林算法
简单地说，随机森林就是用随机的方式建立一个森 林，森林里面有很多的决策树组成，随机森林的每一棵 决策树之间是没有关联的。在得到森林之后，当有一个 新的输入样本进入的时候，就让森林中的每一棵决策树 分别进行一下判断，看看这个样本应该属于哪一类（对 于分类算法），然后看看哪一类被选择最多，就预测这 个样本为那一类。
基本思想:
• 给定一个弱学习算法,和一个训练集; • 单个弱学习算法准确率不高; • 将该学习算法使用多次,得出预测函数序列,
进行投票; • 最后结果准确率将得到提高.
第5页/共16页
投票过程
算法: For t = 1, 2, …, T Do
从数据集S中取样（放回选样） 训练得到模型Ht 对未知样本X分类时,每个模型Ht都得出一个分 类，得票最高的即为未知样本X的分类 也可通过得票的平均值用于连续值的预测
第6页/共16页
投票过程
x
C1
c1(x)
train
S1
C*
c*(x) = maxcntt ct(x)
C2 c2(x) train
S2
… …
CT cT(x) train

随机森林.ppt

随机森林.ppt
可以得到变量重要性排序（两种：基于OOB误分 率的增加量和基于分裂时的分类节点纯度下降 量）
两个重要的代码
randomForest
主要参数是ntree，mtry
Predict
第一步，随机森林的安装
随机森林是基于R语言运行，安装过程分两步： 1.ubuntu系统下首先安装R语言包。
用一行代码。 sudo apt-get install R 然后ubuntu系统就自动的帮你安装完R。 2.安装random forest 意想不到的简单。 打开终端 ，输入R，就算进入到了R语言的编码界面。 在大于号后面入
决策树的定义
Hale Waihona Puke 决策树是这样的一颗树:每个内部节点上选用一个属性进行分割 每个分叉对应一个属性值 每个叶子结点代表一个分类
A1
a11 A2
a12 c1
a21
a22
c1
c2
a13
A3
a31
a32
c2
c1
决策树框架
决策树生成算法分成两个步骤
树的生成
开始，数据都在根节点 递归的进行数据分片
0,mtry=3,proximity=TRUE,importance=TRUE) print(iris.rf) iris.pred<-predict( iris.rf,iris[ind==2,] ) table(observed=iris[ind==2,"Species"],predicted=iris.pred )
随机森林的特点
两个随机性的引入，使得随机森林不容易陷入过 拟合
两个随机性的引入，使得随机森林具有很好的抗 噪声能力
对数据集的适应能力强：既能处理离散型数据， 也能处理连续型数据，数据集无需规范化。

《随机森林简介》PPT课件

《随机森林简介》PPT课件
• 可生成一个Proximities=（pij）矩阵，用于度量样 本之间的相似性： pij=aij/N, aij表示样本i和j出现在 随机森林中同一个叶子结点的次数，N随机森林 中树的颗数。
• 可以得到变量重要性排序（两种：基于OOB误分 率的增加量和基于分裂时的GINI下降量）
主要参考文献
1. J.R. Quinlan. Induction of Decision Trees[J].Machine learning 1986,1:81-106.
基尼指数——Gini index (Classification and Regression Tress,CART,Breiman,1984) • 能够适用于离散和连续值字段
信息增益
• 任意样本分类的期望信息：
– I(s1,s2,……,sm)=－∑Pi log2(pi) (i=1..m)
• 其中，数据集为S，m为S的分类数目， Pi≈|Si/|S|
2. S.L. Salzberg.Book Review:C4.5 Programs for Machine Learning by J.Ross Quinlan[J]. Machine Learning,1994,3:235-240.
3. L.Breiman, J.Friedman,al.et. Classification and Regression Trees[M]. New York: Chapman & Hall,1984.
– 树的生成
• 开始，数据都在根节点 • 递归的进行数据分片
– 树的剪枝
• 防止过拟合
• 决策树使用: 对未知数据进行分割
– 按照决策树上采用的分割属性量
原则：分类效果最好的（或分类最纯的， 或能使树的路径最短）的属性

非线性分类器课件

非线性分类器课件
CNN具有较好的鲁棒性，能够处理不同大小和形状的输入图像，并自动提取关键 特征。
循环神经网络（RNN）与长短期记忆（LSTM）
RNN适用于处理序列数据，如文本、语音等。通过将前一时 刻的隐藏状态作为输入，RNN能够捕捉序列中的时间依赖关 系。
LSTM是RNN的一种改进形式，通过引入记忆单元和遗忘门、 输入门和输出门等机制，有效解决了RNN的梯度消失问题， 提高了长时间依赖关系的捕捉能力。LSTM在自然语言处理、 语音识别等领域有广泛应用。
分类
非线性分类器可以分为基于规则的分类器和基于统计的分类器。基于规则的分 类器如决策树、贝叶斯分类器等，基于统计的分类器如支持向量机、神经网络等。
必要性及应用领域
必要性
在现实世界中，很多数据都是非线性 的，因此使用非线性分类器是必要的。 非线性分类器能够更好地处理复杂的 数据分布，提高分类准确率。
决策树与随机森林
决策树分类器
决策树分类器是一种基于决策树的分 类算法，通过构建决策树来对数据进 行分类。
决策树分类器通过递归地将数据集划 分为更纯的子集，最终形成一棵决策 树。
决策树的每个节点表示一个特征属性 上的判断条件，每个分支代表一个可 能的属性值，每个叶子节点表示一个 类别标签。
决策树分类器具有简单直观、可解释 性强等优点，但也存在容易过拟合、 对噪声数据敏感等缺点。
神经网络
神经网络是一种模拟人脑神经元结构的计算模型，通过多层 感知器对输入数据进行逐层传递和转换，最终输出分类结果。 神经网络具有较强的非线性拟合能力，适用于解决复杂的分 类问题。
支持向量机
基础概念
支持向量机（SVM）是一种监督学习算法，用于分类和回归分析。
01
02
它通过找到能够将不同类别的数据点最大化分隔的决策边界来

基于Hadoop平台的随机森林算法研究及图像分类系统实现PPT课件

基于Hadoop平台的随机森林算法研究及图像分类系统实现PPT课件

第31页/共41页
训练图像
Split0
提取特征 (DenseSift)
Split1
…
Splitn
提取特征 (DenseSift)
…
Kmeans构建词 典
提取特征 (DenseSift)
词袋模型向量
空间金字塔
Bagging <treeID,dataset>
Bagging <treeID,dataset>
第6页/共41页
Hadoop结Biblioteka 示意第7页/共41页MapReduce作业运行
第8页/共41页
• 背景知识 • Hadoop简介 • 图像并行化处理 • DenseSIFT算法提取特征 • BoVW模型和空间金字塔表示图
像 • 构建Random Forest分类器 • 实验结果
第9页/共41页
•
Hadoop是一个开源的、可靠的、可扩展的分布式并行计算框架，主要由分布式文件系统HDFS和
MapReduce并行计算框架组成。
•
随着图像数据量不断增长，海量的图像数据处理是一个十分耗时的过程。Hadoop平台有着优秀的
海量数据处理性能。将大规模的数据处理过程移植到Hadoop平台上是一个很有意义的课题。
最优分裂
建树 <treeID,nodeID, list<feature>>
Random Forest 分类器
第33页/共41页
• 背景知识 • Hadoop简介 • 图像并行化处理 • DenseSIFT算法提取特征 • BoVW模型和空间金字塔表示图
像 • 构建Random Forest分类器 • 实验结果
第20页/共41页

随机森林演示报告PPT

随机森林演示报告PPT

随机森林回归与分类
• 随机森林（random forest）是将多个模型综合起来创建更高性能模型的方法， 主 要应用于回归,也可用于分类。
• 对于一个测试数据，将它投入到随机森林中的不同决策树中，会得到不同的测试结 果。若问题是一个分类问题，则可以通过求众数来得出测试数据的类别；若问题是 一个回归问题，则可以通过求平均值得出测试数据的值。
随机森林算法流程
投票法 对分类任务来说，最常使用的结合策略是投票法(voting )。假设类别的集合为
{c1,c2,…,cn} ，为方便讨论，这里将hi在样本x的预测输出表示为一个N维向量。 1.绝对多数投票法
2. 相 对 多 数 投 票 法 即 预 测 为 得 票 最 多 的 类 别 ， 若 同 时 有 多 个 类 别 获 得 最 高 票 ， 则 从 中 随机选取一个。
目录 CONTENTES
01 集 成 学 习 、 决 策 树 02 算 法 流 程
03 优 缺 点
04 成 果 演 示
集成学习
集成学习通过构建并结合多个学习器来完成学习任务，有时也被 称 为多分类器系统。集成学习是通 过将多个学习器进行结合，可获得比单一学习器显著优越的泛化的性能。
想要获得较好的集成性能，基分类器要满足两个基本条件： （1）基分类器要有一定的性能，至少不差于随机猜测的性能，即基分类器准确率不低于50%。 （2）基学习器要具有多样性，即基学习器间要有差异性，
决策树（decision tree）
随机森林是通过集成学习的思想将多棵树合并到一起的算法，它的基本单元就是决 策树，最终通过多个决策树的“投票”（决策树输出的众数）结果作为最终的输出，
决策树是一种逻辑简单的机器学习算法，它是一种树形结构，所以叫决策树。预测 时，在树的内部节点处用某一属性值进行判断，根据判断结果决定进入哪个分支节点 ， 直到到达叶节点处，得到分类结果。决策树是最简单的机器学习算法，它易于实现， 可解释性强，完全符合人类的直观思维，有着广泛的应用。

机器学习及R应用课件第12章-随机森林

机器学习及R应用课件第12章-随机森林

第12章随机森林第12-13章介绍集成学习(ensemble learning )，也为“组合学习”。

12.1集成学习集成学习的基本问题：如果有一些预测效果一般的“弱学习器”(weak learner)，能否以某种方式将它们组合起来，构成一个预测效果优良的“强学习器”(strong learner)？集成学习的思路类似于“三个臭皮匠，顶个诸葛亮”（wisdom of crowds）。

用于集成学习的弱学习器，也称为“基学习器”(base learner)。

1决策树是最常见的基学习器。

给定数据与算法，则监督学习的估计结果是基本确定的(可能由于随机分组的不同而略有差异)，这可表示为数据算法结果(12.1)+=怎么才能得到不同．．呢？．．结果一种方法是，给定数据，但使用不同的算法，然后将所得的不同结果组合在一起；比如加权平均，而权重以交叉验证来确定。

23 以回归问题为例，假设共有三种不同的算法(比如线性回归、KNN 与决策树)，其预测结果分别为1ˆ()f x ，2ˆ()f x 与3ˆ()f x ；则集成算法的最终预测结果为1122123ˆˆˆˆ()()()(1)()f f f f αααα=++--x x x x(12.2)其中，10α≥，20α≥，且121αα+≤。

最优调节参数1α与2α可通过交叉验证来确定。

由于算法1ˆ()f x ，2ˆ()f x 与3ˆ()f x 皆为集成算法ˆ()f x 的特例，故ˆ()f x 的预测效果肯定优于(至少不差于)这三种单独的算法。

类似地，对于分类问题，则可将不同算法的预测结果，进行加权求和，按多数票规则投票；而投票权重可通过交叉验证确定。

集成学习的另一方式为，给定算法(比如以决策树的CART算法为基学习器)，然后“搅动数据”，得到不同的决策树模型，再组合在一起，即所谓“Perturb + Combine”的模式。

本章介绍的装袋法与随机森林属于这种方式。

4512.2装袋法Breiman(1996)提出“装袋法”(bootstrap aggregating ，简记bagging)。

随机森林算法演示报告PPT

随机森林算法演示报告PPT

随机森林算法实现
1.一个样本容量为N的样本，有放回的抽取N次，每次抽取1个，最终 形成了N个样本。这选择好了的N个样本用来训练一个决策树，作为决策 树根节点处的样本。
2.当每个样本有M个属性时，在决策树的每个节点需要分裂时，随机 从这M个属性中选取出m个属性，满足条件m<<M。然后从这m个属性中采 用某种策略(比如说信息增益)来选择1个属性作为该节点的分裂属性。
随机森林算法原理
主要内容
随机森林实现及步骤 随机森算法的名称清晰地表示出这个过程是通过随机的方式形成了由多个决策 树组成的一片森林。
当新样本作为数据输入到构建完成的森林时，森林中的每一棵决策树就会分别进 行判断，来识别这个样本所属的类别；N棵树就会有N个分类结果，随机森林集成所有 的分类投票结果，统计哪一类别被判定的最多，就预测这个样本为此类别。
3.决策树形成过程中每个节点都要按照步骤2来分裂直到不能够再分 裂为止。注意整个决策树形成过程中没有进行剪枝。
4.按照步骤1~3建立大量的决策树，这样就构成了随机森林了。
随机森林优点：
1. 可产生高准确度的分类器； 2. 处理大量的输入变量； 3. 在判断类别时，可以考虑变量的重要性； 4. 对变量类型十分友好，可以处理离散型也可以处理连续性数据，且如果有 一部分资料遗失，仍然可以保证计算的准确度； 5. 训练速度快。
此处分享一个较为生动的例子来帮助大家理解：某学校进行奖学金评选，如果只 有一个老师（单一决策树）来决定奖学金的归属可能产生不公正现象（过拟合现象）， 但是随机选取多个老师组成评审委员会（随机森林）一起进行筛选（集成），然后进 行投票得出最佳选举结果（拟合），就会较为公正。
随机森林的构建
随机森林的构建有两个方面： 1、数据的随机性选取 2、待选特征的随机选取。

随机森林讲解

随机森林讲解
假设，原始样本是「'苹果','西瓜','香蕉','桃子'］，那么经过 bootstrap sample重构的样本就可能是「西瓜','西瓜','香蕉','桃子'］, 还有可能是［'苹果','西瓜','桃子','桃子']，bootstrap sample生成的数 据集和原始数据集在数据量上是完全一样的，但由于进行了重复采样， 因此其中有一些数据点会丢失。
什么是随机森林
决策树算法很容易出现过拟合的现象。那么为什么随机森林可以解决这 个问题呢？
因为随机森林是把不同的几棵决策树打包到一起，每棵树的参数都不相 同，然后我们把每棵树预测的结果取平均值，这样即可以保留决策树们 的工作成效，又可以降低过拟合的风险。
随机森林的构建
随机森林的构建
bootstrap参数代表的是bootstrap sample,也就是“有放回抽样” 的意思，指每次从样本空间中可以重复抽取同一个样本（因为样本在 第一次被抽取之后又被放回去了）
随机森林的构建
随机森林的构建
可以发现随机森林所进行的分类要更加细腻一些，对训练数据集的拟合 更好。同学们可以自己试试调节n_estimator参数 和random_state参 数,看看分类器的表现会有怎样的变化。
随机森林的优势和不足
在机器学习领域，无论是分类还是回归，随机森林都是应用最广泛的算 法之一
ቤተ መጻሕፍቲ ባይዱ
随机森林的构建
n_estimators这个参数控制的是随机森林中决策树的数量。在随机 森林构建完成之后，每棵决策树都会单独进行预测。如果是用来进行回 归分析的话，随机森林会把所有决策树预测的值取平均数；如果是用来 进行分类的话，在森林内部会进行“投票”，每棵树预测出数据类别的 概率，比如其中一棵树说，“这瓶酒80%属于class_l”,另外一棵树说 "这瓶酒60%属于class_2”,随机森林会把这些概率取平均值，然后把 样本放入概率最高的分类当中。

随机森林(精)

随机森林(精)

随机森林θk）；k=1，......}定义：随机森林是一个分类器，它有一系列的单株树决策器{h（X,，θk}是独立同分布的随机变量。

再输入X时，每一棵树只投一票给来组成,其中{它认为最合适的类。

在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定,构成随机森林的基础分类器称为决策树。

Leo Breiman和Adele Cutler发展出推论出随机森林的算法。

这个术语是1995年由贝尔实验室的Tin Kam Ho所提出的随机决策森林（random decision forests）而来的。

这个方法则是结合Breimans 的"Bootstrap aggregating" 想法和Ho 的"random subspace method"" 以建造决策树的集合。

随机森林是一个组合分类器，构成随机森林的基础分类器是决策树。

决策树算法决策树可以视为一个树状预测模型，它是由结点和有向边组成的层次结构。

树中包含3个节点：根节点。

内部节点，终节点（叶子节点）。

决策树只有一个根节点，是全体训练集的结合。

树中的每个内部节点都是一个分裂问题，它将到达该节点的样本按某个特定的属性进行分割，可以将数据集合分割成2块或若干块。

每个终结点（叶子节点）是带有分裂标签的数据集合，从决策树的根节点到叶子节点的每一条路径都形成一个类；决策树的算法很多，例如ID3算法，CART算法等。

这些算法均采用自上而下的贪婪的算法，每个内部节点选择分类效果最好的属性进行分裂节点，可以分为两个或若干个子节点，继续此过程到这可决策树能够将全部训练数据准确的分类，或所有属性都被用到为止。

具体步骤如下：1)假设T为训练样本集。

2)选择一个最能区分T中样本的一个属性。

3)创建一个数的节点，它的值是所选择的属性，创建此节点的子节点，每个子链代表所选属性的唯一值，适用子链的值进一步将样本细分为子类。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

21/33
2019/3/13
随机森林的生成
有了树我们就可以分类了，但是森林中的每棵树是怎么生成的呢？
每棵树的按照如下规则生成： a. 给定一个训练样本集，数量为N，使用有放回采样到N个样本 ，构成一个新的训练集。注意这里是有放回的采样，所以会采样到重 复的样本。 b.从总量为M的特征向量中，随机选择m个特征（m<M），其 中m可以等于 ，然后计算m个特征的信息增益，选择最优特 征（属性）。注意，这里的随机选择特征是无放回的选择。（在整个 森林的生长过程中， m的值一般维持不变）
随机森林
1/33
2019/3/13
目录
1 2
决策树 集成学习 随机森林 袋外错误率（OOB） 随机森林的简单实例分析
2019/3/13
3
4 5
2/33
决策树
决策树: 1.每个内部节点上选用一个属性进行分割 2.每个分叉对应一个属性值 3.每个叶子结点代表一个分类 如图1所示：
A1 a11 A2 a21 c1 a22 c2 a12 c1
头发 长 短 短 声音 粗 粗 粗 性别 男 男 男
长
短 短 长 长
细
细 粗 粗 粗
女
女 女 女 女
6/33
2019/3/13
决策树
机智的同学A想了想，先根据头发判断，若判断不出，再根据声 音判断，于是画了一幅图，如图2所示：
图2 A同学的决策树 于是，一个简单、直观的决策树就这么出来了。 同学A的决策树：头发长、声音粗就是男生；头发长、声音细就是 女生；头发短、声音粗是男生；头发短、声音细是女生。 7/33 2019/3/13
随机森林的简单实例分析
描述：
根据已有的训练集已经生成了对应的随机森林，随机森林如何利用某一 个人的年龄（Age）、性别（Gender）、教育情况（Highest Educational Qualification）、工作领域（Industry）以及住宅地（ Residence）共5个字段来预测他的收入层次。
13/33
2019/3/13
集成学习
集成学习通过建立几个模型组合的来解决单一预测问题。它的 工作原理是生成多个分类器，各自独立地学习和作出预测。这些预 测最后结合成单预测，因此优于任何一个单分类的做出预测。 随机森林是集成学习的一个子类，它依靠于决策树的投票选择 来决定最后的分类结果。
个体学习器1 个体学习器2 结合 模块 输出
25/33
2019/3/13
随机森林的生成
随机森林分类效果（错误率）与两个因素有关：
1.森林中任意两棵树的相关性：相关性越大，错误率越大；
2.森林中每棵树的分类能力：每棵树的分类能力越强，整个森林的错 误率越低。
减小特征选择个数m，树的相关性和分类能力也会相应的降低； 增大m，两者也会随之增大。所以关键问题是如何选择最优的m（或 者是范围），这也是随机森林唯一的一个参数。
17/33
2019/3/13
什么是随机森林？
其实从直观角度来解释，每棵决策树都是一个分类器（假 设现在针对的是分类问题），那么对于一个输入样本，N棵树 会有N个分类结果。而随机森林集成了所有的分类投票结果， 将投票次数最多的类别指定为最终的输出。
18/33
2019/3/13
随机森林的特点
随机森林的特点：
27/33
2019/3/13
袋外错误率（OOB error）
而这样的采样特点就允许进行袋外估计，它的计算方式如下： a. 对每个样本，计算它作为袋外样本的树对它的分类情况（约1/3 的树）； b. 然后以简单多数投票作为该样本的分类结果；
c. 最后用误分个数占样本总数的比率作为随机森林的袋外错误率。
集成学习
测试例1 H1 H2 H3 √ Х Х 测试例2 Х √ Х 测试例3 Х Х √
集成
Х
Х
Х
（c）集成提升性能
从以上看出：要获得好的集成效果，个体学习器应‘好而 不同’，即个体学习器要有一定的‘准确性’，即学习器不能 太坏，并且要有‘多样性’，即学习器间具有差异。
16/33
2019/3/13
个体学习器T
图4 集成学习结构图
…
14/33
2019/3/13
集成学习
测试例1 H1 H2 √ √ 测试例2 √ Х 测试例3 Х √
H3
集成
Х
√
√
√
√
√
（a）集成提升性能
测试例1 H1 H2 √ √
测试例2 √ √
测试例3 Х Х
H3
集成
√
√
√
√
Х
Х
（b）集成不起作用
15/33
2019/3/13
26/33
2019/3/13
袋外错误率（OOB error）
上面我们提到，构建随机森林的关键问题就是如何选择最优的m，要 解决这个问题主要依据计算袋外错误率。 随机森林有一个重要的优点就是，没有必要对它进行交叉验证或 者用一个独立的测试集来获得误差的一个无偏估计。它可以在内部进 行评估，也就是说在生成的过程中就可以对误差建立一个无偏估计。 在构建每棵树时，我们对训练集使用了不同的bootstrap sample（随机且有放回地抽取）。所以对于每棵树而言（假设对于 第k棵树），大约有1/3的训练实例没有参与第k棵树的生成，它们称 为第k棵树的袋外样本数据。
决策树
这时又蹦出个同学B，想先根据声音判断，然后再根据头发来判 断，如是大手一挥也画了个决策树，如图3所示：
图3 B同学的决策树 同学B的决策树：声音粗、头发长是女生。 8/33 2019/3/13
决策树
那么问题来了：同学A和同学B谁的决策树好些？计算机做 决策树的时候，面对多个特征，该如何选哪个特征为最佳 的划分特征？ 划分数据集的大原则是：将无序的数据变得更加有序。 我们可以使用多种方法划分数据集，但是每种方法都有各 自的优缺点。于是这么想，如果能测量数据的复杂度，对 比按不同特征分类后的数据复杂度，若按某一特征分类后 复杂度减少的更多，那么这个特征即为最佳分类特征。
31/33
2019/3/13
随机森林的简单实例分析
假如要预测的某个人的信息如下： 1. Age : 35 years ; 2. Gender : Male ; 3. Highest Educational Qualification : Diploma holder; 4. Industry : Manufacturing; 5. Residence : Metro.
接着分别计算同学A和同学B分类后信息熵。 同学A首先按头发分类，分类后的结果为：长头发中有1男3女。 短头发中有2男2女。
11/33
2019/3/13
决策树
12/33
2019/3/13
决策树
同理，按同学B的方法，首先按声音特征来分。 分类后的结果为：声音粗中有3男3女。声音细中有0男2女。
按同学B的方法，先按声音特征分类，信息增益更大，区分样本的能 力更强，更具有代表性。
a13
A3 a31 c2 a32 c1
图1 决策树结构图 3/33 2019/3/13
决策树
决策树生成算法分成两个步骤：
（1）树的生成 a.开始，数据都在根节点 b.递归的进行数据分片 （2）树的剪枝 a.防止过拟合
决策树使用: 对未知数据进行分割
按照决策树上采用的分割属性逐层往下，直 到一个叶子节点
22/33
2019/3/13
随机森林的生成
c.有了上面随机产生的样本集，就可以使用一般决策树的构建方 法，得到一棵分类（或者预测）的决策树。需要注意的是，在计算节 点最优分类特征的时候，要使用b中的随机选择特征方法。 d.通过以上三步，可以得到一棵决策树，重复这样的过程H次， 就得到了H棵决策树。然后来了一个测试样本，就可以用每一棵决策 树都对它分类一遍，得到了H个分类结果。这时，使用简单的投票机 制，或者该测试样本的最终分类结果来判别该样本的所属类别。
23/33
2019/3/13
随机森林的生成
一开始提到的随机森林中的“随机”就是指的a和b中的两个随机 性。两个随机性的引入对随机森林的分类性能至关重要。由于它们的 引入，使得随机森林不容易陷入过拟合，并且具有很好得抗噪能力（ 比如：对缺省值不敏感）。 为什么要随机抽样训练集？
如果不进行随机抽样，每棵树的训练集都一样，那么最终训练出的树 分类结果也是完全一样的，这样的话完全没有集成的必要；
4/33
2019/3/13
决策树
优点： 计算复杂度不高，输出结果易于理解，对中间 值的缺失值不敏感，可以处理不相关特征数据。 缺点： 可能会产生过度匹配的问题。 使用数据类型： 数值型和标称型。
5/33
2019/3/13
决策树
例1为决策树的构建流程：
一天，老师问了个问题，只根据头发和声音怎么判断一位同学的 性别 为了解决这个问题，同学们马上简单的统计了7位同学的相关特 征，数据如表1所示： 表1 数据信息表
28/33
2019/3/13
袋外错误率（OOB error）
通俗的来讲就是：
对每颗树，利用未被该树选中的训练样本点，统计该 树的误分率；将所有树的误分率取平均得到随机森林的袋 外错误率。 袋外错误率是随机森林泛化误差的一个无偏估计，它的结 果近似于需要大量计算的k折交叉验证。
29/33
2019/3/13
24/33
2019/3/13
随机森林的生成
为什么要有放回地抽样？ 如果不是有放回的抽样，那么每棵树的训练样本都是不同的，都是没 有交集的，这样每棵树都是"有偏的"，都是"片面的"，也就是说每棵 树训练出来都是有很大的差异的； 而随机森林最后分类取决于多棵树（弱分类器）的投票表决，这种表 决应该是"求同"，因此使用完全不同的训练集来训练每棵树这样对最 终分类结果是没有帮助的。