随机森林模型在生存分析中的应用 【摘要】目的：本文探讨随机森林方法用于高维度、强相关、小样本的生 存资料分析时，可以起到变量筛选的作用。方法：以乳腺癌数据集构建乳腺癌转 移风险评估模型为实例进行实证分析， 使用随机森林模型进行变量选择，然后拟 合cox 回归模型。 结果：随机森林模型通过对变量的选择，有效的解决数据维 度高且强相关的情况，得到了较高的 AUC 值。 一、数据说明 该乳腺癌数据集来自于NCBI ,有77个观测值以及22286个基因变量。通过 筛选选取454个基因变量。将数据随机分为训练集合测试集，其中2/3为训练集, 1/3为测试集。绘制K-M 曲线图： 二、随机森林模型 随机森林由许多的决策树组成，因为这些决策树的形成采用了随机的方法， 因此也叫做随机决策树。随机森林中的树之间是没有关联的。当测试数据进入随 机森林时，其实就是让每一颗决策树进行分类，最后取所有决策树中分类结果最 多的那类为最终的结果。因此随机森林是一个包含多个决策树的分类器， 并且其 输出的类别是由个别树输出的类别的众数而定 使用randomForestSRC 包得到的随机森林模型具有以下性质： Kaplan-Meker estlmaie wHh 95% conndence bounds S ?2 S
Number of deaths: 27 Number of trees: 800 Mini mum term inal node size: 3 Average no. of term inal no des: 14.4275 No. of variables tried at each split: 3 Total no. of variables: 452 Analysis: RSF Family: surv Splitting rule: logrank Error rate: 19.87% 发现直接使用随机森林得到的模型，预测误差很大，达到了19.8%进一步考虑使用随机森林模型进行变量选择，结果如下： > our.rf$rfsrc.refit.obj Sample size: 52 Number of deaths: 19 Number of trees: 500 Minimum terminal node size: 2 Average no. of term inal no des: 11.554 No. of variables tried at each split: 3 Total no. of variables: 9 Analysis: RSF Family: surv Splitting rule: logrank *random* Number of random split points: 10 Error rate: 11.4% > our.rf$topvars [1] "213821_s_at" "219778_at" "204690_at" "220788_s_at" "202202_s_at" [6] "211603_s_at" "213055_at" "219336_s_at" "37892_at" 一共选取了9个变量，同时误差只有11.4% 接下来，使用这些变量做cox回归，剔除模型中不显著(>0.01 )的变量，最终 参与模型建立的变量共有4个。模型结果如下： exp(coef) exp(-coef) lower .95 upper .95 '218150_at' 1.6541 0.6046 0.11086 24.6800 '200914_x_at' 0.9915 1.0086 0.34094 2.8833 '220788_s_at' 0.2649 3.7750 0.05944 1.1805 '201398_s_at' 1.7457 0.5729 0.33109 9.2038 '201719 s at' 2.4708 0.4047 0.93808 6.5081
学习算法 根据下列算法而建造每棵树： 1. 用N 来表示训练例子的个数，M表示变量的数目。 2. 我们会被告知一个数m ，被用来决定当在一个节点上做决定时，会使用到多少个变量。m应小于M 3. 从N个训练案例中以可重复取样的方式，取样N次，形成一组训练集（即bootstrap取样）。并使用这棵树来对剩余预测其类别，并评估其误差。 4. 对于每一个节点，随机选择m个基于此点上的变量。根据这m 个变量，计算其最佳的分割方式。 5. 每棵树都会完整成长而不会剪枝（Pruning）（这有可能在建完一棵正常树状分类器后会被采用）。 优点 随机森林的优点有： 1. 对于很多种资料，它可以产生高准确度的分类器。 2. 它可以处理大量的输入变量。 3. 它可以在决定类别时，评估变量的重要性。 4. 在建造森林时，它可以在内部对于一般化后的误差产生不偏差的估计。 5. 它包含一个好方法可以估计遗失的资料，并且，如果有很大一部分的资料遗失，仍可以维持准确度。 6. 它提供一个实验方法，可以去侦测variable interactions 。 7. 对于不平衡的分类资料集来说，它可以平衡误差。 8. 它计算各例中的亲近度，对于数据挖掘、侦测偏离者（outlier）和将资料视觉化非常有用。 9. 使用上述。它可被延伸应用在未标记的资料上，这类资料通常是使用非监督式聚类。也可侦测偏离者和观看资料。 10. 学习过程是很快速的。 缺点 1. 随机森林已经被证明在某些噪音较大的分类或回归问题上会过拟 2. 对于有不同级别的属性的数据，级别划分较多的属性会对随机森林产生更大的影响，所以随机森林在这种数据上产出的属性权值是不可信的。
随机森林 定义：随机森林是一个分类器，它有一系列的单株树决策器{h （X,，θk ）；k=1，......} 来组成,其中{θk }是独立同分布的随机变量。再输入X 时，每一棵树只投一票给它认为最合适的类。在机器学习中，随机森林是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定,构成随机森林的基础分类器称为决策树。 Leo Breiman 和Adele Cutler 发展出推论出随机森林的算法。 这个术语是1995年由贝尔实验室的Tin Kam Ho 所提出的随机决策森林（random decision forests ）而来的。这个方法则是结合 Breimans 的 "Bootstrap aggregating" 想法和 Ho 的"random subspace method"" 以建造决策树的集合。 随机森林是一个组合分类器，构成随机森林的基础分类器是决策树。 决策树算法 决策树可以视为一个树状预测模型，它是由结点和有向边组成的层次结构。树中包含3个节点：根节点。内部节点，终节点（叶子节点）。决策树只有一个根节点，是全体训练集的结合。树中的每个内部节点都是一个分裂问题，它将到达该节点的样本按某个特定的属性进行分割，可以将数据集合分割成2块或若干块。每个终结点（叶子节点）是带有分裂标签的数据集合，从决策树的根节点到叶子节点的每一条路径都形成一个类；决策树的算法很多，例如ID3算法，CART 算法等。这些算法均采用自上而下的贪婪的算法，每个内部节点选择分类效果最好的属性进行分裂节点，可以分为两个或若干个子节点，继续此过程到这可决策树能够将全部训练数据准确的分类，或所有属性都被用到为止。具体步骤如下： 1)假设T 为训练样本集。 2)选择一个最能区分T 中样本的一个属性。 3)创建一个数的节点，它的值是所选择的属性，创建此节点的子节点，每个子链代表所选属性的唯一值，适用子链的值进一步将样本细分为子类。 对于3)创建的三个子类 （1）如果子类的样本满足预定义的标准，或者树的这条路的剩余可选属性集为空，为沿此路径的新的样本指定类别。 （2）如果子类不满足于定义的标准，或者至少有一个属性能细分树的路径，设T 为当前子类样本的集合，返回步骤2），以下简单的给出二分树的结构图示： 根节点 中间节点 叶节点 规则1 叶节点 规则2 中间节点
一、RF原理解释： 首先，从给定的训练集通过多次随机的可重复的采样得到多个bootstrap 数据集。接着，对每个 bootstrap 数据集构造一棵决策树，构造是通过迭代的将数据点分到左右两个子集中实现的，这个分割过程是一个搜 索分割函数的参数空间以寻求最大信息增量意义下最佳参数的过程。然后，在每个叶节点处通过统计训练 集中达到此叶节点的分类标签的直方图经验的估计此叶节点上的类分布。这样的迭代训练过程一直执行到 用户设定的最大树深度（随机森林提出者Breiman采用的是 ntree=500 ）或者直到不能通过继续分割获取更 大的信息增益为止，网上的代码中作者都是对树的最大深度设置了最大值。 二、函数，参数的中文解释 function model = classRF_train(X,Y,ntree,mtry, extra_options) 随机森林中模型的训练 X, 表示输入的数据矩阵 Y 输出 Ntree 设置的树的数目 Mtry 的默认值为 floor(sqrt(size(X,2)) ，表示不超过矩阵X列数的二次开根值的整数。 extra_options 包含很多控制RF的项 取值为 1或0，默认值为1，表示是否做变量替换 表示预先知道的类，函数首先得到一个升序排列的标签然后给先前的类 同样的排序。 只在分类器中使用的一个向量，长度等于类的数目。对类的观察值是取 对cutoff 投票占的的最大比例的一个。 用于分层抽样 样本的长度 表示终端节点的最小值，这个参数设置得越大会使更小的树生长，耗 时更少。 判断是否需要对预测器的importance 进行评估 决定是否对casewise 的重要性度量进行计算 判别是否计算行之间的距离 判断是否计算out-of-bag 如果设定为TRUE，当随机森林运行的时候输出更多冗长的数据。如果 设置为一些整数，输出每个追踪树。 通过树的数目矩阵跟踪每个样本在树上的in-bag 。 norm_votes 统计每一类的投票数 importance 对于分类器来说是一个列数等于类别数加二，第一列计算精度下降值。在ncalss+1列表示所有类平均精度减少值。最后一列表示Gini 指数平均减小值。在随机森林用于回归的应用 中importance 表示的含义又不一样，我们只用到分类的作用，所以对回归的含义不做介绍。importanceSD 标准差 localImp 包含importance 标准化残差测量值的矩阵 ntree 生长的树的数目 mtry 在每一个分裂节点处样本预测器的个数。 Votes 一个矩阵，行表示每一个输入数据点，列表示每一类，记录投票数。 Proximity 如果proximity=TRUE 表示随机森林被调用。
随机森林原理解释及其中各个参数的含义中文 解释 The document was finally revised on 2021
一、RF原理解释： 首先，从给定的训练集通过多次随机的可重复的采样得到多个 bootstrap 数据集。接着，对每个bootstrap 数据集构造一棵决策树，构造是通过迭代的将数据点分到左右两个子集中实现的，这个分割过程是一个搜索分割函数的参数空间以寻求最大信息增量意义下最佳参数的过程。然后，在每个叶节点处通过统计训练集中达到此叶节点的分类标签的直方图经验的估计此叶节点上的类分布。这样的迭代训练过程一直执行到用户设定的最大树深度（随机森林提出者Breiman采用的是ntree=500）或者直到不能通过继续分割获取更大的信息增益为止，网上的代码中作者都是对树的最大深度设置了最大值。 二、函数，参数的中文解释 function model = classRF_train(X,Y,ntree,mtry, extra_options) 随机森林中模型的训练 X,表示输入的数据矩阵 Y输出 Ntree 设置的树的数目 Mtry的默认值为 floor(sqrt(size(X,2))，表示不超过矩阵X列数的二次开根值的整数。 extra_options 包含很多控制RF的项 取值为1或0，默认值为1，表示是否做变量替换 表示预先知道的类，函数首先得到一个升序排列的标签然后给先前的类同样的排序。 只在分类器中使用的一个向量，长度等于类的数目。对类的观察值是取对cutoff投票占的的最大比例的一个。 用于分层抽样 样本的长度 表示终端节点的最小值，这个参数设置得越大会使更小的树生长，耗时更少。 判断是否需要对预测器的importance进行评估 决定是否对casewise的重要性度量进行计算 判别是否计算行之间的距离 判断是否计算out-of-bag 如果设定为TRUE，当随机森林运行的时候输出更多冗长的数据。如果设置为一些整数，输出每个追踪树。 通过树的数目矩阵跟踪每个样本在树上的in-bag。 norm_votes 统计每一类的投票数 importance 对于分类器来说是一个列数等于类别数加二，第一列计算精度下降值。在ncalss+1列表示所有类平均精度减少值。最后一列表示Gini指数平均减小值。在随机森林用于回归的应用中importance表示的含义又不一样，我们只用到分类的作用，所以对回归的含义不做介绍。importanceSD 标准差 localImp 包含importance标准化残差测量值的矩阵 ntree 生长的树的数目 mtry 在每一个分裂节点处样本预测器的个数。 Votes 一个矩阵，行表示每一个输入数据点，列表示每一类，记录投票数。 Proximity 如果proximity=TRUE表示随机森林被调用。 Combine 把树结合起来
随机森林 基础内容： 这里只是准备简单谈谈基础的内容，主要参考一下别人的文章，对于随机森林与GBDT，有两个地方比较重要，首先是information gain，其次是决策树。这里特别推荐Andrew Moore大牛的Decision Trees Tutorial，与Information Gain Tutorial。Moore的Data Mining Tutorial系列非常赞，看懂了上面说的两个内容之后的文章才能继续读下去。 决策树实际上是将空间用超平面进行划分的一种方法，每次分割的时候，都将当前的空间一分为二，比如说下面的决策树： 就是将空间划分成下面的样子： 这样使得每一个叶子节点都是在空间中的一个不相交的区域，在进行决策的时候，会根据输入样本每一维feature的值，一步一步往下，最后使得样本落入N个区域中的一个（假设有N个叶子节点） 随机森林(Random Forest):
随机森林是一个最近比较火的算法，它有很多的优点： ?在数据集上表现良好 ?在当前的很多数据集上，相对其他算法有着很大的优势 ?它能够处理很高维度（feature很多）的数据，并且不用做特征选择 ?在训练完后，它能够给出哪些feature比较重要 ?在创建随机森林的时候，对generlization error使用的是无偏估计 ?训练速度快 ?在训练过程中，能够检测到feature间的互相影响 ?容易做成并行化方法 ?实现比较简单 随机森林顾名思义，是用随机的方式建立一个森林，森林里面有很多的决策树组成，随机森林的每一棵决策树之间是没有关联的。在得到森林之后，当有一个新的输入样本进入的时候，就让森林中的每一棵决策树分别进行一下判断，看看这个样本应该属于哪一类（对于分类算法），然后看看哪一类被选择最多，就预测这个样本为那一类。 在建立每一棵决策树的过程中，有两点需要注意- 采样与完全分裂。首先是两个随机采样的过程，random forest对输入的数据要进行行、列的采样。对于行采样，采用有放回的方式，也就是在采样得到的样本集合中，可能有重复的样本。假设输入样本为N个，那么采样的样本也为N个。这样使得在训练的时候，每一棵树的输入样本都不是全部的样本，使得相对不容易出现over-fitting。然后进行列采样，从M 个feature中，选择m个(m << M)。之后就是对采样之后的数据使用完全分裂的方式建立出决策树，这样决策树的某一个叶子节点要么是无法继续分裂的，要么里面的所有样本的都是指向的同一个分类。一般很多的决策树算法都一个重要的步骤- 剪枝，但是这里不这样干，由于之前的两个随机采样的过程保证了随机性，所以就算不剪枝，也不会出现over-fitting。 按这种算法得到的随机森林中的每一棵都是很弱的，但是大家组合起来就很厉害了。我觉得可以这样比喻随机森林算法：每一棵决策树就是一个精通于某一个窄领域的专家（因为我们从M个feature中选择m让每一棵决策树进行学习），这样在随机森林中就有了很多个精通不同领域的专家，对一个新的问题（新的输入数据），可以用不同的角度去看待它，最终由各个专家，投票得到结果。 随机森林的过程请参考Mahout的random forest。这个页面上写的比较清楚了，其中可能不明白的就是Information Gain，可以看看之前推荐过的Moore的页面。
随机森林算法介绍及R语言实现 随机森林算法介绍 算法介绍： 简单的说，随机森林就是用随机的方式建立一个森林，森林里面有很多的决策树，并且每棵树之间是没有关联的。得到一个森林后，当有一个新的样本输入，森林中的每一棵决策树会分别进行一下判断，进行类别归类（针对分类算法），最后比较一下被判定哪一类最多，就预测该样本为哪一类。 随机森林算法有两个主要环节：决策树的生长和投票过程。 决策树生长步骤： 1.从容量为N的原始训练样本数据中采取放回抽样方式(即bootstrap取样) 随机抽取自助样本集，重复k（树的数目为k）次形成一个新的训练集N，以此生成一棵分类树； 2.每个自助样本集生长为单棵分类树，该自助样本集是单棵分类树的全部训 练数据。设有M个输入特征，则在树的每个节点处从M个特征中随机挑选m(m < M)个特征，按照节点不纯度最小的原则从这m个特征中选出一个特征进行分枝生长，然后再分别递归调用上述过程构造各个分枝，直到这棵树能准确地分类训练集或所有属性都已被使用过。在整个森林的生长过程中m将保持恒定； 3.分类树为了达到低偏差和高差异而要充分生长，使每个节点的不纯度达到 最小，不进行通常的剪枝操作。 投票过程： 随机森林采用Bagging方法生成多个决策树分类器。 基本思想： 1.给定一个弱学习算法和一个训练集，单个弱学习算法准确率不高，可以视 为一个窄领域专家； 2.将该学习算法使用多次，得出预测函数序列，进行投票，将多个窄领域专 家评估结果汇总，最后结果准确率将大幅提升。 随机森林的优点： ?可以处理大量的输入变量; ?对于很多种资料，可以产生高准确度的分类器; ?可以在决定类别时，评估变量的重要性; ?在建造森林时，可以在内部对于一般化后的误差产生不偏差的估计;
2016年第21期 信息与电脑 China Computer&Communication 计算机工程应用技术 随机森林与逻辑回归模型在违约预测中的应用 刘开元 （广州大学 计算机科学与教育软件学院，广东 广州 510006） 摘 要：近几年来随着国家经济以及汽车消费信贷市场的发展，贷款违约问题逐渐成为各家信贷机构关注的焦点。目前，汽车信贷违约预测的方法还不够完善，为了建立起一套行之有效的模型，笔者通过将随机森林组合算法与逻辑回归相结合，对某商业银行的汽车信贷数据进行分析，构建了一个易于解释且实用的违约判别模型。 关键词：随机森林；逻辑回归；违约预测；汽车贷款 中图分类号：P642.22 文献标识码：A 文章编号：1003-9767（2016）21-111-02 １ 引言 21世纪初，车辆信贷市场在国内打开，许多银行预感汽车信贷的获利机遇，纷纷开始进入车贷市场。在接下来的几年里，车辆信贷业务发展迅猛，仅仅两年多的时间里，银行车辆信贷业务增加了数倍，据统计，仅2003年车贷额就增加30亿左右，平均每月增加2亿至3亿，最多的月增加达到6亿多。2003年底，上海一个市的银行发放汽车贷款超过80亿。然而在车贷市场迅猛发展的同时，车贷违约问题逐渐暴露出来，因为车贷风险要比房贷来得快而高，车贷风险释放使银行违约率上升的同时，车贷坏账最终的受害者也是银行本身。为了降低坏账率，构建一个适用的违约判别模型就成为了各家信贷机构关注的重大点。本文在传统决策树模型的基础上引入随机森林组合算法，使得模型在易于解释的同时能得到更好的预测结果。 ２ 随机森林与逻辑回归组合模型 2.1 决策树与随机森林 决策树是一个贪婪算法，它代表的是对象属性与对象值之间的一种映射关系。决策树通过熵增益率或Gini 系数下降幅度对对象属性进行分组判断，理想的分组应尽量使两组输出变量值的Gini 系数下降幅度或熵增益率最大。 Gini 系数表达式为：2 1i Gini p =?∑。信息熵表达式为：2log ()i i info p p =∑。 其中为样本类别在当前分类样本下出现的频率。 随机森林最早起源于贝尔实验室Tin Kam Ho 提出的随即决策森林（Random Decision Forests ）算法，后由Leo Breiman 和Adele Cutler 提出。随机森林实际上由许多决策树组成，最后分类结果取决于各个决策树分类器的简单多数选举。 随机森林是一个由一组决策树分类器(h (X ,f k (θ)),k =1~K )组成的分类器集合，其中为输入向量集， f (x )表示单个决策树，θk 是服从独立同分布的输入向量集的子集，K 表示随机森林中决策树的个数，在给定自变量X 的情况下，每个决策树通 过投标来决定最优的分类结果。 随机森林算法构造如下： （1）对给定的训练样本，随即可重复取样，形成新的子样本数据； （2）对新的子样本数据中的M 个特征变量随机抽取m (m ＜M )个特征，构造完整的决策树； （3）重复前两个步骤得到K 个决策树，形成随机森林；（4）每个决策树投票，选出最优的分类。随机森林模型如图1 所示。 图１ 随机森林模型 2.2 逻辑回归 逻辑回归是一种广义线性回归（Generalized Linear Model ），因此与多元线性回归分析有很多相同之处。它们的模型形式基本上相同，都具有βx+β0，其中β为权重，β0为阈值，区别在于它们的因变量不同，多元线性回归直接将βx+β0作为因变量，即y =βx+β0，而逻辑回归则通过逻辑函数对表达式进行logit 变换，然后根据阈值设定大小决定因变量的值。 逻辑回归算法构造如下。 （1）对给定的训练样本X 进行多元线性回归得到逻辑回归的输入向量h (x )： 011() i n n h x βββ=+x +...+x （2）对h (x )进行logit 变换，得到预测向量集P ： () 1 1i i h x p e ?= +作者简介：刘开元（1991-），男，安徽宣城人，研究生。研究方向：数据挖掘与算法。 — １１１ —
前言： 决策树这种算法有着很多良好的特性，比如说训练时间复杂度较低，预测的过程比较快速，模型容易展示（容易将得到的决策树做成图片展示出来）等。但是同时，单决策树又有一些不好的地方，比如说容易over-fitting，虽然有一些方法，如剪枝可以减少这种情况，但是还是不够的。 美国金融银行业的大数据算法：随机森林模型+综合模型 模型组合（比如说有Boosting，Bagging等）与决策树相关的算法比较多，这些算法最终的结果是生成N(可能会有几百棵以上）棵树，这样可以大大的减少单决策树带来的毛病，有点类似于三个臭皮匠等于一个诸葛亮的做法，虽然这几百棵决策树中的每一棵都很简单（相对于C4.5这种单决策树来说），但是他们组合起来确是很强大。 在最近几年的paper上，如iccv这种重量级的会议，iccv 09年的里面有不少的文章都是与Boosting与随机森林相关的。模型组合+决策树相关的算法有两种比较基本的形式–随机森林与GBDT((Gradient Boost Decision Tree)，其他的比较新的模型组合+决策树的算法都是来自这两种算法的延伸。本文主要侧重于GBDT，对于随机森林只是大概提提，因为它相对比较简单。 在看本文之前，建议先看看机器学习与数学(3)与其中引用的论文，本文中的GBDT主要基于此，而随机森林相对比较独立。 基础内容： 这里只是准备简单谈谈基础的内容，主要参考一下别人的文章，对于随机森林与GBDT，有两个地方比较重要，首先是information gain，其次是决策树。这里特别推荐Andrew Moore大牛的Decision Trees Tutorial，与Information Gain Tutorial。Moore的Data Mining Tutorial系列非常赞，看懂了上面说的两个内容之后的文章才能继续读下去。 决策树实际上是将空间用超平面进行划分的一种方法，每次分割的时候，都将当前的空间一分为二，比如说下面的决策树：
随机森林 为了克服决策树容易过度拟合的缺点，Breiman（2001）提出了一种新的组合分类器算法——随机森林算法（Random Forests , RF）。他把分类决策树组合成随即森林，即在变量（列）的使用和数据（行）的使用上进行随机化，生成很多分类树，再汇总分类树的结果。随机森林在运算量没有显著提高的前提下提高了预测精度，对多元共线性不敏感，可以很好地预测多达几千个解释变量的作用，被称为当前最好的算法之一。 基本原理 1.随机森林的定义 随机森林是一个由决策树分类器集合{} θ构成的组合分类器模 x ,2,1 k h (= ), , k 型，其中参数集{} θ是独立同分布的随机向量，x是输入向量。当给定输入向量 k 时每个决策树有一票投票权来选择最优分类结果。每一个决策树是由分类回归树（CART）算法构建的未剪枝的决策树。因此与CART相对应，随机森林也分为随机分类森林和随机回归森林。目前，随机分类森林的应用较为普遍，它的最终结果是单棵树分类结果的简单多数投票。而随机回归森林的最终结果是单棵树输出结果的简单平均。 2.随机森林的基本思想 随机森林是通过自助法（Bootstrap）重复采样技术，从原始训练样本集N 中有放回地重复随机抽取k个样本生成新的训练集样本集合，然后根据自助样本生成k决策树组成的随机森林。其实质是对决策树算法的一种改进，将多个决策树合并在一起，每棵树的建立依赖一个独立抽取的样本，森林中的每棵树具有相同的分布，分类误差取决于每一棵树的分类能力和它之间的相关性。 3.随机森林的生成过程 根据随机森林的原理和基本思想，随机森林的生成主要包括以下三个步骤：首先，通过Bootstrap方法在原始样本集S中抽取k个训练样本集，一般情况下每个训练集的样本容量与S一致； 其次，对k个训练集进行学习，以此生成k个决策树模型。在决策树生成过
随机森林 θk）；k=1，......}定义：随机森林是一个分类器，它有一系列的单株树决策器{h（X,， θk}是独立同分布的随机变量。再输入X时，每一棵树只投一票给来组成,其中{ 它认为最合适的类。在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定,构成随机森林的基础分类器称为决策树。Leo Breiman和Adele Cutler发展出推论出随机森林的算法。这个术语是1995年由贝尔实验室的Tin Kam Ho所提出的随机决策森林（random decision forests）而来的。这个方法则是结合Breimans 的"Bootstrap aggregating" 想法和Ho 的"random subspace method"" 以建造决策树的集合。随机森林是一个组合分类器，构成随机森林的基础分类器是决策树。 决策树算法 决策树可以视为一个树状预测模型，它是由结点和有向边组成的层次结构。树中包含3个节点：根节点。内部节点，终节点（叶子节点）。决策树只有一个根节点，是全体训练集的结合。树中的每个内部节点都是一个分裂问题，它将到达该节点的样本按某个特定的属性进行分割，可以将数据集合分割成2块或若干块。每个终结点（叶子节点）是带有分裂标签的数据集合，从决策树的根节点到叶子节点的每一条路径都形成一个类；决策树的算法很多，例如ID3算法，CART算法等。这些算法均采用自上而下的贪婪的算法，每个内部节点选择分类效果最好的属性进行分裂节点，可以分为两个或若干个子节点，继续此过程到这可决策树能够将全部训练数据准确的分类，或所有属性都被用到为止。具体步骤如下： 1)假设T为训练样本集。 2)选择一个最能区分T中样本的一个属性。 3)创建一个数的节点，它的值是所选择的属性，创建此节点的子节点，每个子链代表所选属性的唯一值，适用子链的值进一步将样本细分为子类。 对于3)创建的三个子类 （1）如果子类的样本满足预定义的标准，或者树的这条路的剩余可选属性集为空，为沿此路径的新的样本指定类别。 （2）如果子类不满足于定义的标准，或者至少有一个属性能细分树的路径，设T为当前子类样本的集合，返回步骤2），以下简单的给出二分树的结构图示：