实验算法决策树和随机森林实验
【实验名称】
决策树和随机森林实验
【实验目的】
掌握决策树和随机森林实验模型应用过程，根据模型要求进行数据预处理，建模，评价与应用；【背景描述】
决策树与随机森林，属于监督学习，通过纯化指标的计算，确定分支方式，逐步构建成树形结构。决策树由节点（node）和有向边（directed edge）组成。节点的类型有两种：内部节点和叶子节点。其中，内部节点表示一个特征或属性的测试条件（用于分开具有不同特性的记录），叶子节点表示一个分类。
随机森林顾名思义，是用随机的方式建立一个森林，森林里面有很多的决策树组成，随机森林的每一棵决策树之间是没有关联的。在得到森林之后，当有一个新的输入样本进入的时候，就让森林中的每一棵决策树分别进行一下判断，看看这个样本应该属于哪一类（对于分类算法），然后看看哪一类被选择最多，就预测这个样本为那一类。
【知识准备】
了解决策树与随机森林模型的使用场景，数据标准。了解Python/Spark数据处理一般方法。了解spark模型调用，训练以及应用方法
【实验要求】
完成决策树和随机森林实验
【实验设备】
Windows或Linux操作系统的计算机。部署Spark，Python，本实验提供centos6.8环境。【实验说明】
采用UCI机器学习库中的wine数据集作为算法数据，训练决策树与随机森林模型，对样本进行聚类。
【实验环境】
Spark 2.3.1，Pyrhon3.X，实验在命令行pyspark中进行，或者把代码写在py脚本，由于本次为实验，以学习模型为主，所以在命令行中逐步执行代码，以便更加清晰地了解整个建模流程。【实验步骤】
第一步：启动pyspark：
命令行中键入pyspark --master local[4],本地模式启动spark与python：
第二步：导入用到的包，并读取数据：
(1).将所需导入的包键入Spark Shell中,具体命令:
from pyspark import SparkConf, SparkContext
from pyspark.mllib.evaluation import MulticlassMetrics
from pyspark.mllib.tree import DecisionTree, RandomForest
from pyspark.mllib.regression import LabeledPoint
(2).读取数据源,具体命令(第一行由于word文档篇幅受限,在Spark Shell中必须将他复制成一行,否则会报语法错误,其他命令建议一行一行复制),数据源存放目录为/opt/algorithm/decisionTreeAndRandomForest/wine.txt:
wine_rdd=sc.textFile(u"file:/opt/algorithm/decisionTreeAndRandomForest/wine.txt").map(l ambda x: str(x).split(",")).map(lambda x: [float(z) for z in x])
data = wine_rdd.map(lambda x: LabeledPoint(x[0] - 1, (x[1:])))
(trainData, testData) = data.randomSplit([8.0, 2.0])
第三步：构建模型并应用在测试集，输出测试集准确率
具体命令如下:
(1).建立决策树模型
model = DecisionTree.trainClassifier(trainData,
numClasses=3,
categoricalFeaturesInfo={},
impurity='gini',
maxDepth=5,
maxBins=32,
minInstancesPerNode=1,
minInfoGain=0.0
)
(2).利用建立好的模型做预测
predictions = model.predict(testData.map(lambda x: x.features)) predictionsAndLabels = predictions.zip(testData.map(lambda x: https://www.doczj.com/doc/b31076104.html,bel)) metrics = MulticlassMetrics(predictionsAndLabels)
(3).打印预测信息
print("DecisionTree " + str(metrics.precision()))
第四步：构建随机森林模型并应用在测试集，输出测试集准确率
(1).建立随机森林模型
model_forest = RandomForest.trainClassifier(trainData,
numClasses=3,
categoricalFeaturesInfo={},
numTrees=1000,
featureSubsetStrategy='auto',
impurity='gini',
maxDepth=5,
maxBins=32,
seed=None
)
(2).根据森林模型进行预测
predictions2 = model_forest.predict(testData.map(lambda x: x.features))
predictionsAndLabels2 = predictions2.zip(testData.map(lambda x: https://www.doczj.com/doc/b31076104.html,bel)) (3).打印预测信息
metrics2 = MulticlassMetrics(predictionsAndLabels)
print("RandomForest " + str(metrics2.precision()))
第五步:可以通过spark submit提交整个文件,进行运算,查看结果,命令如下
[root@hadoop]#/opt/spark-2.3.1/bin/spark-submit
/opt/algorithm/decisionTreeAndRandomForest/desionTreeAndRandomForest.py
【问题与回答】
1、Q：分类器是否需要考虑样本平衡问题？
A：当正负样本数量差异巨大，模型的准确率与召回率是矛盾的，例如正负样本9：1，则分类器认为全部样本都为正，则准确率有90%，而召回率分别为100%，0%，这显然是不可取的。对于本例，三个分类样本相当，可不做样本平衡处理
2、Q：样本不平衡怎么处理？
A：不平衡问题在绝大多数分类器中都需要处理，一般处理有2种：
一、过采样与欠采样，通过重复抽样，或者邻近样本生成技术，使得劣势样本的样本量增
加，或者根据特征情况，只抽取部分优势样本，降低优势样本的样本量。
二、惩罚因子，通过加大劣势样本被错分的惩罚力度，让模型训练过程中更好平行准确率
与召回率。
决策树实验 一、实验原理 决策树是一个类似于流程图的树结构，其中每个内部结点表示在一个属性上的测试，每个分支代表一个测试输入，而每个树叶结点代表类或类分布。数的最顶层结点是根结点。一棵典型的决策树如图1所示。它表示概念buys_computer，它预测顾客是否可能购买计算机。内部结点用矩形表示，而树叶结点用椭圆表示。为了对未知的样本分类，样本的属性值在决策树上测试。决策树从根到叶结点的一条路径就对应着一条合取规则，因此决策树容易转化成分类规则。 图1 ID3算法： ■决策树中每一个非叶结点对应着一个非类别属性，树枝代表这个属性的值。一个叶结点代表从树根到叶结点之间的路径对应的记录所属的类别属性值。 ■每一个非叶结点都将与属性中具有最大信息量的非类别属性相关联。 ■采用信息增益来选择能够最好地将样本分类的属性。 信息增益基于信息论中熵的概念。ID3总是选择具有最高信息增益（或最大熵压缩）的属性作为当前结点的测试属性。该属性使得对结果划分中的样本分类所需的信息量最小，并反映划分的最小随机性或“不纯性”。 二、算法伪代码 算法Decision_Tree(data,AttributeName) 输入由离散值属性描述的训练样本集data; 候选属性集合AttributeName。 输出一棵决策树。 （1）创建节点N； （2）If samples 都在同一类C中then （3）返回N作为叶节点，以类C标记； （4）If attribute_list为空then （5）返回N作为叶节点，以samples 中最普遍的类标记；//多数表决 （6）选择attribute_list 中具有最高信息增益的属性test_attribute; （7）以test_attribute 标记节点N； （8）For each test_attribute 的已知值v //划分samples
实验算法决策树和随机森林实验 【实验名称】 决策树和随机森林实验 【实验目的】 掌握决策树和随机森林实验模型应用过程,根据模型要求逬行数据预处理，建模,评价与应用; 【背景描述】 决策树与随机森林，属于监督学习，通过纯化指标的计算，确走分支方式，逐步构建成树形结构。决策树由节点（node ）和有向边（directed edge ）组成。节点的类型有两种：内部节点和叶子节点。具中,内部节点表示一个特征或属性的测试条件（用于分开具有不同特性的记录）,叶子节点表示一个分类。 随机森林顾名思义,是用随机的方式建立一个森林，森林里面有很多的决策树组成,随机森林的每一棵决策树之间是没有关联的。在得到森林之后,当有一个新的输入样本逬入的时候,就让森林中的每一棵决策树分别进行一下判断,看看这个样本应该属于哪一类（对于分类算法）,然后看看哪_类被选择最多,就预测这个样本为那一类。 【知识准备】 了解决策树与随机森林模型的使用场景,数据标准。了解Python/Spark数据处理一般方法。了解spark模型调用，训练以及应用方法 【实验要求】 完成决策树和随机森林实验 【实验设备】
Windows或Linux操作系统的计算机。部署Spark r Python r本实验提供centos6.8环境。【实验说明】 采用UCI机器学习库中的wine数据集作为算法数据，训练决策树与随机森林模型，对样本进行聚类。 【实验坏境】 Spark 23.1 r Pyrhon3.X ,实验在命令行pyspark中进行，或者把代码写在py脚本，由于本次为实验,以学习模型为主，所以在命令行中逐步执行代码，以便更加清晰地了解整个建模流程。【实验步骤】第一步:启动pyspark : 命令行中键入pyspark -master local[4],本地模式启动spark与python :
实验三决策树算法实验 一、实验目的：熟悉和掌握决策树的分类原理、实质和过程；掌握典型的学习算法和实现技术。 二、实验原理: 决策树学习和分类. 三、实验条件： 四、实验内容： 1 根据现实生活中的原型自己创建一个简单的决策树。 2 要求用这个决策树能解决实际分类决策问题。 五、实验步骤： 1、验证性实验： （1）算法伪代码 算法Decision_Tree(data,AttributeName) 输入由离散值属性描述的训练样本集data; 候选属性集合AttributeName。 输出一棵决策树。（1）创建节点N； 资料.
（2）If samples 都在同一类C中then （3）返回N作为叶节点，以类C标记；（4）If attribute_list为空then （5）返回N作为叶节点，以samples 中最普遍的类标记；//多数表决（6）选择attribute_list 中具有最高信息增益的属性test_attribute; （7）以test_attribute 标记节点N； （8）For each test_attribute 的已知值v //划分samples ； （9）由节点N分出一个对应test_attribute=v的分支； （10令Sv为samples中test_attribute=v 的样本集合；//一个划分块（11）If Sv为空then （12）加上一个叶节点，以samples中最普遍的类标记； （13）Else 加入一个由Decision_Tree(Sv,attribute_list-test_attribute)返回节点值。 （2）实验数据预处理 Age:30岁以下标记为“1”；30岁以上50岁以下标记为“2”；50岁以上标记为“3”。 Sex：FEMAL----“1”；MALE----“2” Region：INNER CITY----“1”；TOWN----“2”； RURAL----“3”； SUBURBAN----“4” Income：5000~2万----“1”；2万~4万----“2”；4万以上----“3” Married Children Car Mortgage 资料.
决策树算法的原理与应用 发表时间：2019-02-18T17:17:08.530Z 来源：《科技新时代》2018年12期作者：曹逸知[导读] 在以后，分类问题也是伴随我们生活的主要问题之一，决策树算法也会在更多的领域发挥作用。江苏省宜兴中学江苏宜兴 214200 摘要：在机器学习与大数据飞速发展的21世纪，各种不同的算法成为了推动发展的基石.而作为十大经典算法之一的决策树算法是机器学习中十分重要的一种算法。本文对决策树算法的原理，发展历程以及在现实生活中的基本应用进行介绍，并突出说明了决策树算法所涉及的几种核心技术和几种具有代表性的算法模式。 关键词：机器学习算法决策树 1.决策树算法介绍 1.1算法原理简介 决策树模型是一种用于对数据集进行分类的树形结构。决策树类似于数据结构中的树型结构，主要是有节点和连接节点的边两种结构组成。节点又分为内部节点和叶节点。内部节点表示一个特征或属性, 叶节点表示一个类. 决策树(Decision Tree),又称为判定树, 是一种以树结构(包括二叉树和多叉树)形式表达的预测分析模型，决策树算法被评为十大经典机器学习算法之一[1]。 1.2 发展历程 决策树方法产生于上世纪中旬，到了1975年由J Ross Quinlan提出了ID3算法，作为第一种分类算法模型，在很多数据集上有不错的表现。随着ID3算法的不断发展，1993年J Ross Quinlan提出C4.5算法，算法对于缺失值补充、树型结构剪枝等方面作了较大改进，使得算法能够更好的处理分类和回归问题。决策树算法的发展同时也离不开信息论研究的深入，香农提出的信息熵概念，为ID3算法的核心，信息增益奠定了基础。1984年，Breiman提出了分类回归树算法，使用Gini系数代替了信息熵，并且利用数据来对树模型不断进行优化[2]。2．决策树算法的核心 2.1数据增益 香农在信息论方面的研究，提出了以信息熵来表示事情的不确定性。在数据均匀分布的情况下，熵越大代表事物的越不确定。在ID3算法中，使用信息熵作为判断依据，在建树的过程中，选定某个特征对数据集进行分类后，数据集分类前后信息熵的变化就叫作信息增益，如果使用多个特征对数据集分别进行分类时，信息增益可以衡量特征是否有利于算法对数据集进行分类，从而选择最优的分类方式建树。如果一个随机变量X的可以取值为Xi（i=1…n），那么对于变量X来说，它的熵就是
决策树算法研究及应用? 王桂芹黄道 华东理工大学实验十五楼206室 摘要:信息论是数据挖掘技术的重要指导理论之一,是决策树算法实现的理论依据。决 策树算法是一种逼近离散值目标函数的方法,其实质是在学习的基础上,得到分类规则。本文简要介绍了信息论的基本原理,重点阐述基于信息论的决策树算法,分析了它们目前 主要的代表理论以及存在的问题,并用具体的事例来验证。 关键词:决策树算法分类应用 Study and Application in Decision Tree Algorithm WANG Guiqin HUANG Dao College of Information Science and Engineering, East China University of Science and Technology Abstract:The information theory is one of the basic theories of Data Mining,and also is the theoretical foundation of the Decision Tree Algorithm.Decision Tree Algorithm is a method to approach the discrete-valued objective function.The essential of the method is to obtain a clas-sification rule on the basis of example-based learning.An example is used to sustain the theory. Keywords:Decision Tree; Algorithm; Classification; Application 1 引言 决策树分类算法起源于概念学习系统CLS(Concept Learning System,然后发展 到ID3
随机森林中决策树棵数对性能的影响 %% I. 清空环境变量 clear all clc warning off %% II. 导入数据 load data.mat %% % 1. 随机产生训练集/测试集 a = randperm(569); Train = data(a(1:500),:); Test = data(a(501:end),:); %% % 2. 训练数据 P_train = Train(:,3:end); T_train = Train(:,2);
%% % 3. 测试数据 P_test = Test(:,3:end); T_test = Test(:,2); %% III. 创建随机森林分类器 model = classRF_train(P_train,T_train); %% IV. 仿真测试 [T_sim,votes] = classRF_predict(P_test,model); %% V. 结果分析 count_B = length(find(T_train == 1)); count_M = length(find(T_train == 2)); total_B = length(find(data(:,2) == 1)); total_M = length(find(data(:,2) == 2)); number_B = length(find(T_test == 1)); number_M = length(find(T_test == 2));
number_B_sim = length(find(T_sim == 1 & T_test == 1)); number_M_sim = length(find(T_sim == 2 & T_test == 2)); disp(['病例总数：' num2str(569)... ' 良性：' num2str(total_B)... ' 恶性：' num2str(total_M)]); disp(['训练集病例总数：' num2str(500)... ' 良性：' num2str(count_B)... ' 恶性：' num2str(count_M)]); disp(['测试集病例总数：' num2str(69)... ' 良性：' num2str(number_B)... ' 恶性：' num2str(number_M)]); disp(['良性乳腺肿瘤确诊：' num2str(number_B_sim)... ' 误诊：' num2str(number_B - number_B_sim)... ' 确诊率p1=' num2str(number_B_sim/number_B*100) '%']); disp(['恶性乳腺肿瘤确诊：' num2str(number_M_sim)... ' 误诊：' num2str(number_M - number_M_sim)... ' 确诊率p2=' num2str(number_M_sim/number_M*100) '%']); %% VI. 绘图 figure index = find(T_sim ~= T_test);
实验四决策树 一、实验目的 1.了解典型决策树算法 2.熟悉决策树算法的思路与步骤 3.掌握运用Matlab对数据集做决策树分析的方法 二、实验内容 1.运用Matlab对数据集做决策树分析 三、实验步骤 1.写出对决策树算法的理解 决策树方法是数据挖掘的重要方法之一，它是利用树形结构的特性来对数据进行分类的一种方法。决策树学习从一组无规则、无次序的事例中推理出有用的分类规则，是一种实例为基础的归纳学习算法。决策树首先利用训练数据集合生成一个测试函数，根据不同的权值建立树的分支，即叶子结点，在每个叶子节点下又建立层次结点和分支，如此重利生成决策树，然后对决策树进行剪树处理，最后把决策树转换成规则。决策树的最大优点是直观，以树状图的形式表现预测结果，而且这个结果可以进行解释。决策树主要用于聚类和分类方面的应用。 决策树是一树状结构，它的每一个叶子节点对应着一个分类，非叶子节点对应着在某个属性上的划分，根据样本在该属性上的不同取值将其划分成若干个子集。构造决策树的核心问题是在每一步如何选择适当的属性对样本进行拆分。对一个分类问题，从已知类标记的训练样本中学习并构造出决策树是一个自上而下分而治之的过程。 2.启动Matlab，运用Matlab对数据集进行决策树分析，写出算法名称、数据集名称、关键代码，记录实验过程，实验结果，并分析实验结果 (1)算法名称: ID3算法 ID3算法是最经典的决策树分类算法。ID3算法基于信息熵来选择最佳的测试属性，它选择当前样本集中具有最大信息增益值的属性作为测试属性；样本集的划分则依据测试属性的取值进行，测试属性有多少个不同的取值就将样本集划分为多少个子样本集，同时决策树上相应于该样本集的节点长出新的叶子节点。ID3算法根据信息论的理论，采用划分后样本集的不确定性作为衡量划分好坏的标准，用信息增益值度量不确定性：信息增益值越大，不确定性越小。因此，ID3算法在每个非叶节点选择信息增益最大的属性作为测试属性，这样可以得到当前情况下最纯的划分，从而得到较小的决策树。 ID3算法的具体流程如下： 1）对当前样本集合，计算所有属性的信息增益； 2）选择信息增益最大的属性作为测试属性，把测试属性取值相同的样本划为同一个子样本集； 3）若子样本集的类别属性只含有单个属性，则分支为叶子节点，判断其属性值并标上相应的符号，然后返回调用处；否则对子样本集递归调用本算法。 (2)数据集名称：鸢尾花卉Iris数据集 选择了部分数据集来区分Iris Setosa（山鸢尾）及Iris Versicolour（杂色鸢尾）两个种类。
决策树算法 一、决策树算法简介： 决策树算法是一种逼近离散函数值的方法。它是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。决策树方法的基本思想是：利用训练集数据自动地构造决策树，然后根据这个决策树对任意实例进行判定。其中决策树（Decision Tree）是一种简单但是广泛使用的分类器。通过训练数据构建决策树，可以高效的对未知的数据进行分类。决策数有两大优点：1）决策树模型可以读性好，具有描述性，有助于人工分析；2）效率高，决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。 决策树算法构造决策树来发现数据中蕴涵的分类规则．如何构造精度高、规模小的决策树是决策树算法的核心内容。决策树构造可以分两步进行。第一步，决策树的生成：由训练样本集生成决策树的过程。一般情况下，训练样本数据集是根据实际需要有历史的、有一定综合程度的，用于数据分析处理的数据集。第二步，决策树的剪技：决策树的剪枝是对上一阶段生成的决策树进行检验、校正和修下的过程，主要是用新的样本数扼集（称为测试数据集）中的数据校验决策树生成过程中产生的初步规则，将那些影响预衡准确性的分枝剪除、决策树方法最早产生于上世纪60年代，到70年代末。由J Ross Quinlan 提出了ID3算法，此算法的目的在于减少树的深度。但是忽略了叶子数目的研究。C4.5算法在ID3算法的基础上进行了改进，对于预测变量的缺值处理、剪枝技术、派生规则等方面作了较大改进，既适合于分类问题，又适合于回归问题。 本节将就ID3算法展开分析和实现。 ID3算法： ID3算法最早是由罗斯昆（J. Ross Quinlan）于1975年在悉尼大学提出的一种分类预测算法，算法的核心是“信息熵”。ID3算法通过计算每个属性的信息增益，认为信息增益高的是好属性，每次划分选取信息增益最高的属性为划分标准，重复这个过程，直至生成一个能完美分类训练样例的决策树。 在ID3算法中，决策节点属性的选择运用了信息论中的熵概念作为启发式函数。
随机森林模型在生存分析中的应用 【摘要】目的：本文探讨随机森林方法用于高维度、强相关、小样本的生 存资料分析时，可以起到变量筛选的作用。方法：以乳腺癌数据集构建乳腺癌转 移风险评估模型为实例进行实证分析， 使用随机森林模型进行变量选择，然后拟 合cox 回归模型。 结果：随机森林模型通过对变量的选择，有效的解决数据维 度高且强相关的情况，得到了较高的 AUC 值。 一、数据说明 该乳腺癌数据集来自于NCBI ,有77个观测值以及22286个基因变量。通过 筛选选取454个基因变量。将数据随机分为训练集合测试集，其中2/3为训练集, 1/3为测试集。绘制K-M 曲线图： 二、随机森林模型 随机森林由许多的决策树组成，因为这些决策树的形成采用了随机的方法， 因此也叫做随机决策树。随机森林中的树之间是没有关联的。当测试数据进入随 机森林时，其实就是让每一颗决策树进行分类，最后取所有决策树中分类结果最 多的那类为最终的结果。因此随机森林是一个包含多个决策树的分类器， 并且其 输出的类别是由个别树输出的类别的众数而定 使用randomForestSRC 包得到的随机森林模型具有以下性质： Kaplan-Meker estlmaie wHh 95% conndence bounds S ?2 S
Number of deaths: 27 Number of trees: 800 Mini mum term inal node size: 3 Average no. of term inal no des: 14.4275 No. of variables tried at each split: 3 Total no. of variables: 452 Analysis: RSF Family: surv Splitting rule: logrank Error rate: 19.87% 发现直接使用随机森林得到的模型，预测误差很大，达到了19.8%进一步考虑使用随机森林模型进行变量选择，结果如下： > our.rf$rfsrc.refit.obj Sample size: 52 Number of deaths: 19 Number of trees: 500 Minimum terminal node size: 2 Average no. of term inal no des: 11.554 No. of variables tried at each split: 3 Total no. of variables: 9 Analysis: RSF Family: surv Splitting rule: logrank *random* Number of random split points: 10 Error rate: 11.4% > our.rf$topvars [1] "213821_s_at" "219778_at" "204690_at" "220788_s_at" "202202_s_at" [6] "211603_s_at" "213055_at" "219336_s_at" "37892_at" 一共选取了9个变量，同时误差只有11.4% 接下来，使用这些变量做cox回归，剔除模型中不显著(>0.01 )的变量，最终 参与模型建立的变量共有4个。模型结果如下： exp(coef) exp(-coef) lower .95 upper .95 '218150_at' 1.6541 0.6046 0.11086 24.6800 '200914_x_at' 0.9915 1.0086 0.34094 2.8833 '220788_s_at' 0.2649 3.7750 0.05944 1.1805 '201398_s_at' 1.7457 0.5729 0.33109 9.2038 '201719 s at' 2.4708 0.4047 0.93808 6.5081
实验三-决策树算法实验实验报告
实验三决策树算法实验 一、实验目的：熟悉和掌握决策树的分类原理、实质和过程；掌握典型的学习算法和实现技术。 二、实验原理: 决策树学习和分类. 三、实验条件： 四、实验内容： 1 根据现实生活中的原型自己创建一个简单的决策树。 2 要求用这个决策树能解决实际分类决策问题。 五、实验步骤： 1、验证性实验： （1）算法伪代码 算法Decision_Tree(data,AttributeName) 输入由离散值属性描述的训练样本集
data; 候选属性集合AttributeName。 输出一棵决策树。（1）创建节点N； （2）If samples 都在同一类C中then （3）返回N作为叶节点，以类C标记；（4）If attribute_list为空then （5）返回N作为叶节点，以samples 中最普遍的类标记；//多数表决（6）选择attribute_list 中具有最高信息增益的属性test_attribute; （7）以test_attribute 标记节点N； （8）For each test_attribute 的已知值v //划分samples ； （9）由节点N分出一个对应test_attribute=v的分支； （10令Sv为samples中test_attribute=v 的样本集合；//一个划分块（11）If Sv 为空then （12）加上一个叶节点，以samples中最普遍的类标记； （13）Else 加入一个由Decision_Tree(Sv,attribute_list-test_attribute)返回节点
一、RF原理解释： 首先，从给定的训练集通过多次随机的可重复的采样得到多个bootstrap 数据集。接着，对每个 bootstrap 数据集构造一棵决策树，构造是通过迭代的将数据点分到左右两个子集中实现的，这个分割过程是一个搜 索分割函数的参数空间以寻求最大信息增量意义下最佳参数的过程。然后，在每个叶节点处通过统计训练 集中达到此叶节点的分类标签的直方图经验的估计此叶节点上的类分布。这样的迭代训练过程一直执行到 用户设定的最大树深度（随机森林提出者Breiman采用的是 ntree=500 ）或者直到不能通过继续分割获取更 大的信息增益为止，网上的代码中作者都是对树的最大深度设置了最大值。 二、函数，参数的中文解释 function model = classRF_train(X,Y,ntree,mtry, extra_options) 随机森林中模型的训练 X, 表示输入的数据矩阵 Y 输出 Ntree 设置的树的数目 Mtry 的默认值为 floor(sqrt(size(X,2)) ，表示不超过矩阵X列数的二次开根值的整数。 extra_options 包含很多控制RF的项 取值为 1或0，默认值为1，表示是否做变量替换 表示预先知道的类，函数首先得到一个升序排列的标签然后给先前的类 同样的排序。 只在分类器中使用的一个向量，长度等于类的数目。对类的观察值是取 对cutoff 投票占的的最大比例的一个。 用于分层抽样 样本的长度 表示终端节点的最小值，这个参数设置得越大会使更小的树生长，耗 时更少。 判断是否需要对预测器的importance 进行评估 决定是否对casewise 的重要性度量进行计算 判别是否计算行之间的距离 判断是否计算out-of-bag 如果设定为TRUE，当随机森林运行的时候输出更多冗长的数据。如果 设置为一些整数，输出每个追踪树。 通过树的数目矩阵跟踪每个样本在树上的in-bag 。 norm_votes 统计每一类的投票数 importance 对于分类器来说是一个列数等于类别数加二，第一列计算精度下降值。在ncalss+1列表示所有类平均精度减少值。最后一列表示Gini 指数平均减小值。在随机森林用于回归的应用 中importance 表示的含义又不一样，我们只用到分类的作用，所以对回归的含义不做介绍。importanceSD 标准差 localImp 包含importance 标准化残差测量值的矩阵 ntree 生长的树的数目 mtry 在每一个分裂节点处样本预测器的个数。 Votes 一个矩阵，行表示每一个输入数据点，列表示每一类，记录投票数。 Proximity 如果proximity=TRUE 表示随机森林被调用。
决策树法(Decision Tree） 决策树(decision tree)一般都是自上而下的来生成的。每个决策或事件（即自然状态）都可能引出两个或多个事件，导致不同的结果，把这种决策分支画成图形很像一棵树的枝干，故称决策树。 决策树就是将决策过程各个阶段之间的结构绘制成一张箭线图，我们可以用下图来表示。 选择分割的方法有好几种，但是目的都是一致的：对目标类尝试进行最佳的分割。 从根到叶子节点都有一条路径，这条路径就是一条“规则”。 决策树可以是二叉的，也可以是多叉的。 对每个节点的衡量： 1) 通过该节点的记录数 2) 如果是叶子节点的话，分类的路径 3) 对叶子节点正确分类的比例 有些规则的效果可以比其他的一些规则要好。 决策树的构成要素[1] 决策树的构成有四个要素：(1)决策结点；(2)方案枝；(3)状态结点；(4)概率枝。如图所示：
总之，决策树一般由方块结点、圆形结点、方案枝、概率枝等组成，方块结点称为决策结点，由结点引出若干条细支，每条细支代表一个方案，称为方案枝；圆形结点称为状态结点，由状态结点引出若干条细支，表示不同的自然状态，称为概率枝。每条概率枝代表一种自然状态。在每条细枝上标明客观状态的内容和其出现概率。在概率枝的最末稍标明该方案在该自然状态下所达到的结果(收益值或损失值)。这样树形图由左向右，由简到繁展开，组成一个树状网络图。 决策树对于常规统计方法的优缺点 优点： 1)可以生成可以理解的规则； 2)计算量相对来说不是很大； 3) 可以处理连续和种类字段； 4) 决策树可以清晰的显示哪些字段比较重要。 缺点： 1) 对连续性的字段比较难预测；
随机森林实验报告 实验目的 实现随机森林模型并测试。 实验问题 Kaggle第二次作业Non-linear classification 算法分析与设计 一．算法设计背景: 1.随机森林的原子分类器一般使用决策树，决策树又分为拟合树和分类树。这两者的区别在于代价估值函数的不同。 2.根据经验，用拟合树做分类的效果比分类树略好。 3.对于一个N分类问题,它总是可以被分解为N个2分类问题，这样分解的好处是其决策树更加方便构造，更加简单，且更加有利于用拟合树来构建分类树。对于每一个2分类问题，构造的树又叫CART树，它是一颗二叉树。 4.将N个2分类树的结果进行汇总即可以得到多分类的结果。 树构造：
6.随机森林构造： 二．算法思路： 将一个N分类问题转化为N个二分类问题。转化方法是：构造N棵二叉拟合树，这里假设N为26，然后我们给N棵二叉树依次标号为1，2，3...26。1号树的结果对应于该条记录是不是属于第一类，是则输出1，否则输出号树的结果对应于该条记录是不是属于第二类，是则1否则0，依此类推。这样，我们的26棵二叉树的结果就对应了26个下标。 例如对于某条记录，这26个二叉树的结果按序号排列为{0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，...1,0}，那么这条记录的分类应该为25。要将一个26维的0，1序列变回
一个索引，我们只需要找出这个序列中值最大的元素的索引，这个索引即是序列号。 我们将上面的26棵分别对26个索引做是否判断的二分类树视为一个整体，在多线程的环境下，构造多个这样的整体，然后进行求和运算，最后取出每个结果序列中值最大的元素的下标作为分类值，那么久得到了我们想要的结果，随机森林完成。 三．算法流程： 1.读入训练集trainset,测试集testset 2.将训练集分割为输入trainIn,输出trainOut 3.这里假设类别数N为26，将trainOut[记录条数] 映射为 transformTrainOut[训练记录数][26] 4.初始化transformTestOut[测试记录数][26]全部为0 i = 1 : ForestSize: 策树 在这里，我们每一次26分类是由26棵CART共同完成的，CART的cost function采用的是gini系数，CART的最大层数为7，分裂停止条件为当前节点GINI为0或者当前节点所在层数到达了7. 2.随机森林 a.随机森林每次循环的训练集采样为原训练集的. b.对于森林中每一棵决策树每一次分割点的选取，对属性进行了打乱抽样，抽样数为25，即每次分割只在25个属性中寻找最合适的值。并且对于每个选取的属性，我们进行了行采样。即如果这个属性所拥有的属性值数大于30，我们选取其中30个作为分割候选，如果小于30，则全部纳入分割候选。 四．代码详解 1.训练集/测试集的读入 a.在中定义了：
决策树程序实验 众所周知，数据库技术从20世纪80年代开始，已经得到广泛的普及和应用。随着数据库容量的膨胀，特别是数据仓库以及web等新型数据源的日益普及，人们面临的主要问题不再是缺乏足够的信息可以使用，而是面对浩瀚的数据海洋如何有效地利用这些数据。 从数据中生成分类器的一个特别有效的方法是生成一个决策树（Decision Tree）。决策树表示方法是应用最广泛的逻辑方法之一，它从一组无次序、无规则的事例中推理出决策树表示形式的分类规则。决策树分类方法采用自顶向下的递归方式，在决策树的内部结点进行属性值的比较并根据不同的属性值判断从该结点向下的分支，在决策树的叶结点得到结论。所以从决策树的根到叶结点的一条路径就对应着一条合取规则，整棵决策树就对应着一组析取表达式规则。 决策树是应用非常广泛的分类方法，目前有多种决策树方法，如ID3、CN2、SLIQ、SPRINT等。 一、问题描述 相关信息 决策树是一个类似于流程图的树结构，其中每个内部结点表示在一个属性上的测试，每个分支代表一个测试输入，而每个树叶结点代表类或类分布。数的最顶层结点是根结点。一棵典型的决策树如图1所示。它表示概念buys_computer，它预测顾客是否可能购买计算机。内部结点用矩形表示，而树叶结点用椭圆表示。为了对未知的样本分类，样本的属性值在决策树上测试。决策树从根到叶结点的一条路径就对应着一条合取规则，因此决策树容易转化成分类规则。 图1 ID3算法： ■决策树中每一个非叶结点对应着一个非类别属性，树枝代表这个属性的值。一个叶结点代表从树根到叶结点之间的路径对应的记录所属的类别属性值。 ■每一个非叶结点都将与属性中具有最大信息量的非类别属性相关联。 ■采用信息增益来选择能够最好地将样本分类的属性。 信息增益基于信息论中熵的概念。ID3总是选择具有最高信息增益（或最大熵压缩）的属性作为当前结点的测试属性。该属性使得对结果划分中的样本分类所需的信息量最小，并反映划分的最小随机性或“不纯性”。 问题重述 1、目标概念为“寿险促销” 2、计算每个属性的信息增益 3、确定根节点的测试属性
决策树算法的原理与应用 摘要：在机器学习与大数据飞速发展的21世纪，各种不同的算法成为了推动发 展的基石.而作为十大经典算法之一的决策树算法是机器学习中十分重要的一种算法。本文对决策树算法的原理，发展历程以及在现实生活中的基本应用进行介绍，并突出说明了决策树算法所涉及的几种核心技术和几种具有代表性的算法模式。 关键词：机器学习算法决策树 1.决策树算法介绍 1.1算法原理简介 决策树模型是一种用于对数据集进行分类的树形结构。决策树类似于数据结 构中的树型结构，主要是有节点和连接节点的边两种结构组成。节点又分为内部 节点和叶节点。内部节点表示一个特征或属性, 叶节点表示一个类. 决策树(Decision Tree),又称为判定树, 是一种以树结构(包括二叉树和多叉树)形式表达的 预测分析模型，决策树算法被评为十大经典机器学习算法之一[1]。 1.2 发展历程 决策树方法产生于上世纪中旬，到了1975年由J Ross Quinlan提出了ID3算法，作为第一种分类算法模型，在很多数据集上有不错的表现。随着ID3算法的 不断发展，1993年J Ross Quinlan提出C4.5算法，算法对于缺失值补充、树型结 构剪枝等方面作了较大改进，使得算法能够更好的处理分类和回归问题。决策树 算法的发展同时也离不开信息论研究的深入，香农提出的信息熵概念，为ID3算 法的核心，信息增益奠定了基础。1984年，Breiman提出了分类回归树算法，使 用Gini系数代替了信息熵，并且利用数据来对树模型不断进行优化[2]。 2．决策树算法的核心 2.1数据增益 香农在信息论方面的研究，提出了以信息熵来表示事情的不确定性。在数据 均匀分布的情况下，熵越大代表事物的越不确定。在ID3算法中，使用信息熵作 为判断依据，在建树的过程中，选定某个特征对数据集进行分类后，数据集分类 前后信息熵的变化就叫作信息增益，如果使用多个特征对数据集分别进行分类时，信息增益可以衡量特征是否有利于算法对数据集进行分类，从而选择最优的分类 方式建树。 如果一个随机变量X的可以取值为Xi（i=1…n），那么对于变量X来说，它 的熵就是 在得到基尼指数增益之后，选择基尼指数增益最大的特征来作为当前步骤的 分类依据，在之后的分类中重复迭代使用这一方法来实现模型的构造。 3. 决策树算法的优缺点 3.1决策树算法的优点[3] （1）计算速度快，算法简单，分类依据清晰 （2）在处理数据时，有很高的准确度，同时分类结果清晰，步骤明朗。 （3）可以处理连续和种类字段 （4）适合高维数据 3.2决策树算法的缺点 （1）决策树算法可以帮助使用者创建复杂的树，但是在训练的过程中，如
树模型 决策树：从根节点开始一步步走到叶子节点（决策） 所有的数据最终都会落到叶子节点，既可以做分类也可以做回归
树的组成 根节点：第一个选择点 非叶子节点与分支：中间过程叶子节点：最终的决策结果
决策树的训练与测试 训练阶段：从给定的训练集构造出来一棵树（从跟节点开始选择特征，如何进行特征切分） 测试阶段：根据构造出来的树模型从上到下去走一遍就好了 一旦构造好了决策树，那么分类或者预测任务就很简单了，只需要走一遍就可以了，那么难点就在于如何构造出来一颗树，这就没那么容易了，需要考虑的问题还有很多的！
如何切分特征（选择节点） 问题：根节点的选择该用哪个特征呢？接下来呢？如何切分呢？ 想象一下：我们的目标应该是根节点就像一个老大似的能更好的切分数据（分类的效果更好），根节点下面的节点自然就是二当家了。 目标：通过一种衡量标准，来计算通过不同特征进行分支选择后的分类情况，找出来最好的那个当成根节点，以此类推。
衡量标准-熵 熵：熵是表示随机变量不确定性的度量 （解释：说白了就是物体内部的混乱程度，比如杂货市场里面什么都有那肯定混乱呀，专卖店里面只卖一个牌子的那就稳定多啦） 公式：H(X)=-∑ pi * logpi, i=1,2, ... , n 一个栗子：A集合[1,1,1,1,1,1,1,1,2,2] B集合[1,2,3,4,5,6,7,8,9,1] 显然A集合的熵值要低，因为A里面只有两种类别，相对稳定一些 而B中类别太多了，熵值就会大很多。（在分类任务中我们希望通过节点分支后数据类别的熵值大还是小呢？）
衡量标准-熵 熵：不确定性越大，得到的熵值也就越大 当p=0或p=1时，H(p)=0,随机变量完全没有不确定性当p=0.5时，H(p)=1,此时随机变量的不确定性最大 如何决策一个节点的选择呢？ 信息增益：表示特征X使得类Y的不确定性减少的程度。（分类后的专一性，希望分类后的结果是同类在一起）
理工大学信息工程与自动化学院学生实验报告 （ 2016 — 2017 学年第学期） 信自楼444 一、上机目的及容 目的： 1．理解数据挖掘的基本概念及其过程； 2．理解数据挖掘与数据仓库、OLAP之间的关系 3．理解基本的数据挖掘技术与方法的工作原理与过程，掌握数据挖掘相关工具的使用。 容： 给定AdventureWorksDW数据仓库，构建“Microsoft 决策树”模型，分析客户群中购买自行车的模式。 要求: 利用实验室和指导教师提供的实验软件，认真完成规定的实验容，真实地记录实验中遇到的 二、实验原理及基本技术路线图（方框原理图或程序流程图） 请描述数据挖掘及决策树的相关基本概念、模型等。 1.数据挖掘：从大量的、不完全的、有噪音的、模糊的、随机的数据中，提取隐含在其中的、 人们事先不知道的、但又潜在有用的信息和知识的过程。
项集的频繁模式 分类与预测分类：提出一个分类函数或者分类模型，该模型能把数据库中的数据项 映射到给定类别中的一个； 预测：利用历史数据建立模型，再运用最新数据作为输入值，获得未来 变化趋势或者评估给定样本可能具有的属性值或值的围 聚类分析根据数据的不同特征，将其划分为不同数据类 偏差分析对差异和极端特例的描述，揭示事物偏离常规的异常现象，其基本思想 是寻找观测结果与参照值之间有意义的差别 3.决策树：是一种预测模型，它代表的是对象属性与对象值之间的一种映射关系。树中每个 节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从 根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，若欲有复数输 出，可以建立独立的决策树以处理不同输出。 算法概念 ID3 在实体世界中，每个实体用多个特征来描述。每个特征限于在一 个离散集中取互斥的值 C4.5 对ID3算法进行了改进： 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选 择取值多的属性的不足；在树构造过程中进行剪枝；能够完成对 连续属性的离散化处理；能够对不完整数据进行处理。 三、所用仪器、材料（设备名称、型号、规格等或使用软件） 1台PC及Microsoft SQL Server套件 四、实验方法、步骤（或：程序代码或操作过程） （一）准备 Analysis Services 数据库 1.Analysis Services 项目创建成功
决策树实验指导书 实验目的： 1掌握利用R进行决策树的基本步骤 2更深入理解决策树的应用 实验内容： 说明：本实验采用iris数据集，下面中的数据集如无上下文说明，即是指iris iris以鸢尾花的特征作为数据来源，数据集包含150个数据集，分为3类，每类50个数据，每个数据包含4个属性，是在数据挖掘、数据分类中非常常用的测试集、训练集。 四个属性分别为：花萼长度、花萼宽带、花瓣长度、花瓣宽度 三类分别为:setosa, versicolor, virginica（山鸢尾、变色鸢尾和维吉尼亚鸢尾） 1、加载rpart包 ("rpart") 2、构建决策树,并解释rpart中三个参数的含义 = rpart(Species~., iris, method=“class”) 3、画出决策树 plot, uniform=T, branch=0, margin=, main=" Classification Tree\nIris Species by Petal and Sepal Length")iris .
4、添加决策树的标签 text, =T, fancy=T, col="blue") 5、根据命令table(iris$Species)给出的结果，解释决策树的分类结果 6、用决策树进行预测 生成训练集=iris[2*(1:75)-1,] 生成测试集= iris[2*(1:75),] =rpart(Species~., , method=“class”) =predict, [,-5], type="class") 7、查看预测结果并对结果进行分析，计算出该决策树的accuracy（分类正确的样本数除以总样本数） table[,5],
《机器学习》课内实验报告（1） ID算法实现决策树2015 - 2016学年第 2 学期 专业：智能科学与技术 班级：智能1301班 学号：06133029 姓名：张争辉
一、实验目的： 理解ID3算法的基本原理，并且编程实现。 二、实验要求： 使用C/C++/MATLAB实现ID3算法。 输入： 若干行，每行 5 个字符串，表示 Outlook Temperature Humidity Wind Play ball 如上表。 输出： 决策树。 实验结果如下： 输入： Sunny Hot High Weak No Sunny Hot High Strong No Overcast Hot High Weak Yes Rain Mild High Weak Yes Rain Cool Normal Weak Yes Rain Cool Normal Strong No Overcast Cool Normal Strong Yes Sunny Mild High Weak No Sunny Cool Normal Weak Yes Rain Mild Normal Weak Yes Sunny Mild Normal Strong Yes Overcast Mild High Strong Yes Overcast Hot Normal Weak Yes Rain Mild High Strong No 输出： Outlook Rain Wind Strong No Weak Yes Overcast Yes Sunny Humidity
Normal Yes High No 三、具体实现： 实现算法如下： #include