决策树分类法

分析Technology AnalysisI G I T C W 技术136DIGITCW2021.021 决策树分类算法1.1 C 4.5分类算法的简介及分析C4.5分类算法在我国是应用相对较早的分类算法之一，并且应用非常广泛，所以为了确保其能够满足在对规模相对较大的数据集进行处理的过程中有更好的实用性能，对C4.5分类算法也进行了相应的改进。

C4.5分类算法是假如设一个训练集为T ，在对这个训练集建造相应的决策树的过程中，则可以根据In-formation Gain 值选择合理的分裂节点，并且根据分裂节点的具体属性和标准，可以将训练集分为多个子级，然后分别用不同的字母代替，每一个字母中所含有的元组的类别一致。

而分裂节点就成为了整个决策树的叶子节点，因而将会停止再进行分裂过程，对于不满足训练集中要求条件的其他子集来说，仍然需要按照以上方法继续进行分裂，直到子集所有的元组都属于一个类别，停止分裂流程。

决策树分类算法与统计方法和神经网络分类算法相比较具备以下优点：首先，通过决策树分类算法进行分类，出现的分类规则相对较容易理解，并且在决策树中由于每一个分支都对应不同的分类规则，所以在最终进行分类的过程中，能够说出一个更加便于了解的规则集。

其次，在使用决策树分类算法对数据挖掘中的数据进行相应的分类过程中，与其他分类方法相比，速率更快，效率更高。

最后，决策树分类算法还具有较高的准确度，从而确保在分类的过程中能够提高工作效率和工作质量。

决策树分类算法与其他分类算法相比，虽然具备很多优点，但是也存在一定的缺点，其缺点主要体现在以下几个方面：首先，在进行决策树的构造过程中，由于需要对数据集进行多次的排序和扫描，因此导致在实际工作过程中工作量相对较大，从而可能会使分类算法出现较低能效的问题。

其次，在使用C4.5进行数据集分类的过程中，由于只是用于驻留于内存的数据集进行使用，所以当出现规模相对较大或者不在内存的程序及数据即时无法进行运行和使用，因此，C4.5决策树分类算法具备一定的局限性。

哪些算法是分类算法---------------------------------------------------------------------- 下边是总结的几种常见分类算法，这里只是对几种分类算法的初步认识。

所谓分类，简单来说，就是根据文本的特征或属性，划分到已有的类别中。

常用的分类算法包括：决策树分类法，朴素的贝叶斯分类算法(native Bayesian classifier)、基于支持向量机(SVM)的分类器，神经网络法，k-最近邻法(k-nearest neighbor，kNN)，模糊分类法等等1、决策树决策树是一种用于对实例进行分类的树形结构。

一种依托于策略抉择而建立起来的树。

决策树由节点（node）和有向边（directed edge）组成。

节点的类型有两种：内部节点和叶子节点。

其中，内部节点表示一个特征或属性的测试条件（用于分开具有不同特性的记录），叶子节点表示一个分类。

一旦我们构造了一个决策树模型，以它为基础来进行分类将是非常容易的。

具体做法是，从根节点开始，地实例的某一特征进行测试，根据测试结构将实例分配到其子节点（也就是选择适当的分支）；沿着该分支可能达到叶子节点或者到达另一个内部节点时，那么就使用新的测试条件递归执行下去，直到抵达一个叶子节点。

当到达叶子节点时，我们便得到了最终的分类结果。

从数据产生决策树的机器学习技术叫做决策树学习, 通俗点说就是决策树，说白了，这是一种依托于分类、训练上的预测树，根据已知预测、归类未来。

分类理论的太过抽象，下面举两个浅显易懂的例子：决策树分类的思想类似于找对象。

现想象一个女孩的母亲要给这个女孩介绍男朋友，于是有了下面的对话：女儿：多大年纪了？母亲：26。

女儿：长的帅不帅？母亲：挺帅的。

女儿：收入高不？母亲：不算很高，中等情况。

女儿：是公务员不？母亲：是，在税务局上班呢。

女儿：那好，我去见见。

这个女孩的决策过程就是典型的分类树决策。

决策树算法的使用方法和优化技巧决策树算法是一种可用于解决分类和回归问题的机器学习算法。

通过树状结构的决策流程，它能够对不同的输入变量进行分类或预测输出值。

本文将介绍决策树算法的基本使用方法，并探讨一些优化技巧，以提高算法的性能和准确度。

一、决策树算法的基本使用方法1. 数据准备和处理：在使用决策树算法之前，需要进行数据的准备和处理。

首先，需要对数据集进行清洗，处理丢失的数据、异常值和重复值。

然后，将数据集拆分为训练集和测试集，用训练集来构建决策树模型，并使用测试集来评估模型的性能。

2. 特征选择和划分：特征选择是决策树算法中一个重要的步骤。

在选择特征时，我们需要考虑特征的信息增益或基尼指数，以确定哪个特征对分类问题更加重要。

然后，根据选择的特征，将数据集划分为不同的分支节点。

3. 构建决策树模型：在构建决策树模型时，可采用递归的方式进行。

例如，使用ID3、C4.5或CART算法来生成决策树。

在递归过程中，根据选择的特征和划分的数据集，不断生成新的节点和分支，直到满足停止条件为止。

4. 决策树的剪枝：为了防止决策树过拟合训练数据，需要进行决策树的剪枝。

剪枝可以通过预剪枝或后剪枝来实现。

预剪枝是在构建决策树时，根据一定的规则进行剪枝，例如限制决策树的最大深度或节点数目。

后剪枝是先构建完整的决策树，然后根据交叉验证的结果进行剪枝。

5. 决策树模型的评估：为了评估决策树模型的性能，可以使用一些指标，例如准确度、精确度、召回率和F1值。

这些指标可以帮助我们了解模型对不同类别的分类能力，并选择最合适的模型。

二、决策树算法的优化技巧1. 特征工程：特征工程是提高决策树算法性能的关键一步。

通过对原始特征进行变换、组合、删除或添加新的特征，可以提高决策树模型的表达能力。

例如，可以利用二值化、标准化、one-hot编码等技术对特征进行处理，以便更好地适应决策树算法的要求。

2. 处理缺失值：决策树算法通常能够处理缺失值。

2.2：监督学习的基本分类模型（KNN、决策树、朴素贝叶斯）K近邻分类器(KNN)KNN：通过计算待分类数据点，与已有数据集中的所有数据点的距离。

取距离最⼩的前K个点，根据“少数服从多数“的原则，将这个数据点划分为出现次数最多的那个类别。

sklearn中的K近邻分类器在sklearn库中，可以使⽤sklearn.neighbors.KNeighborsClassifier创建⼀个K近邻分类器，主要参数有：• n_neighbors：⽤于指定分类器中K的⼤⼩(默认值为5，注意与kmeans的区别)• weights：设置选中的K个点对分类结果影响的权重（默认值为平均权重“uniform”，可以选择“distance”代表越近的点权重越⾼，或者传⼊⾃⼰编写的以距离为参数的权重计算函数）• algorithm：设置⽤于计算临近点的⽅法，因为当数据量很⼤的情况下计算当前点和所有点的距离再选出最近的k各点，这个计算量是很费时的，所以（选项中有ball_tree、kd_tree和brute，分别代表不同的寻找邻居的优化算法，默认值为auto，根据训练数据⾃动选择）K近邻分类器的使⽤创建⼀组数据 X 和它对应的标签 y：>>> X = [[0], [1], [2], [3]]>>> y = [0, 0, 1, 1]使⽤ import 语句导⼊ K 近邻分类器：>>> from sklearn.neighbors import KNeighborsClassifier参数 n_neighbors 设置为 3，即使⽤最近的3个邻居作为分类的依据，其他参数保持默认值，并将创建好的实例赋给变量 neigh。

>>> neigh = KNeighborsClassifier(n_neighbors=3)调⽤ fit() 函数，将训练数据 X 和标签 y 送⼊分类器进⾏学习。

实验5 建立决策树并进行分类实验目的通过使用SPSS对数据集进行分析并建立决策树,学会建立决策树的数据处理过程和方法,从而深入地理解分类的一般过程和基本原理，以及如何利用决策树分类解决现实的问题。

实验内容1、建立决策树2、使用决策树对未知类别的数据（集）进行类别预测分析实验条件1.操作系统：Windows XP SP22.SPSS13。

1实验要求1、现有1000位顾客个人信息，主要包括性别、地址、收入、婚姻状况、教育程度、职业等信息（保存在顾客.xls文件中），数据表的结构如下图所示：请你运用SPSS统计分析软件分析数据，并将实验步骤和结果记录到实验报告单上。

（1）以顾客.xls作为训练数据集，收入、职业、年龄为测试属性，是否购买自行车为类别属性，分别选择四种分类方法建立决策树，记录准确率最高的分析结果。

（2）使用分类规则预测预测1.xls中数据所属的类别（是否购买自行车）。

（3）对分类结果和预测结果进行分析。

2、现有2646位顾客的年龄、收入、信用卡数、教育程度、车贷数、信用等级信息（保存在tree_credit.sav中），请你运用SPSS统计分析软件分析数据，并将实验步骤和结果记录到实验报告单上。

（1）分别选择四种分类方法建立决策树，记录准确率最高的分类析果。

（2）使用分类规则预测tree.sav中数据所属的类别（信用等级）。

（3）对分类结果和预测结果进行分析。

实验步骤及指导1、建立决策树第一步：数据准备，将待处理的数据输入或导入SPSS中，本例将顾客.xls导入SPSS 中。

第二步：建立决策树（1）选择统计分析[Statistics]菜单，选聚类分析[Classify]中的树状分析[Classification Tree...]项，弹出树状分析[Classification Tree]对话框，从对话框左侧的变量列表中分别选择类别属性和测试属性进入右侧类别属性[Dependent Variable]和测试属性[Independent Variable]框中。