决策树程序实验
众所周知，数据库技术从20世纪80年代开始，已经得到广泛的普及和应用。随着数据库容量的膨胀，特别是数据仓库以及web等新型数据源的日益普及，人们面临的主要问题不再是缺乏足够的信息可以使用，而是面对浩瀚的数据海洋如何有效地利用这些数据。
从数据中生成分类器的一个特别有效的方法是生成一个决策树（Decision Tree）。决策树表示方法是应用最广泛的逻辑方法之一，它从一组无次序、无规则的事例中推理出决策树表示形式的分类规则。决策树分类方法采用自顶向下的递归方式，在决策树的内部结点进行属性值的比较并根据不同的属性值判断从该结点向下的分支，在决策树的叶结点得到结论。所以从决策树的根到叶结点的一条路径就对应着一条合取规则，整棵决策树就对应着一组析取表达式规则。
决策树是应用非常广泛的分类方法，目前有多种决策树方法，如ID3、CN2、SLIQ、SPRINT等。
一、问题描述
1.1相关信息
决策树是一个类似于流程图的树结构，其中每个内部结点表示在一个属性上的测试，每个分支代表一个测试输入，而每个树叶结点代表类或类分布。数的最顶层结点是根结点。一棵典型的决策树如图1所示。它表示概念buys_computer，它预测顾客是否可能购买计算机。内部结点用矩形表示，而树叶结点用椭圆表示。为了对未知的样本分类，样本的属性值在决策树上测试。决策树从根到叶结点的一条路径就对应着一条合取规则，因此决策树容易转化成分类规则。
图1
ID3算法：
■决策树中每一个非叶结点对应着一个非类别属性，树枝代表这个属性的值。一个叶结点代表从树根到叶结点之间的路径对应的记录所属的类别属性值。
■每一个非叶结点都将与属性中具有最大信息量的非类别属性相关联。
■采用信息增益来选择能够最好地将样本分类的属性。
信息增益基于信息论中熵的概念。ID3总是选择具有最高信息增益（或最大熵压缩）的属性作为当前结点的测试属性。该属性使得对结果划分中的样本分类所需的信息量最小，并反映划分的最小随机性或“不纯性”。
1.2问题重述
1、目标概念为“寿险促销”
2、计算每个属性的信息增益
3、确定根节点的测试属性
模型求解
构造决策树的方法是采用自上而下的递归构造，其思路是：
■以代表训练样本的单个结点开始建树（步骤1）。
■如果样本都在同一类，则该结点成为树叶，并用该类标记（步骤2和3）。■否则，算法使用称为信息增益的机遇熵的度量为启发信息，选择能最好地将样本分类的属性（步骤6）。该属性成为该结点的“测试”或“判定”属性（步骤7）。值得注意的是，在这类算法中，所有的属性都是分类的，即取离散值的。连续值的属性必须离散化。
■对测试属性的每个已知的值，创建一个分支，并据此划分样本（步骤8~10）。
■算法使用同样的过程，递归地形成每个划分上的样本决策树。一旦一个属性出现在一个结点上，就不必考虑该结点的任何后代（步骤13）。
■递归划分步骤，当下列条件之一成立时停止：
（a）给定结点的所有样本属于同一类（步骤2和3）。
（b）没有剩余属性可以用来进一步划分样本（步骤4）。在此情况下，采用多数表决（步骤5）。这涉及将给定的结点转换成树叶，并用samples中的多数所在类别标记它。换一种方式，可以存放结点样本的类分布。
（c）分支test_attribute=a i没有样本。在这种情况下，以samples中的多数类创建一个树叶（步骤12）。
算法Decision_Tree(samples,attribute_list)
输入由离散值属性描述的训练样本集samples;
候选属性集合attribute_list。
输出一棵决策树。
（1）创建节点N；
（2）If samples 都在同一类C中then
（3）返回N作为叶节点，以类C标记；
（4） If attribute_list为空then
（5）返回N作为叶节点，以samples 中最普遍的类标记；//多数表决（6）选择attribute_list 中具有最高信息增益的属性test_attribute; （7）以test_attribute 标记节点N；
（8） For each test_attribute 的已知值v //划分 samples
（9）由节点N分出一个对应test_attribute=v的分支；
（10）令Sv为 samples中 test_attribute=v 的样本集合；//一个划分块
（11） If Sv为空 then
（12）加上一个叶节点，以samples中最普遍的类标记；
（13） Else 加入一个由
Decision_Tree(Sv,attribute_list-test_attribute)返回节点值E(S)=(-9\15)log2(9\15)-(6\15)log2(6\15)=0.971
Values(收入范围)={20-30K,30-40k,40-50K,50-60K}
E(S(20-30K))= (-2\4)log2(2\4)- (2\4)log2(2\4)=1
E(S(30-40K))= (-4\5)log2(4\5)- (1\5)log2(1\5)=0.7219
E(S(40-50K))= (-1\4)log2(1\4)- (3\4)log2(3\4)=0.8113
E(S(50-60K))= (-2\2)log2 (2\2)- (0\2)log2(0\2)=0
所以
E(S,收入范围)=(4/15) E(S(20-30K)) +(5/15) E(S(30-40K)) +(4/15) E(S(40-50K)) +(2/15) E(S(50-60K))=0.7236
Gain(S,收入范围)=0.971-0.7236=0.2474
同理：计算“保险”，“性别”，“年龄”的信息增益为：
E(S)=(-9\15)log2(9\15)-(6\15)log2(6\15)=0.971
Insurance(保险)={yes, no}
E(S(yes))= (-3\3)log2 (3\3)- (0\3)log2(0\3)=0
E(S(no))= (-6\12)log2 (6\12)- (6\12)log2(6\12)=1
E(S, 保险)=(3/15) E(S(yes)) +(12/15) E(S(no)) =0.8
Gain(S, 保险)=0.971-0.8=0.171
E(S)=(-9\15)log2(9\15)-(6\15)log2(6\15)=0.971
sex(性别)={male, female}
E(S(male))= (-3\7)log2 (3\7)- (4\7)log2(4\7)=0.9852
E(S(female))= (-6\8)log2 (6\8)- (2\8)log2(2\8)=0.8113
E(S, 性别)=(7/15) E(S(male)) +(8/15) E(S(female)) =0.8925
Gain(S, 性别)=0.971-0.8925=0.0785
E(S)=(-9\15)log2(9\15)-(6\15)log2(6\15)=0.971
age(年龄)={15~40,41 ~60}
E(S(15~40))= (-6\7)log2 (6\7)- (1\7)log2(1\7)=0.5917
E(S(41 ~60))= (-3\8)log2 (3\8)- (5\8)log2(5\8)=0.9544
E(S, 年龄)=(7/15) E(S(15~40)) +(8/15) E(S(41 ~60)) =0.7851 Gain(S, 年龄)=0.971-0.7851=0.1859
代码
package DecisionTree;
import java.util.ArrayList;
/**
* 决策树结点类
*/
public class TreeNode {
private String name; //节点名（分裂属性的名称）
private ArrayList
ArrayList
private ArrayList
public TreeNode() {
https://www.doczj.com/doc/ac6134058.html, = "";
this.rule = new ArrayList
this.child = new ArrayList
this.datas = null;
this.candAttr = null;
}
public ArrayList
return child;
}
public void setChild(ArrayList
this.child = child;
}
public ArrayList
return rule;
}
public void setRule(ArrayList
this.rule = rule;
}
public String getName() {
return name;
}
public void setName(String name) {
https://www.doczj.com/doc/ac6134058.html, = name;
}
public ArrayList
return datas;
}
public void setDatas(ArrayList
this.datas = datas;
}
public ArrayList
return candAttr;
}
public void setCandAttr(ArrayList
this.candAttr = candAttr;
}
}
package DecisionTree;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.ArrayList;
import java.util.StringTokenizer;
/**
* 决策树算法测试类
*/
public class TestDecisionTree {
/**
* 读取候选属性
* @return 候选属性集合
* @throws IOException
*/
public ArrayList
ArrayList
BufferedReader reader = new BufferedReader(new InputStreamReader(System.in));
String str = "";
while (!(str = reader.readLine()).equals("")) {
StringTokenizer tokenizer = new StringTokenizer(str);
while (tokenizer.hasMoreTokens()) {
candAttr.add(tokenizer.nextToken());
}
}
return candAttr;
}
/**
* 读取训练元组
* @return 训练元组集合
* @throws IOException
*/
public ArrayList
BufferedReader reader = new BufferedReader(new InputStreamReader(System.in));
String str = "";
while (!(str = reader.readLine()).equals("")) {
StringTokenizer tokenizer = new StringTokenizer(str);
ArrayList
while (tokenizer.hasMoreTokens()) {
s.add(tokenizer.nextToken());
}
datas.add(s);
}
return datas;
}
/**
* 递归打印树结构
* @param root 当前待输出信息的结点
*/
public void printTree(TreeNode root){
System.out.println("name:" + root.getName());
ArrayList
System.out.print("node rules: {");
for (int i = 0; i < rules.size(); i++) {
System.out.print(rules.get(i) + " ");
}
System.out.print("}");
System.out.println("");
ArrayList
int size =children.size();
if (size == 0) {
System.out.println("-->leaf node!<--");
} else {
System.out.println("size of children:" + children.size());
for (int i = 0; i < children.size(); i++) {
System.out.print("child " + (i + 1) + " of node " + root.getName() + ": ");
printTree(children.get(i));
}
}
}
/**
* 主函数，程序入口
* @param args
*/
public static void main(String[] args) {
TestDecisionTree tdt = new TestDecisionTree();
ArrayList
ArrayList
try {
System.out.println("请输入候选属性");
candAttr = tdt.readCandAttr();
System.out.println("请输入训练数据");
datas = tdt.readData();
} catch (IOException e) {
e.printStackTrace();
}
DecisionTree tree = new DecisionTree();
TreeNode root = tree.buildTree(datas, candAttr);
tdt.printTree(root);
}
}
package DecisionTree;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.Iterator;
import java.util.Map;
/**
* 选择最佳分裂属性
*/
public class Gain {
private ArrayList
《数据挖掘》Weka实验报告 姓名＿学号＿ 指导教师 开课学期2015 至2016 学年 2 学期完成日期2015年6月12日
1.实验目的 基于https://www.doczj.com/doc/ac6134058.html,/ml/datasets/Breast+Cancer+WiscOnsin+%28Ori- ginal%29的数据，使用数据挖掘中的分类算法，运用Weka平台的基本功能对数据集进行分类，对算法结果进行性能比较，画出性能比较图，另外针对不同数量的训练集进行对比实验，并画出性能比较图训练并测试。 2.实验环境 实验采用Weka平台，数据使用来自https://www.doczj.com/doc/ac6134058.html,/ml/Datasets/Br- east+Cancer+WiscOnsin+%28Original%29，主要使用其中的Breast Cancer Wisc- onsin (Original) Data Set数据。Weka是怀卡托智能分析系统的缩写，该系统由新西兰怀卡托大学开发。Weka使用Java写成的，并且限制在GNU通用公共证书的条件下发布。它可以运行于几乎所有操作平台，是一款免费的，非商业化的机器学习以及数据挖掘软件。Weka提供了一个统一界面，可结合预处理以及后处理方法，将许多不同的学习算法应用于任何所给的数据集，并评估由不同的学习方案所得出的结果。 3.实验步骤 3.1数据预处理 本实验是针对威斯康辛州(原始)的乳腺癌数据集进行分类，该表含有Sample code number（样本代码)，Clump Thickness（丛厚度），Uniformity of Cell Size （均匀的细胞大小），Uniformity of Cell Shape （均匀的细胞形状），Marginal Adhesion（边际粘连），Single Epithelial Cell Size（单一的上皮细胞大小），Bare Nuclei（裸核），Bland Chromatin（平淡的染色质），Normal Nucleoli（正常的核仁），Mitoses（有丝分裂），Class（分类），其中第二项到第十项取值均为1-10，分类中2代表良性，4代表恶性。通过实验，希望能找出患乳腺癌客户各指标的分布情况。 该数据的数据属性如下： 1. Sample code number（numeric），样本代码； 2. Clump Thickness（numeric），丛厚度；
基于决策树算法的医疗数据挖掘 一、实验目的 利用商业智能分析项目中的数据分析功能，对乳腺癌数据集breast-cancer基于决策树算法进行挖掘，产生相关规则，从而预测女性乳腺癌复发的高发人群。并通过本次实验掌握决策树算法关联规则挖掘的知识及软件操作，以及提高数据分析能力。 二、实验步骤 1、在SQL server 2005中建立breast-cancer数据库，导入breast-cancer数据集； 2、对该数据集进行数据预处理，包括列名的中文翻译、以及node-caps缺失值的填充，即将‘null’填充成‘？’； 3、新建数据分析服务项目，导入数据源、新建数据源视图、新建挖掘结构，其中，将breast-cancer表中的‘序号’作为标识，‘是否复发’作为分类； 4、部署； 5、查看决策树、依赖关系网络等，并根据结果进行分析、预测。 三、实验结果分析 1、如以下三张图片所示，通过调整依赖网络图的依赖强度，可得出，在众多因素中，‘受侵淋巴结数’、‘肿瘤大小’、‘恶心肿瘤程度’这三个因素对于是否复发的影响是较大的，并且影响强度依次递减。
2、从‘全部’节点的挖掘图例可以看到，在breast-cancer数据集中，复发占了29.91%，不复发占了68.32%，说明乳腺肿瘤的复发还是占了相当一部分比例的，因此此挖掘是具备前提意义的。 3、由下两张图可知，‘受侵淋巴数’这一因素对于是否复发是决定程度是最高的。在‘受侵淋巴结数不等于0-2’（即大于0-2）节点中，复发占了50.19%的比例，不复发占了44.44%的比例，而在‘受侵淋巴结数=0-2’的节点中，复发只占了21.71%的比例，不复发占了77.98%的比例。由此可见，当受侵淋巴节点数大于‘0-2’时，复发的几率比较高。
实验三决策树算法实验 一、实验目的：熟悉和掌握决策树的分类原理、实质和过程；掌握典型的学习算法和实现技术。 二、实验原理: 决策树学习和分类. 三、实验条件： 四、实验内容： 1 根据现实生活中的原型自己创建一个简单的决策树。 2 要求用这个决策树能解决实际分类决策问题。 五、实验步骤： 1、验证性实验： （1）算法伪代码 算法Decision_Tree(data,AttributeName) 输入由离散值属性描述的训练样本集data; 候选属性集合AttributeName。 输出一棵决策树。（1）创建节点N； 资料.
（2）If samples 都在同一类C中then （3）返回N作为叶节点，以类C标记；（4）If attribute_list为空then （5）返回N作为叶节点，以samples 中最普遍的类标记；//多数表决（6）选择attribute_list 中具有最高信息增益的属性test_attribute; （7）以test_attribute 标记节点N； （8）For each test_attribute 的已知值v //划分samples ； （9）由节点N分出一个对应test_attribute=v的分支； （10令Sv为samples中test_attribute=v 的样本集合；//一个划分块（11）If Sv为空then （12）加上一个叶节点，以samples中最普遍的类标记； （13）Else 加入一个由Decision_Tree(Sv,attribute_list-test_attribute)返回节点值。 （2）实验数据预处理 Age:30岁以下标记为“1”；30岁以上50岁以下标记为“2”；50岁以上标记为“3”。 Sex：FEMAL----“1”；MALE----“2” Region：INNER CITY----“1”；TOWN----“2”； RURAL----“3”； SUBURBAN----“4” Income：5000~2万----“1”；2万~4万----“2”；4万以上----“3” Married Children Car Mortgage 资料.
实验四决策树 一、实验目的 1.了解典型决策树算法 2.熟悉决策树算法的思路与步骤 3.掌握运用Matlab对数据集做决策树分析的方法 二、实验内容 1.运用Matlab对数据集做决策树分析 三、实验步骤 1.写出对决策树算法的理解 决策树方法是数据挖掘的重要方法之一，它是利用树形结构的特性来对数据进行分类的一种方法。决策树学习从一组无规则、无次序的事例中推理出有用的分类规则，是一种实例为基础的归纳学习算法。决策树首先利用训练数据集合生成一个测试函数，根据不同的权值建立树的分支，即叶子结点，在每个叶子节点下又建立层次结点和分支，如此重利生成决策树，然后对决策树进行剪树处理，最后把决策树转换成规则。决策树的最大优点是直观，以树状图的形式表现预测结果，而且这个结果可以进行解释。决策树主要用于聚类和分类方面的应用。 决策树是一树状结构，它的每一个叶子节点对应着一个分类，非叶子节点对应着在某个属性上的划分，根据样本在该属性上的不同取值将其划分成若干个子集。构造决策树的核心问题是在每一步如何选择适当的属性对样本进行拆分。对一个分类问题，从已知类标记的训练样本中学习并构造出决策树是一个自上而下分而治之的过程。 2.启动Matlab，运用Matlab对数据集进行决策树分析，写出算法名称、数据集名称、关键代码，记录实验过程，实验结果，并分析实验结果 (1)算法名称: ID3算法 ID3算法是最经典的决策树分类算法。ID3算法基于信息熵来选择最佳的测试属性，它选择当前样本集中具有最大信息增益值的属性作为测试属性；样本集的划分则依据测试属性的取值进行，测试属性有多少个不同的取值就将样本集划分为多少个子样本集，同时决策树上相应于该样本集的节点长出新的叶子节点。ID3算法根据信息论的理论，采用划分后样本集的不确定性作为衡量划分好坏的标准，用信息增益值度量不确定性：信息增益值越大，不确定性越小。因此，ID3算法在每个非叶节点选择信息增益最大的属性作为测试属性，这样可以得到当前情况下最纯的划分，从而得到较小的决策树。 ID3算法的具体流程如下： 1）对当前样本集合，计算所有属性的信息增益； 2）选择信息增益最大的属性作为测试属性，把测试属性取值相同的样本划为同一个子样本集； 3）若子样本集的类别属性只含有单个属性，则分支为叶子节点，判断其属性值并标上相应的符号，然后返回调用处；否则对子样本集递归调用本算法。 (2)数据集名称：鸢尾花卉Iris数据集 选择了部分数据集来区分Iris Setosa（山鸢尾）及Iris Versicolour（杂色鸢尾）两个种类。
决策树算法 一、决策树算法简介： 决策树算法是一种逼近离散函数值的方法。它是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。决策树方法的基本思想是：利用训练集数据自动地构造决策树，然后根据这个决策树对任意实例进行判定。其中决策树（Decision Tree）是一种简单但是广泛使用的分类器。通过训练数据构建决策树，可以高效的对未知的数据进行分类。决策数有两大优点：1）决策树模型可以读性好，具有描述性，有助于人工分析；2）效率高，决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。 决策树算法构造决策树来发现数据中蕴涵的分类规则．如何构造精度高、规模小的决策树是决策树算法的核心内容。决策树构造可以分两步进行。第一步，决策树的生成：由训练样本集生成决策树的过程。一般情况下，训练样本数据集是根据实际需要有历史的、有一定综合程度的，用于数据分析处理的数据集。第二步，决策树的剪技：决策树的剪枝是对上一阶段生成的决策树进行检验、校正和修下的过程，主要是用新的样本数扼集（称为测试数据集）中的数据校验决策树生成过程中产生的初步规则，将那些影响预衡准确性的分枝剪除、决策树方法最早产生于上世纪60年代，到70年代末。由J Ross Quinlan 提出了ID3算法，此算法的目的在于减少树的深度。但是忽略了叶子数目的研究。C4.5算法在ID3算法的基础上进行了改进，对于预测变量的缺值处理、剪枝技术、派生规则等方面作了较大改进，既适合于分类问题，又适合于回归问题。 本节将就ID3算法展开分析和实现。 ID3算法： ID3算法最早是由罗斯昆（J. Ross Quinlan）于1975年在悉尼大学提出的一种分类预测算法，算法的核心是“信息熵”。ID3算法通过计算每个属性的信息增益，认为信息增益高的是好属性，每次划分选取信息增益最高的属性为划分标准，重复这个过程，直至生成一个能完美分类训练样例的决策树。 在ID3算法中，决策节点属性的选择运用了信息论中的熵概念作为启发式函数。
实验三-决策树算法实验实验报告
实验三决策树算法实验 一、实验目的：熟悉和掌握决策树的分类原理、实质和过程；掌握典型的学习算法和实现技术。 二、实验原理: 决策树学习和分类. 三、实验条件： 四、实验内容： 1 根据现实生活中的原型自己创建一个简单的决策树。 2 要求用这个决策树能解决实际分类决策问题。 五、实验步骤： 1、验证性实验： （1）算法伪代码 算法Decision_Tree(data,AttributeName) 输入由离散值属性描述的训练样本集
data; 候选属性集合AttributeName。 输出一棵决策树。（1）创建节点N； （2）If samples 都在同一类C中then （3）返回N作为叶节点，以类C标记；（4）If attribute_list为空then （5）返回N作为叶节点，以samples 中最普遍的类标记；//多数表决（6）选择attribute_list 中具有最高信息增益的属性test_attribute; （7）以test_attribute 标记节点N； （8）For each test_attribute 的已知值v //划分samples ； （9）由节点N分出一个对应test_attribute=v的分支； （10令Sv为samples中test_attribute=v 的样本集合；//一个划分块（11）If Sv 为空then （12）加上一个叶节点，以samples中最普遍的类标记； （13）Else 加入一个由Decision_Tree(Sv,attribute_list-test_attribute)返回节点
ID3算法实验 08级第一小组介绍： ID3算法可分为主算法和建树算法两种。 （1）ID3主算法。主算法流程如图所示。其中PE、NE分别表示正例和反例集，它们共同组成训练集。PE'、PE''和NE'、NE''分别表示正例集和反例集的子集。 ID3主算法流程 （2）建树算法。采用建树算法建立决策树。首先，对当前子例进行同类归集。其次，计算各集合属性的互信息，选择互信息最大的属性Ak。再次，将在Ak处取值相同的子例归于同一子集，Ak取几个值就几个子集。最后,对既含正例又含反例的子集递归调用建树算法。若子集仅含正例或反例，对应分支标上P或N，返回调用处。 ID3算法采用自顶向下不回溯的策略搜索全部属性空间并建立决策树，算法简单、深度小、分类速度快。但是，ID3算法对于大的属性集执行效率下降快、准确性降低，并且学习能力低下。考虑到本文所涉及到的数据量并很小，下文分类分析采用了该算法。 决策树学习是把实例从根结点排列到某个叶子结点来分类实例，叶子结点即为实例所属的分类。学习到的决策树能再被表示成多个if-then的规则。ID3算法是一种决策树算法。 对下载的ID3算法程序进行阅读和调试后，做了相关实验，以下是相关记录。 1、试验数据 该算法的试验数据有两个：data.dat和data.tag，分别存放训练样例和各个属性列表：
data.dat: data.tag: 其中，训练样例集合的试验数据由课本第3.4。2节给出，分别将其属性使用离散值数据表示，在data.tag文件中可以看到离散值其表示的属性分别对应。 2、运行结果 试验结果，是以if-then形式输出决策树，其运行界面如图：
实验（实习）名称决策树分析 一．实验要求： （1）学习决策树分类学习方法，学习其中C4.5学习算法，了解其他ADtree、Id3等其它分类学习方法。 （2）应用Weka软件，学会导入数据文件，并对数据文件进行预处理。 （3）学会如何选择学习函数并调节学习训练参数以达到最佳学习效果。 （4）学习并应用其他决策树学习算法，可以进行各种算法对照比较。 二．实验操作 （1）在开始程序（或者桌面图标）中找到WEKA3.6.2，单击即可启动WEKA，启动WEKA 时会发现首先出现的一个命令提示符。接着将出现如下Weka GUI Chooser界面。 （2）选择GUI Chooser中的探索者（Explorer）用户界面。点击预处理（Preprocess）功能按钮的，Open file，选择其中的“weather”数据作关联规则的分析。打开“weather.arff”，可以看到“Current relation”、“Attributes”“Selected attribute”三个区域。 （3）点击“Classify”选项卡。单击左上方的Choose按钮，在随后打开的层级式菜单中的tree部分找到J48。 （4）选中J48分类器后，J48以及它的相关默认参数值出现在Choose按钮旁边的条形框中。单击这个条形框会打开J48分类器的对象编辑器，编辑器会显示J48的各个参数的含义。根据实际情况选择适当的参数，探索者通常会合理地设定这些参数的默认值。 三．实验结果：
计算正确率可得： （74+132）/（74+30+64+132）=0.69 四．实验小结： 通过本次试验，我学习了决策树分类方法，以及其中C4.5算法，并了解了其他ADtree、Id3等其它分类方法，应用Weka软件，学会导入数据文件，并对数据文件进行预处理，今后还需努力。 。
河海大学物联网工程学院 《模式识别》 课程实验报告 学号 _______________ 专业 ____计算机科学与技术_____ 授课班号 _________________________ 学生姓名 ___________________ 指导教师 ___________________ 完成时间 _______________
实验报告格式如下（必要任务必须写上，可选的课后实验任务是加分项，不是必要任务，可不写）： 实验一、Fisher分类器实验 1.实验原理 如果在二维空间中一条直线能将两类样本分开,或者错分类很少,则同一类别样本数据在该直线的单位法向量上的投影的绝大多数都应该超过某一值。而另一类数据的投影都应该小于(或绝大多数都小于)该值,则这条直线就有可能将两类分开。 准则:向量W的方向选择应能使两类样本投影的均值之差尽可能大些,而使类內样本的离散程度尽可能小。 2.实验任务 （1）两类各有多少组训练数据？（易） （2）试着用MATLAB画出分类线，用红色点划线表示（中） （3）画出在投影轴线上的投影点（较难） 3.实验结果 （1）第一类数据有200组训练数据，第二类数据有100组训练数据。 （2）如图所示，先得出投影线的斜率，后求其投影线的垂直线的斜率，即分类线的斜率，再求分类线的过的中垂点，加上即可得出。 画出红线代码：m = (-40:0.1:80); kw = w(2)/w(1); b = classify(w1, w2, w, 0); disp(b);
n = (-1/kw).* m + b; plot(m,n,'r-', 'LineWidth', 3); （3）画出投影上的投影点 如图，点用X表示。 代码： u = w/sqrt(sum(w.^2)); p1 = w1*u*u'; plot(p1(:,1),p1(:,2),'r+') p2 = w2*u*u'; plot(p2(:,1),p2(:,2),'b+') 实验二、感知器实验 1.实验原理 （1）训练数据必须是线性可分的 （2）最小化能量，惩罚函数法-错分样本的分类函数值之和（小于零）作为惩罚值（3）方法：梯度下降法，对权值向量的修正值-错分样本的特征向量 2.实验任务 （1）训练样本不线性可分时，分类结果如何？
数据挖掘技术与应用实验报告 专业：_______________________ 班级：_______________________ 学号：_______________________ 姓名：_______________________ 2012-2013学年第二学期 经济与管理学院
实验名称：SPSS Clementine 软件安装、功能演练 指导教师: 实验日期: 成绩: 实验目的 1、熟悉SPSS Clementine 软件安装、功能和操作特点。 2、了解SPSS Clementine 软件的各选项面板和操作方法。 3、熟练掌握SPSS Clementine 工作流程。 实验内容 1、打开SPSS Clementine 软件，逐一操作各选项，熟悉软件功能。 2、打开一有数据库、或新建数据文件，读入SPSS Clementine，并使用各种输出节点，熟悉数据输入输出。(要求：至少做access数据库文件、excel文件、txt文件、可变文件的导入、导出) 实验步骤 一实验前准备： 1.下载SPSS Clementine 软件安装包和一个虚拟光驱。 2.选择任意盘区安装虚拟光驱，并把下载的安装包的文件（后缀名bin）添加到虚拟光驱上，然后双击运行。 3.运行安装完成后，把虚拟光驱中CYGiSO文件中的lservrc文件和PlatformSPSSLic7.dll文件复制替换到安装完成后的bin文件中，完成破解，获得永久免费使用权。 4.运行中文破解程序，对SPSS Clementine 软件进行汉化。 二实验操作： 1、启动Clementine:从Windows 的“开始”菜单中选择：所有程序/SPSS Clementine 12.0/SPSS Clementine client 12.0 2、Clementine窗口当第一次启动Clementine 时，工作区将以默认视图打开。中间的区域称作流工作区。在Clementine 中，这将是用来工作的主要区域。Clementine 中绝大部分的数据和建模工具都在选项板中，该区域位于流工作区的下方。每个选项卡都包含一组以图形表示数据挖掘任务的节点，例如访问和过滤数据，创建图形和构建模型。 Clementine 中绝大部分的数据和建模工具都在选项板中，该区域位于流工作区的下方。每个选项卡都包含一组以图形表示数据挖掘任务的节点，例如访问和过滤数据，创建图形和构建模型。 要将节点添加到工组区，可在节点选项板中双击图标或将其拖拽至工作区后释
数据挖掘实验报告 班级统计121班学号姓名胡越 实验名称实验三：分类知识挖掘实验类型综合性实验 实验目的： （1）掌握利用决策树(C4.5算法)进行分类的方法。 （2）掌握利用朴素贝叶斯分类的方法。 实验要求： （1）对数据集bankdata.arff利用决策树(C4.5算法)进行分类，给出得出的决策树及分类器的性能评价指标，并利用建立的分类模型对下列表中给出的实例进行分类。 age sex region income married children car save_act current_act mortgage pep 21 MALE TOWN 5014.21 NO 0 YES YES YES YES 42 MALE INNER_CITY 17390.1 YES 0 NO YES YES NO 59 FEMALE RURAL 35610.5 NO 2 YES NO NO NO 45 FEMALE TOWN 26948 NO 0 NO YES YES YES 58 FEMALE TOWN 34524.9 YES 2 YES YES NO NO 30 MALE INNER_CITY 27808.1 NO 3 NO NO YES NO （2）对数据集bankdata.arff利用朴素贝叶斯分类方法进行分类，给出分类模型的参数及分类器的性能评价指标，并利用建立的分类模型对上表中给出的实例进行分类。 实验结果： (1) 分类器的性能评价指标: Kappa statistic 0.7942 age sex region income married children car save_act current_act mortgage pep 21 MALE TOWN 5014.21 NO 0 YES YES YES YES no 42 MALE INNER_CITY 17390.1 YES 0 NO YES YES NO no 59 FEMALE RURAL 35610.5 NO 2 YES NO NO NO yes 45 FEMALE TOWN 26948 NO 0 NO YES YES YES no 58 FEMALE TOWN 34524.9 YES 2 YES YES NO NO yes 30 MALE INNER_CITY 27808.1 NO 3 NO NO YES NO no
Bagging与AdaBoostM2的Matlab中的实现 在集成学习过去的研究中发现：Bagging集成学习算法和Boosting算法结合决策树基础学习器的实现的划分的效果是最好的。针对这种情况，我这次实现的问题就是在Matlab中利用决策树基础学习器实现Bagging集成学习算法和Boosting算法当前最流行的版本AdaBoostM2算法。 程序主要模块 Bagging集成学习算法的实现 下面主要介绍我的Bagging集成学习算法的实现程序，由于matlab直接集成了Bagging的决策树函数，所以Bagging实现很简单，只需对TreeBagger系统函数进行简单的参数设置就可以实现最强大的Bagging集成学习算法。我主要建了两个脚本文件实现Bagging集成学习算法，分别是classify.m文件和BaggingUseDT.m两个文件。 Classify函数 classify.m文件主要的功能是对建立好的集成学习器进行调用实现分类的目的。Classify 函数主要有三个输入参数和一个输出参数： 输入参数1：meas：代表的是训练集样本的属性矩阵，每一行代表一个样本的一组属性值。 输入参数2：species:代表的是训练集样本的真实类别列向量，species的行数由于meas 一致。 输入参数3：attList:代表的要进行分类的样本的一组属性值组成的行向量，该行向量的列数与meas矩阵的行数相同。 输出参数：class返回集成学习器判断attList向量对应的样本所属的类。BaggingUseDT函数 BaggingUseDT.m文件主要的功能是建立基于决策树的Bagging集成学习器，BaggingUseDT函数也有三个输入参数和一个输出参数。 输入参数1：X：代表的是训练集样本的属性矩阵，每一行代表一个样本的一组属性值。 输入参数2：Y:代表的是训练集样本的真实类别列向量，species的行数由于meas一致。 输入参数3:ens:返回利用训练集样本属性矩X和训练集样本的真实类别列向量Y训练得到的集成学习器。
一、基本原理 分类算法是解决分类问题的方法，是数据挖掘、机器学习和模式识别中一个重要的研究领域。分类算法通过对已知类别训练集的分析，从中发现分类规则，以此预测新数据的类别。分类算法的应用非常广泛，银行中风险评估、客户类别分类、文本检索和搜索引擎分类、安全领域中的入侵检测以及软件项目中的应用等。 二、实验目的： 掌握CART决策树构建分类模型。 三、实验内容 对所有窃漏电用户及真诚用户的电量、告警及线损数据和该用户在当天是否窃漏电的标识，按窃漏电评价指标进行处理并选取其中291个样本数据，得到专家样本，使用CART决策树实现分类预测模型。 注意：数据的80%作为训练样本，剩下的20%作为测试样本。 四、实验步骤 1、对数据进行预处理 2、把数据随机分为两部分，一部分用于训练，一部分用于测试。 分成testData和trainData文件即测试数据和训练数据数据的80%作为训练样本，剩下的20%作为测试样本。 3、使用tree包里的tree函数以及训练数据构建CART决策树模型，使用predict函 数和构建的CART决策树模型分别对训练数据和测试数据进行分类。 4、使用nnet包里面的nnet函数以及训练数据构建神经网络模型，使用predict函数
和构建的神经网络模型分别对训练数据和测试数据进行分类。 5、对比分析CART决策树和神经网络模型对数据处理的结果。 五、实验结果 六、思考与分析 尝试采用神经网络对数据进行分类，并与CART决策树的结果进行比较。 答:与神经网络相比，决策树可以很好地处理非数值型的数据，但是决策树对连续的数据(比如连续的数值型数据)不太擅长。
实验三：分类算法实验 目录 实验三：分类算法实验 (1) 一．实验目的 (2) 二．实验的硬件、软件平台 (2) 三．实验内容及步骤 (2) 四、思考题： (2) 五．实验报告 (3) （一）算法的基本原理 (3) （二）实验框架与结果 (4) 1.汽车评估数据集 (4) 2.程序框架 (6) 3.实验结果 (6) （三）实验分析和思考题 (7) （四）实验源代码 (8)
1.了解朴素贝叶斯算法和决策树算法的基本原理； 2.能够使用朴素贝叶斯算法或者决策树算法对数据进行分类 3.学会对于分类器的性能评估方法 二．实验的硬件、软件平台 硬件：计算机 软件：操作系统：WINDOWS 8.1 应用软件：Java 三．实验内容及步骤 （一）实验内容： 利用贝叶斯算法或者决策树算法进行数据分类操作 数据集：汽车评估数据集(见附录) （二）实验步骤： 1．仔细阅读并了解实验数据集； 2．使用任何一种熟悉的计算机语言(比如C,Java或者matlab)实现朴素贝叶斯算法或者决策树算法； 3．利用朴素贝叶斯算法或者决策树算法在训练数据上学习分类器,训练数据的大小分别设置为：前100个数据，前200个数据，前500个数据，前700个数据，前1000个数据，前1350个数据； 4．利用测试数据对学习的分类器进行性能评估； 5．统计分析实验结果并上交实验报告； 四、思考题： 1. 两种算法在训练数据集和测试数据集上的性能一致吗？哪个比较好？ 2. 提出一种提高分类器性能的方法并通过实验验证。
（一）算法的基本原理 贝叶斯定理： 表示事件X已经发生的前提下，事件Y发生的概率，叫做事件X发生下事件Y的条件概率，其基本求解公式为： 朴素贝叶斯分类器： 朴素贝叶斯的思想基础是这样的：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。 朴素贝叶斯分类的正式定义如下： 1、设为一个待分类项，而每个a为x的一个特征属性。 2、有类别集合。 3、计算。 4、如果，则。 那么现在的关键就是如何计算第3步中的各个条件概率。我们可以这么做： 1、找到一个已知分类的待分类项集合，这个集合叫做训练样本集。 2、统计得到在各类别下各个特征属性的条件概率估计。即 3、如果各个特征属性是条件独立的，则根据贝叶斯定理有如下推导：
一、决策树算法简介： 决策树算法是一种逼近离散函数值的方法。它是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。决策树方法的基本思想是：利用训练集数据自动地构造决策树，然后根据这个决策树对任意实例进行判定。其中决策树（Decision Tree）是一种简单但是广泛使用的分类器。通过训练数据构建决策树，可以高效的对未知的数据进行分类。决策数有两大优点：1）决策树模型可以读性好，具有描述性，有助于人工分析；2）效率高，决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。 决策树算法构造决策树来发现数据中蕴涵的分类规则．如何构造精度高、规模小的决策树是决策树算法的核心内容。决策树构造可以分两步进行。第一步，决策树的生成：由训练样本集生成决策树的过程。一般情况下，训练样本数据集是根据实际需要有历史的、有一定综合程度的，用于数据分析处理的数据集。第二步，决策树的剪技：决策树的剪枝是对上一阶段生成的决策树进行检验、校正和修下的过程，主要是用新的样本数扼集（称为测试数据集）中的数据校验决策树生成过程中产生的初步规则，将那些影响预衡准确性的分枝剪除、 决策树方法最早产生于上世纪60年代，到70年代末。由J Ross Quinlan 提出了ID3算法，此算法的目的在于减少树的深度。但是忽略了叶子数目的研究。算法在ID3算法的基础上进行了改进，对于预测变量的缺值处理、剪枝技术、派生规则等方面作了较大改进，既适合于分类问题，又适合于回归问题。 本节将就ID3算法展开分析和实现。 ID3算法： ID3算法最早是由罗斯昆（J. Ross Quinlan）于1975年在悉尼大学提出的一种分类预测算法，算法的核心是“信息熵”。ID3算法通过计算每个属性的信息增益，认为信息增益高的是好属性，每次划分选取信息增益最高的属性为划分标准，重复这个过程，直至生成一个能完美分类训练样例的决策树。 在ID3算法中，决策节点属性的选择运用了信息论中的熵概念作为启发式函数。
《机器学习》课内实验报告（1） ID算法实现决策树2015 - 2016学年第 2 学期 专业：智能科学与技术 班级：智能1301班 学号：06133029 姓名：张争辉
一、实验目的： 理解ID3算法的基本原理，并且编程实现。 二、实验要求： 使用C/C++/MATLAB实现ID3算法。 输入： 若干行，每行 5 个字符串，表示 Outlook Temperature Humidity Wind Play ball 如上表。 输出： 决策树。 实验结果如下： 输入： Sunny Hot High Weak No Sunny Hot High Strong No Overcast Hot High Weak Yes Rain Mild High Weak Yes Rain Cool Normal Weak Yes Rain Cool Normal Strong No Overcast Cool Normal Strong Yes Sunny Mild High Weak No Sunny Cool Normal Weak Yes Rain Mild Normal Weak Yes Sunny Mild Normal Strong Yes Overcast Mild High Strong Yes Overcast Hot Normal Weak Yes Rain Mild High Strong No 输出： Outlook Rain Wind Strong No Weak Yes Overcast Yes Sunny Humidity
Normal Yes High No 三、具体实现： 实现算法如下： #include
实验报告 ——基于C4.5决策树算法的空气质量评价
基于C4.5决策树算法的空气质量评价 一、背景 在目前我国环境评价实际工作中，所采用的方法通常是一些比较传统的评价方法，往往是从单个污染因子的角度对其进行简单评价。然而对某区域的环境质量如水质、大气质量等综合评价一般设计较多的评价因素，且各因素与区域环境整体质量关系复杂，因而采用单项污染指数评价方法无法客观准确地反映各污染因子之间相互作用对环境质量的影响。 基于上述原因，要客观评价一个区域的环境质量状况，需要综合考虑各种因素之间以及影响因素与环境质量之间错综复杂的关系，采用传统的方法存在着一定的局限性和不合理性。因此，从学术研究的角度对环境评价的技术方法及其理论进行探讨，寻求能更全面、客观、准确反映环境质量的新的理论方法具有重要的现实意义。 二、挖掘目标 根据空气中SO2、NO、NO2、NOX、PM10和PM2.5值的含量，建立分类预测模型，实现对空气质量的评估。 三、分析方法与过程 1、样本数据 共采集到320个样本，包括空气中SO2、NO、NO2、NOX、PM10和PM2.5值的含量，以及相应的空气等级（分为7个等级）。 2、数据预处理 剔除噪声和无关数据，并把数据转换成适合数据挖掘的形式。由于样本数据已被预处理，故可直接用于分析建模。 3、建立模型 随机抽取样本数据的80%，即256个样本，作为训练集构造决策树并生成决策树规则。 本文使用R软件中的RWeka包来建立C4.5决策树模型（也可使用C50包），
代码见附录。生成的决策树模型如下图所示： 4、评估模型 将剩余的20%的样本数据（64个）作为测试集，通过混淆矩阵对模型进行评估。 由训练样本的混淆矩阵可知仅有一个样本被错判，分类准确率为99.6094%；而测试样本的混淆矩阵可知也仅有一个样本被错判，分类准确率为98.4375%。 训练样本的混淆矩阵： 测试样本的混淆矩阵：
数据挖掘实验报告学院名称计算机科学与技术学院专业名称 学生姓名 学号5 指导教师 二〇一六年十一月
实验内容 实验一 一、实验原理 (1).缺省值的处理：用均值替换、回归查补和多重查补对缺省值进行处理 通过R语言提供的方法确定哪些有缺省值，哪些是异常值，并把异常置为缺失值来处理，通过表格形式打印出来。将数据集分成完整数据和缺失数据两部分。 (2).用均值替换：求变量未缺失部分的均值，用均值替换缺失。 回归查补：是把缺失属性作为因变量，其他相关属性作为自变量，利用他们之间的关系建立回归模型的来预测缺失值，以此完成缺失值插补的方法。 (3).多重查补：多值插补的思想来源于贝叶斯估计，认为待插补的值是随机的，它的值来自于已观测到的值。具体实践上通常是估计出待插补的值，然后再加上不同的噪声，形成多组可选插补值。根据某种选择依据，选取最合适的插补值。 多重插补方法分为三个步骤：①为每个空值产生一套可能的插补值，这些值反映了无响应模型的不确定性；每个值都可以被用来插补数据集中的缺失值，产生若干个完整数据集合。②每个插补数据集合都用针对完整数据集的统计方法进行统计分析。③对来自各个插补数据集的结果，根据评分函数进行选择，产生最终的插补值。 二、实验目的 掌握数据预处理的基本方法。 三、实验内容 1、R语言初步认识（掌握R程序运行环境） 2、实验数据预处理。（掌握R语言中数据预处理的使用） 对给定的测试用例数据集，进行以下操作。 1）、加载程序，熟悉各按钮的功能。 2）、熟悉各函数的功能，运行程序，并对程序进行分析。 对餐饮销量数据进统计量分析，求销量数据均值、中位数、极差、标准差，变异系数和四分位数间距。 对餐饮企业菜品的盈利贡献度（即菜品盈利帕累托分析），画出帕累托图。 3）数据预处理