实验三：分类算法实验
智能1402 201408070221 李帅玲
目录
实验三：分类算法实验 (1)
一．实验目的 (2)
二．实验的硬件、软件平台 (2)
三．实验内容及步骤 (2)
四、思考题： (2)
五．实验报告 (3)
（一）算法的基本原理 (3)
（二）实验框架与结果 (4)
1.汽车评估数据集 (4)
2.程序框架 (6)
3.实验结果 (6)
（三）实验分析和思考题 (7)
（四）实验源代码 (8)
1.了解朴素贝叶斯算法和决策树算法的基本原理；
2.能够使用朴素贝叶斯算法或者决策树算法对数据进行分类
3.学会对于分类器的性能评估方法
二．实验的硬件、软件平台
硬件：计算机
软件：操作系统：WINDOWS 8.1
应用软件：Java
三．实验内容及步骤
（一）实验内容：
利用贝叶斯算法或者决策树算法进行数据分类操作
数据集：汽车评估数据集(见附录)
（二）实验步骤：
1．仔细阅读并了解实验数据集；
2．使用任何一种熟悉的计算机语言(比如C,Java或者matlab)实现朴素贝叶斯算法或者决策树算法；
3．利用朴素贝叶斯算法或者决策树算法在训练数据上学习分类器,训练数据的大小分别设置为：前100个数据，前200个数据，前500个数据，前700个数据，前1000个数据，前1350个数据；
4．利用测试数据对学习的分类器进行性能评估；
5．统计分析实验结果并上交实验报告；
四、思考题：
1. 两种算法在训练数据集和测试数据集上的性能一致吗？哪个比较好？
2. 提出一种提高分类器性能的方法并通过实验验证。
（一）算法的基本原理
贝叶斯定理：
表示事件X已经发生的前提下，事件Y发生的概率，叫做事件X发生下事件Y的条件概率，其基本求解公式为：
朴素贝叶斯分类器：
朴素贝叶斯的思想基础是这样的：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。
朴素贝叶斯分类的正式定义如下：
1、设为一个待分类项，而每个a为x的一个特征属性。
2、有类别集合。
3、计算。
4、如果，则。
那么现在的关键就是如何计算第3步中的各个条件概率。我们可以这么做：
1、找到一个已知分类的待分类项集合，这个集合叫做训练样本集。
2、统计得到在各类别下各个特征属性的条件概率估计。即
3、如果各个特征属性是条件独立的，则根据贝叶斯定理有如下推导：
因为分母对于所有类别为常数，因为我们只要将分子最大化皆可。又因为各特征属性是条件独立的，所以有：
整个朴素贝叶斯分类分为三个阶段：
第一阶段:准备工作阶段，这个阶段的任务是为朴素贝叶斯分类做必要的准备，主要工作是根据具体情况确定特征属性，并对每个特征属性进行适当划分，然后由人工对一部分待分类项进行分类，形成训练样本集合。这一阶段的输入是所有待分类数据，输出是特征属性和训练样本。这一阶段是整个朴素贝叶斯分类中唯一需要人工完成的阶段，其质量对整个过程将有重要影响，分类器的质量很大程度上由特征属性、特征属性划分及训练样本质量决定。
第二阶段: 分类器训练阶段，这个阶段的任务就是生成分类器，主要工作是计算每个类别在训练样本中的出现频率及每个特征属性划分对每个类别的条件概率估计，并将结果记录。其输入是特征属性和训练样本，输出是分类器。这一阶段是机械性阶段，根据前面讨论的公式可以由程序自动计算完成。
第三阶段:应用阶段。这个阶段的任务是使用分类器对待分类项进行分类，其输入是分类器和待分类项，输出是待分类项与类别的映射关系。这一阶段也是机械性阶段，由程序完成。
决策树：
决策树是一个类似于流程图的树结构，其中每个内部结点表示在一个属性上的测试，每个分支代表一个测试输入，而每个树叶结点代表类或类分布。数的最顶层结点是根结点。一棵典型的决策树如图所示。它表示概念buys_computer，它预测顾客是否可能购买计算机。内部结点用矩形表示，而树叶结点用椭圆表示。为了对未知的样本分类，样本的属性值在决策树上测试。决策树从根到叶结点的一条路径就对应着一条合取规则，因此决策树容易转化成分类规则。
（二）实验框架与结果
1.汽车评估数据集
汽车评估数据集包含1728个数据，其中训练数据1350，测试数据个。每
个数据包含6个属性，所有的数据分为4类：
Class Values: unacc, acc, good, vgood
Attributes:
buying: vhigh, high, med, low.
maint: vhigh, high, med, low.
doors: 2, 3, 4, 5more.
persons: 2, 4, more.
lug_boot: small, med, big.
safety: low, med, high.
部分训练集截图：
部分测试集截图：
2.程序框架
1.获取训练样本
2.对每个类别进行统计（Class Values: unacc, acc, good, vgood）
3.对每个属性进行统计（buying: vhigh, high, med, low.maint: vhigh, high, med, low.doors: 2, 3, 4, 5more.persons: 2, 4, more.lug_boot: small, med, big.safety: low, med, high.）
4.计算并存储每个属性在类别中的条件概率，例如P(buing:vhigh | class value:unacc)=（buing中vhigh的数量）除以（classValue中unacc的数量）
5.获取测试集样本，将测试数据放入训练集
6.根据每一条测试数据的前六项，每一项在训练集的每个类别中都分别有一个概率值，将每一类别中六个概率值相乘，可得四个评估概率。例如，对于测试数据（low,vhigh,4,2,small,low,unacc）
评价结果V1=p(low|unacc)*p(vhigh |unacc)*p(4 |unacc)*p(2 |unacc)*p(small |unacc)*p(low,|unacc)
V2=p(low|acc)*p(vhigh |acc)*p(4 |acc)*p(2 |acc)*p(small |acc)*p(low,|acc)
V3=p(low|good)*p(vhigh |good)*p(4 |good)*p(2 |good)*p(small |good)*p(low,|good)
V4=p(low|vgood)*p(vhigh |vgood)*p(4 |vgood)*p(2 |vgood)*p(small |vgood)*p(low,|vgood)
比较VI、V2、V3、V4中概率最大的评价，可得评价结果
7，对评估概率进行比价，可得最大概率，最大概率指向的类别即为测试结果
8.测试结果与测试数据最后一项进行比对，若相同表示测试正确，返回true，反之，若不相同，则返回false。
9.统计true的数量，除以测试样本数量，可得分类器的准确率。
3.实验结果
部分截图：
得知：此种训练集下得到的样本测试准确率为68.78%左右。朴素贝叶斯的测试性能与训练集有关，训练集好则准确率高。
（三）实验分析和思考题
1. 两种算法在训练数据集和测试数据集上的性能一致吗？哪个比较好？
决策树有比较好的准确率和相对较好的标准误差，但是在这背后，很有可能是以较大错误率作为代价，这点可以从训练混淆矩阵中得到印证；而朴素贝叶斯分类算法的准确率相对较低，而标准误差也较高。
朴素贝叶斯算法
时间复杂度：O(n3)
决策树算法
时间复杂度： O(n*|S|*log|S|) 其中log以2为底，n为属性的个数，|S|为训练样本的个数
而且朴素贝叶斯可能存在0概率问题
存在准确度问题，朴素贝叶斯分类器是基于样本属性条件独立的假设的前提下的,但是实际情况可能并不成立，这样也就缺失准确性了.
解决朴素贝叶斯准确性问题提出的一种方法叫做：贝叶斯网络（Bayesian Belief Networks ）
2. 提出一种提高分类器性能的方法并通过实验验证。
Adaboost：基于错误提升分类器的性能
Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器，即弱分类器，然后把这些弱分类器集合起来，构造一个更强的最终分类器，比起弱分类器，这个“强”分类器的错误率会低很多。
Adaboost算法本身是改变数据分布实现的，它根据每次训练集之中的每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改权值的新数据送给下层分类器进行训练，然后将每次训练得到的分类器融合起来，作为最后的决策分类器。以下给出 Adaboost算法的运行过程：
1.训练数据中的每个样本，并赋予其一个权重，这些权重构成向量D，一开始时权重D初始化为相等的值；
2.先在训练样本上训练得到第一个弱分类器并计算分类器的错误率；
3.在同一数据集上再次训练弱分类器，在分类器的二次训练中，会重新调整每个样本的权重，其中第一次分
类正确的样本的权重将会降低，而分类错误的样本权重将会提高；
4.为了从所有弱分类器中得到最终的分类结果，Adaboost为每个分类器都分配了一个权重值alpha，这一组
值是基于每个弱分类器的错误率进行计算的。
其中，错误率由以下公式定义：
（四）实验源代码
package rgzn;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.InputStreamReader;
import java.math.BigDecimal;
import https://www.doczj.com/doc/984971002.html,.URL;
import java.util.ArrayList;
import java.util.Scanner;
import java.util.Vector;
/**
* 朴素贝叶斯
*
* @author Dyl
*
*/
//汽车属性
class Car {
public String buying;// vhigh,high,med,low
public String maint;// vhigh,high,med,low
public String doors;// 2,3,4,5more
public String persons;// 2,4,more
public String lug_boot;// small ,med,big
public String safety;// low,med,high
public String ClassValues;// unacc,acc, good,vgood
public String[] predictResult = new String[5];// 记录预测结果
}
public class NavieBayes {
Vector
int testTotal = 0;// 训练样本数量
int predictTotal = 0;// 测试样本的数据
int predictSucess = 0;// 预测成功的数量
String[] ClassValueName = { "unacc", "acc", "good", "vgood" };
// 存储数量
int[] ClassValueTotal = new int[4];// unacc-0 acc-1 good-2 vgood-3
int[][] buying_Vlaue = new int[4][4]; // 前面是自己的属性，后面是value的属性
int[][] maint_Value = new int[4][4];
int[][] doors_Value = new int[4][4];
int[][] persons_Value = new int[3][4];
int[][] lugboot_Value = new int[3][4];
int[][] safety_Value = new int[3][4];
// 存储概率
float[] ClassValueTotal_gl = new float[4];// unacc-0 acc-1 good-2 vgood-3
float[][] buying_Vlaue_gl = new float[4][4]; // 前面是自己的属性，后面是value的属性float[][] maint_Value_gl = new float[4][4];
float[][] doors_Value_gl = new float[4][4];
float[][] persons_Value_gl = new float[3][4];
float[][] lugboot_Value_gl = new float[3][4];
float[][] safety_Value_gl = new float[3][4];
public NavieBayes() {
vector = new Vector
}
/**
* 主函数
*/
public static void main(String[] args) throws Exception {
NavieBayes pSbys = new NavieBayes();
pSbys.getData();// 获取训练样本
pSbys.dataTest();//传入测试样本数据，检测其分类器的性能
pSbys.showGL();// 展示结果
}
/**
* 统计数量，为计算概率做准备
*/
private void dataTongJi(Car car) {
for(int i=0;i<4;i++){
if(car.ClassValues.equals(ClassValueName[i])){
ClassValueTotal[i]++;
//buying:vhigh,high,med,low
if(car.buying.equals("vhigh")) buying_Vlaue[0][i]++;
else if(car.buying.equals("high"))buying_Vlaue[1][i]++;
else if(car.buying.equals("med")) buying_Vlaue[2][i]++;
else buying_Vlaue[3][i]++;
//maint_Value:vhigh,high,med,low
if(car.maint.equals("vhigh")) maint_Value[0][i]++;
else if(car.maint.equals("high")) maint_Value[1][i]++;
else if(car.maint.equals("med")) maint_Value[2][i]++;
else maint_Value[3][i]++;
//doors_Value:2,3,4,5more
if(car.doors.equals("2")) doors_Value[0][i]++;
else if(car.doors.equals("3")) doors_Value[1][i]++;
else if(car.doors.equals("4")) doors_Value[2][i]++;
else doors_Value[3][i]++;
//persons_Value:2,4,more
if(car.persons.equals("2")) persons_Value[0][i]++;
else if(car.persons.equals("4")) persons_Value[1][i]++;
else persons_Value[2][i]++;
//lugboot_Value:small ,med,big
if(car.lug_boot.equals("small")) lugboot_Value[0][i]++;
else if(car.lug_boot.equals("med")) lugboot_Value[1][i]++;
else lugboot_Value[2][i]++;
//safety_Value:low,med,high
if(car.safety.equals("low")) safety_Value[0][i]++;
else if(car.safety.equals("med")) safety_Value[1][i]++;
else safety_Value[2][i]++;
}
}
}
/**
* 学习过程获取训练样本,统计个数，计算概率
*
* @param url
*/
private void getData() throws Exception {
InputStreamReader in = new InputStreamReader(getClass()
.getResourceAsStream("learn.txt"));
Scanner scanner = new Scanner(in);
while (scanner.hasNext()) {
testTotal++;
String[] temp = scanner.nextLine().split(",");
Car car = new Car();
car.buying = temp[0];
car.maint = temp[1];
car.doors = temp[2];
car.persons = temp[3];
car.lug_boot = temp[4];
car.safety = temp[5];
car.ClassValues = temp[6];
dataTongJi(car);// 统计数据的个数
}
gailvTongJi();// 统计概率
/**
* 概率统计
*/
private void gailvTongJi() {
for (int i = 0; i < ClassValueTotal.length; i++) {
ClassValueTotal_gl[i] = (float) ClassValueTotal[i] / testTotal;
}
for (int i = 0; i < buying_Vlaue_gl.length; i++) {
for (int j = 0; j < buying_Vlaue_gl[0].length; j++) {
buying_Vlaue_gl[i][j] = (float) buying_Vlaue[i][j]
/ ClassValueTotal[j];
maint_Value_gl[i][j] = (float) maint_Value[i][j]
/ ClassValueTotal[j];
doors_Value_gl[i][j] = (float) doors_Value[i][j]
/ ClassValueTotal[j];
}
}
for (int i = 0; i < persons_Value_gl.length; i++) {
for (int k = 0; k < persons_Value_gl[0].length; k++) {
persons_Value_gl[i][k] = (float) persons_Value[i][k]
/ ClassValueTotal[k];
lugboot_Value_gl[i][k] = (float) lugboot_Value[i][k]
/ ClassValueTotal[k];
safety_Value_gl[i][k] = (float) safety_Value[i][k]
/ ClassValueTotal[k];
}
}
}
//结果显示
//for (int j = 0; j < c.predictResult.length; j++) {
//System.out.print(c.predictResult[j] + "\t\t");
//}
private void showGL() {
for (int i = 0; i < predictTotal; i++) {
Car c = vector.get(i);
System.out.print(c.predictResult[c.predictResult.length-1] + "\t\t");
System.out.println();
}
// 分类器的准确率
float t = (float) predictSucess / predictTotal;
t = (t * 1000) / 10;
System.out.println("\n分类器的准确率为：" + t + "%");
}
* 给定测试样本，测试其分类器性能如何
* 读取数据
* @throws FileNotFoundException
*/
private void dataTest() throws FileNotFoundException {
InputStreamReader in = new InputStreamReader(getClass()
.getResourceAsStream("test.txt"));
Scanner scanner = new Scanner(in);
while (scanner.hasNext()) {
predictTotal++;
String[] temp = scanner.nextLine().split(",");
Car car = new Car();
car.buying = temp[0];
car.maint = temp[1];
car.doors = temp[2];
car.persons = temp[3];
car.lug_boot = temp[4];
car.safety = temp[5];
car.ClassValues = temp[6];
vector.add(car);
xingnengTest(car);// 性能测试
}
}
/**
* 对分类器进行性能测试，判断其成功率为多少
*
* @param car
*/
private void xingnengTest(Car car) {
// unacc,acc,good,vgood, P(yi)--ClassValueTotal_gl 、P(x|yi)= // low,vhigh,4,2,small,low,unacc 第一条
float itemGl;// 每一条的概率
int b, m, d, p, l, s;
b = m = d = p = l = s = -1;
float MaxGl = 0;// 临时概率
if (car.buying.equals("vhigh")) {
b = 0;
} else if (car.buying.equals("high")) {
b = 1;
} else if (car.buying.equals("med")) {
b = 2;
} else {
b = 3;
}
if (car.maint.equals("vhigh")) {
m = 0;
} else if (car.maint.equals("high")) {
m = 1;
} else if (car.maint.equals("med")) {
m = 2;
} else {
m = 3;
}
if (car.doors.equals("2")) {
d = 0;
} else if (car.doors.equals("3")) {
d = 1;
} else if (car.doors.equals("4")) {
d = 2;
} else {
d = 3;
}
if (car.persons.equals("2")) {
p = 0;
} else if (car.persons.equals("4")) {
p = 1;
} else {
p = 2;
}
if (car.lug_boot.equals("small")) {
l = 0;
} else if (car.lug_boot.equals("med")) {
l = 1;
} else {
l = 2;
}
if (car.safety.equals("low")) {
s = 0;
} else if (car.safety.equals("med")) {
s = 1;
} else {
s = 2;
}
int t = 0;// 记录最大概率的下标
int i;
// 如：
// unacc
// low(0.038),vhigh(0.329),4(0.2323),2(0.4545),small(0.3737),low(0.4545),unacc()
for (i = 0; i < ClassValueTotal_gl.length; i++) {// 计算在unacc,acc,good,vgood下的概率itemGl = 0;
BigDecimal[] bigDecimal = {
new BigDecimal(Float.toString(ClassValueTotal_gl[i])),
new BigDecimal(Float.toString(buying_Vlaue_gl[b][i])),
new BigDecimal(Float.toString(maint_Value_gl[m][i])),
new BigDecimal(Float.toString(doors_Value_gl[d][i])),
new BigDecimal(Float.toString(persons_Value_gl[p][i])),
new BigDecimal(Float.toString(lugboot_Value_gl[l][i])),
new BigDecimal(Float.toString(safety_Value_gl[s][i])), };
for (int j = 1; j < bigDecimal.length; j++) {//除:a.divide(b,2);//2为精度取值
bigDecimal[0] = bigDecimal[0].multiply(bigDecimal[j]);//multiply乘}
itemGl = bigDecimal[0].floatValue();
car.predictResult[i] = itemGl + " ";
if (MaxGl < itemGl) {
MaxGl = itemGl;
t = i;
}
}
// 判断结果是否正确
if (car.ClassValues.equals(ClassValueName[t])) {// 预测结果和开始给定的结果相等car.predictResult[i] = "true";
predictSucess++;
} else {
car.predictResult[i] = "false";
}
}
}
一、实验目的 使用数据挖掘中的分类算法，对数据集进行分类训练并测试。应用不同的分类算法，比较他们之间的不同。与此同时了解Weka平台的基本功能与使用方法。 二、实验环境 实验采用Weka 平台，数据使用Weka安装目录下data文件夹下的默认数据集iris.arff。 Weka是怀卡托智能分析系统的缩写，该系统由新西兰怀卡托大学开发。Weka使用Java 写成的，并且限制在GNU通用公共证书的条件下发布。它可以运行于几乎所有操作平台，是一款免费的，非商业化的机器学习以及数据挖掘软件。Weka提供了一个统一界面，可结合预处理以及后处理方法，将许多不同的学习算法应用于任何所给的数据集，并评估由不同的学习方案所得出的结果。 三、数据预处理 Weka平台支持ARFF格式和CSV格式的数据。由于本次使用平台自带的ARFF格式数据，所以不存在格式转换的过程。实验所用的ARFF格式数据集如图1所示 图1 ARFF格式数据集(iris.arff)
对于iris数据集，它包含了150个实例（每个分类包含50个实例），共有sepal length、sepal width、petal length、petal width和class五种属性。期中前四种属性为数值类型，class属性为分类属性，表示实例所对应的的类别。该数据集中的全部实例共可分为三类：Iris Setosa、Iris Versicolour和Iris Virginica。 实验数据集中所有的数据都是实验所需的，因此不存在属性筛选的问题。若所采用的数据集中存在大量的与实验无关的属性，则需要使用weka平台的Filter(过滤器)实现属性的筛选。 实验所需的训练集和测试集均为iris.arff。 四、实验过程及结果 应用iris数据集，分别采用LibSVM、C4.5决策树分类器和朴素贝叶斯分类器进行测试和评价，分别在训练数据上训练出分类模型，找出各个模型最优的参数值，并对三个模型进行全面评价比较，得到一个最好的分类模型以及该模型所有设置的最优参数。最后使用这些参数以及训练集和校验集数据一起构造出一个最优分类器，并利用该分类器对测试数据进行预测。 1、LibSVM分类 Weka 平台内部没有集成libSVM分类器，要使用该分类器，需要下载libsvm.jar并导入到Weka中。 用“Explorer”打开数据集“iris.arff”，并在Explorer中将功能面板切换到“Classify”。点“Choose”按钮选择“functions(weka.classifiers.functions.LibSVM)”，选择LibSVM分类算法。 在Test Options 面板中选择Cross-Validatioin folds=10，即十折交叉验证。然后点击“start”按钮：
贝叶斯分类器的matlab实现 贝叶斯分类原理： 1)在已知P(Wi)，P(X|Wi)(i=1,2)及给出待识别的X的情况下，根据贝叶斯公式计算出后验概率P(Wi|X) ; 2)根据1)中计算的后验概率值，找到最大的后验概率，则样本X属于该类 举例： 解决方案： 但对于两类来说，因为分母相同，所以可采取如下分类标准：
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%% %By Shelley from NCUT，April 14th 2011 %Email:just_for_h264@https://www.doczj.com/doc/984971002.html, %此程序利用贝叶斯分类算法，首先对两类样本进行训练， %进而可在屏幕上任意取点，程序可输出属于第一类，还是第二类%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%% clear; close all %读入两类训练样本数据 load data %求两类训练样本的均值和方差 u1=mean(Sample1); u2=mean(Sample2); sigm1=cov(Sample1); sigm2=cov(Sample2); %计算两个样本的密度函数并显示 x=-20:0.5:40; y= -20:0.5:20; [X,Y] = meshgrid(x,y); F1 = mvnpdf([X(:),Y(:)],u1,sigm1); F2 = mvnpdf([X(:),Y(:)],u2,sigm2); P1=reshape(F1,size(X)); P2=reshape(F2,size(X)); figure(2) surf(X,Y,P1) hold on surf(X,Y,P2) shading interp colorbar title('条件概率密度函数曲线'); %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %% %以下为测试部分 %利用ginput随机选取屏幕上的点（可连续取10个点）
HUNAN UNIVERSITY 人工智能实验报告 题目实验三：分类算法实验学生姓名匿名 学生学号2013080702XX 专业班级智能科学与技术1302班 指导老师袁讲
一.实验目的 1. 了解朴素贝叶斯算法的基本原理； 2. 能够使用朴素贝叶斯算法对数据进行分类 3. 了解最小错误概率贝叶斯分类器和最小风险概率贝叶斯分类器 4. 学会对于分类器的性能评估方法 二、实验的硬件、软件平台 硬件：计算机 软件：操作系统：WINDOWS10 应用软件：C,Java或者Matlab 相关知识点： 贝叶斯定理： 汽恥;表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概 率，其基本求解公式为： 贝叶斯定理打通了从P（A|B）获得P（B|A）的道路。 直接给出贝叶斯定理：.■- - ■■ ---------- —1 朴素贝叶斯分类是一种十分简单的分类算法，叫它朴素贝叶斯分类是因为这种方法的思想真的很 朴素，朴素贝叶斯的思想基础是这样的：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。 朴素贝叶斯分类的正式定义如下： 1、设厂；'贋丄丫叱厂北沱如》为一个待分类项，而每个a为x的一个特征属性。 2、有类别集合渝一;号J 3、计算「门|八-" …厂乞 4、如果卩如囂）= ?"说｛戸（如巩卩（如冋"卩（如盂）｝,则? &蚊 那么现在的关键就是如何计算第3步中的各个条件概率。我们可以这么做： 1、找到一个已知分类的待分类项集合，这个集合叫做训练样本集。 2、统计得到在各类别下各个特征属性的条件概率估计。即
实验一：贝叶斯分类实验 学时：4学时 实验目的：设计简单的线性分类器，了解模式识别的基本方法。掌握利用贝叶斯公式进行设计分类器的方法。 实验内容： (1) 简单分类：有两类样本（如鲈鱼和鲑鱼），每个样本有两个特征（如长度和亮度），每类有若干个（比如20个）样本点，假设每类样本点服从二维正态分布，自己随机给出具体数据，计算每类数据的均值点，并且把两个均值点连成一线段，用垂直平分该线段的直线作为分类边界。再根据该分类边界对一随机给出的样本判别类别。画出如下图形。 提示： 1．可以入下产生第一类数据： % x1是第一类数据，每一行代表一个样本（两个特征） x1(:,1) = normrnd(10,4,20,1); x1(:,2) = normrnd(12,4,20,1); % 第2类数据 x2(:,1) = normrnd(15,4,20,1); x2(:,2) = normrnd(13,4,20,1); 2．可假设分类边界为 kx-y+b=0，根据垂直平分的条件计算出k和b。 3．如果新的样本点代入分类边界方程的值的符号和第一类样本均值代入分类边界方程的符号相同，则是判断为第一类。
(2) 贝叶斯分类：根据贝叶斯公式，给出在类条件概率密度为正态分布时具体的判别函数表达式，用此判别函数设计分类器。数据随机生成，比如生成两类样本（如鲈鱼和鲑鱼），每个样本有两个特征（如长度和亮度），每类有若干个（比如20个）样本点，假设每类样本点服从二维正态分布，随机生成具体数据，然后估计每类的均值与协方差，在下列各种情况下求出分类边界。先验概率自己给定，比如都为0.5。如果可能，画出在两类协方差不相同的情况下的分类边界。 提示： 若第一类的样本为{}12,,n x x x ，则第一类均值的估计为1 1?n k k x n μ==∑，协方差的估计为1 1???()()n T k k k x x n μμ=∑=--∑。若若第一类的样本为： 则均值的估计为： 134x ??=????238x ??=????326x ??=????446x ??=????
朴素贝叶斯 优点：在数据较少的情况下仍然有效，可以处理多类别问题 缺点：对于输入数据的准备方式较为敏感 适用数据类型：标称型数据 贝叶斯准则： 使用朴素贝叶斯进行文档分类 朴素贝叶斯的一般过程 （1）收集数据：可以使用任何方法。本文使用RSS源 （2）准备数据：需要数值型或者布尔型数据 （3）分析数据：有大量特征时，绘制特征作用不大，此时使用直方图效果更好 （4）训练算法：计算不同的独立特征的条件概率 （5）测试算法：计算错误率 （6）使用算法：一个常见的朴素贝叶斯应用是文档分类。可以在任意的分类场景中使用朴素贝叶斯分类器，不一定非要是文本。 准备数据：从文本中构建词向量 摘自机器学习实战。 [['my','dog','has','flea','problems','help','please'], 0 ['maybe','not','take','him','to','dog','park','stupid'], 1 ['my','dalmation','is','so','cute','I','love','him'], 0
['stop','posting','stupid','worthless','garbage'], 1 ['mr','licks','ate','my','steak','how','to','stop','him'], 0 ['quit','buying','worthless','dog','food','stupid']] 1 以上是六句话，标记是0句子的表示正常句，标记是1句子的表示为粗口。我们通过分析每个句子中的每个词，在粗口句或是正常句出现的概率，可以找出那些词是粗口。 在bayes.py文件中添加如下代码： [python]view plaincopy 1.# coding=utf-8 2. 3.def loadDataSet(): 4. postingList = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please' ], 5. ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'], 6. ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'], 7. ['stop', 'posting', 'stupid', 'worthless', 'garbage'], 8. ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'], 9. ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']] 10. classVec = [0, 1, 0, 1, 0, 1] # 1代表侮辱性文字，0代表正常言论 11.return postingList, classVec 12. 13.def createVocabList(dataSet): 14. vocabSet = set([]) 15.for document in dataSet: 16. vocabSet = vocabSet | set(document) 17.return list(vocabSet) 18. 19.def setOfWords2Vec(vocabList, inputSet): 20. returnVec = [0] * len(vocabList) 21.for word in inputSet: 22.if word in vocabList: 23. returnVec[vocabList.index(word)] = 1 24.else: 25.print"the word: %s is not in my Vocabulary!" % word 26.return returnVec
实验一 Bayes 分类器设计 【实验目的】 对模式识别有一个初步的理解，能够根据自己的设计对贝叶斯决策理论算法有一个深刻地认识，理解二类分类器的设计原理。 【实验条件】 Matlab 软件 【实验原理】 根据贝叶斯公式，给出在类条件概率密度为正态分布时具体的判别函数表达式，用此判别函数设计分类器。数据随机生成，比如生成两类样本（如鲈鱼和鲑鱼），每个样本有两个特征（如长度和亮度），每类有若干个（比如50个）样本点，假设每类样本点服从二维正态分布，随机生成具体数据，然后估计每类的均值与协方差，在下列各种情况下求出分类边界。先验概率自己给定，比如都为0.5。如果可能，画出在两类协方差不相同的情况下的分类边界。 若第一类的样本为{}12,,n x x x ，则第一类均值的估计为1 1?n k k x n μ==∑，协方差的估计为1 1???()()n T k k k x x n μμ=∑=--∑。则在两类协方差不相同的情况下的判别函数为： 判别边界为g1(x)-g2(x)=0，是一条一般二次曲线（可能是椭圆、双曲线、抛物线等）。 【实验内容】 1、 自动随机生成两类服从二维正态分布的样本点 2、 计算两类样本的均值和协方差矩阵 3、 按照两类协方差不相同情况下的判别函数，求出判别方程曲线。 4、 通过修改不同的参数（均值、方差、协方差矩阵），观察判别方程曲线的变化。 【实验程序】 clear all; close all;
samplenum = 50;%样本的个数 n1(:,1) = normrnd(8,4,samplenum,1);%产生高斯分布的二维随机样本，第一个参数为均值，第二个为方差 n1(:,2) = normrnd(6,4,samplenum,1);%产生高斯分布的二维随机样本，第一个参数为均值，第二个为方差 n2(:,1) = normrnd(14,4,samplenum,1);%产生高斯分布的二维随机样本，第一个参数为均值，第二个为方差 n2(:,2) = normrnd(16,4,samplenum,1);%产生高斯分布的二维随机样本，第一个参数为均值，第二个为方差 scatter(n1(1:samplenum,1),n1(1:samplenum,2),'ro');%画出样本 hold on scatter(n2(1:samplenum,1),n2(1:samplenum,2),'g*');%画出样本 u1 = mean(n1);%计算第一类样本的均值 e1=0; for i=1:20 e1 = e1+(n1(i,:)-u1)'*(n1(i,:)-u1);%计算协方差矩阵 end; u2 = mean(n2);%计算第二类样本的均值 e2=0; for i=1:20 e2 = e2+(n2(i,:)-u2)'*(n2(i,:)-u2);%计算协方差矩阵 end; e2=e2/20;%计算协方差矩阵 e1=e1/20;%计算协方差矩阵 %-------------通过改变条件来完成不同的曲线--------- % e2 = e1; %-------------------------------------------------- u1 = u1'; u2 = u2'; scatter(u1(1,1),u1(2,1),'b+');%画出样本中心 scatter(u2(1,1),u2(2,1),'b+');%画出样本中心 line([u1(1,1),u2(1,1)],[u1(2,1),u2(2,1)]); %画出样本中心连线 %求解分类方程 W1=-1/2*inv(e1); w1=inv(e1)*u1; w10=-1/2*u1'*inv(e1)*u1-1/2*log(det(inv(e1)))+log(0.5);%假设w1的先验概率为0.5 W2=-1/2*inv(e2); w2=inv(e2)*u2; w20=-1/2*u2'*inv(e2)*u2-1/2*log(det(inv(e2)))+log(0.5);% 假设w2的先验概率为0.5 syms x y; fn = [x,y]*(W1-W2)*[x,y]'+(w1-w2)'*[x,y]'+w10-w20; ezplot(fn,[0,30]);
贝叶斯分类实验报告 篇一：贝叶斯分类实验报告 实验报告 实验课程名称数据挖掘 实验项目名称贝叶斯分类 年级 XX级 专业信息与计算科学 学生姓名 学号 1207010220 理学院 实验时间： XX 年 12 月 2 日 学生实验室守则 一、按教学安排准时到实验室上实验课，不得迟到、早退和旷课。 二、进入实验室必须遵守实验室的各项规章制度，保持室内安静、整洁，不准在室内打闹、喧哗、吸烟、吃食物、随地吐痰、乱扔杂物，不准做与实验内容无关的事，非实验用品一律不准带进实验室。 三、实验前必须做好预习（或按要求写好预习报告），未做预习者不准参加实验。四、实验必须服从教师的安排和指导，认真按规程操作，未经教师允许不得擅自动用仪器设备，特别是与本实验无关的仪器设备和设施，如擅自动用
或违反操作规程造成损坏，应按规定赔偿，严重者给予纪律处分。 五、实验中要节约水、电、气及其它消耗材料。 六、细心观察、如实记录实验现象和结果，不得抄袭或随意更改原始记录和数据，不得擅离操作岗位和干扰他人实验。 七、使用易燃、易爆、腐蚀性、有毒有害物品或接触带电设备进行实验，应特别注意规范操作，注意防护；若发生意外，要保持冷静，并及时向指导教师和管理人员报告，不得自行处理。仪器设备发生故障和损坏，应立即停止实验，并主动向指导教师报告，不得自行拆卸查看和拼装。 八、实验完毕，应清理好实验仪器设备并放回原位，清扫好实验现场，经指导教师检查认可并将实验记录交指导教师检查签字后方可离去。 九、无故不参加实验者，应写出检查，提出申请并缴纳相应的实验费及材料消耗费，经批准后，方可补做。 十、自选实验，应事先预约，拟订出实验方案，经实验室主任同意后，在指导教师或实验技术人员的指导下进行。 十一、实验室内一切物品未经允许严禁带出室外，确需带出，必须经过批准并办理手续。 学生所在学院：理学院专业：信息与计算科学班级：信计121
五种贝叶斯网分类器的分析与比较 摘要：对五种典型的贝叶斯网分类器进行了分析与比较。在总结各种分类器的基础上，对它们进行了实验比较，讨论了各自的特点，提出了一种针对不同应用对象挑选贝叶斯网分类器的方法。 关键词：贝叶斯网；分类器；数据挖掘；机器学习 故障诊断、模式识别、预测、文本分类、文本过滤等许多工作均可看作是分类问题，即对一给定的对象（这一对象往往可由一组特征描述），识别其所属的类别。完成这种分类工作的系统，称之为分类器。如何从已分类的样本数据中学习构造出一个合适的分类器是机器学习、数据挖掘研究中的一个重要课题，研究得较多的分类器有基于决策树和基于人工神经元网络等方法。贝叶斯网（Ｂａｙｅｓｉａｎｎｅｔｗｏｒｋｓ，ＢＮｓ）在ＡＩ应用中一直作为一种不确定知识表达和推理的工具，从九十年代开始也作为一种分类器得到研究。 本文先简单介绍了贝叶斯网的基本概念，然后对五种典型的贝叶斯网分类器进行了总结分析，并进行了实验比较，讨论了它们的特点，并提出了一种针对不同应用对象挑选贝叶斯分类器的方法。 １贝叶斯网和贝叶斯网分类器 贝叶斯网是一种表达了概率分布的有向无环图，在该图中的每一节点表示一随机变量，图中两节点间若存在着一条弧，则表示这两节点相对应的随机变量是概率相依的，两节点间若没有弧，则说明这两个随机变量是相对独立的。按照贝叶斯网的这种结构，显然网中的任一节点ｘ均和非ｘ的父节点的后裔节点的各节点相对独立。网中任一节点Ｘ均有一相应的条件概率表（ＣｏｎｄｉｔｉｏｎａｌＰｒｏｂａｂｉｌｉｔｙＴａｂｌｅ，ＣＰＴ），用以表示节点ｘ在其父节点取各可能值时的条件概率。若节点ｘ无父节点，则ｘ的ＣＰＴ为其先验概率分布。贝叶斯网的结构及各节点的ＣＰＴ定义了网中各变量的概率分布。 贝叶斯网分类器即是用于分类工作的贝叶斯网。该网中应包含一表示分类的节点Ｃ，变量Ｃ的取值来自于类别集合｛Ｃ，Ｃ，．．．．，Ｃ｝。另外还有一组节点ｘ＝（ｘ，ｘ，．．．．，ｘ）反映用于分类的特征，一个贝叶斯网分类器的结构可如图１所示。 对于这样的一贝叶斯网分类器，若某一待分类的样本Ｄ，其分类特征值为ｘ＝（ｘ，ｘ，．．．．，ｘ），则样本Ｄ属于类别Ｃ的概率为Ｐ（Ｃ＝Ｃ｜Ｘ＝ｘ），因而样本Ｄ属于类别Ｃ的条件是满足（１）式： Ｐ（Ｃ＝Ｃ｜Ｘ＝ｘ）＝Ｍａｘ｛Ｐ（Ｃ＝Ｃ｜Ｘ＝ｘ），Ｐ（Ｃ＝Ｃ｜Ｘ＝ｘ），．．．，Ｐ（Ｃ＝Ｃ｜Ｘ＝ｘ）｝（１） 而由贝叶斯公式 Ｐ（Ｃ＝Ｃ｜Ｘ＝ｘ）＝（２） 其中Ｐ（Ｃ＝Ｃｋ）可由领域专家的经验得到，而Ｐ（Ｘ＝ｘ｜Ｃ＝Ｃｋ）和Ｐ（Ｘ＝ｘ）的计算则较困难。应用贝叶斯网分类器分成两阶段。一是贝叶斯网分类器的学习（训练），即从样本数据中构造分类器，包括结构（特征间的依赖关系）学习和ＣＰＴ表的学习。二是贝叶斯网分类器的推理，即计算类结点的条件概率，对待分类数据进行分类。这两者的时间复杂性均取决于特征间的依赖程度，甚至可以是ＮＰ完全问题。因而在实际应用中，往往需
主观贝叶斯实验报告 学生姓名 程战战 专业/班级 计算机91 学 号 09055006 所在学院 电信学院 指导教师 鲍军鹏 提交日期 2012/4/26
根据初始证据E 的概率P （E ）及LS 、LN 的值，把H 的先验概率P （H ）更新为后验概率P （H/E ）或者P(H/!E)。在证据不确定的情况下，用户观察到的证据具有不确定性，即0 朴素贝叶斯分类器 Naive Bayesian Classifier C语言实现 信息电气工程学院 计算本1102班 20112212465 马振磊 1.贝叶斯公式 通过贝叶斯公式，我们可以的知在属性F1-Fn成立的情况下，该样本属于分类C的概率。 而概率越大，说明样本属于分类C的可能性越大。 若某样本可以分为2种分类A，B。 要比较P(A | F1,F2......) 与P(B | F1,F2......)的大小只需比较，P(A)P(F1,F2......| A) ,与P(B)P(F1,F2......| B) 。因为两式分母一致。 而P(A)P(F1,F2......| A)可以采用缩放为P(A)P(F1|A)P(F2|A).......(Fn|A) 因此，在分类时，只需比较每个属性在分类下的概率累乘，再乘该分类的概率即可。 分类属性outlook 属性temperature 属性humidity 属性wind no sunny hot high weak no sunny hot high strong yes overcast hot high weak yes rain mild high weak yes rain cool normal weak no rain cool normal strong yes overcast cool normal strong no sunny mild high weak yes sunny cool normal weak yes rain mild normal weak yes sunny mild normal strong yes overcast mild high strong yes overcast hot normal weak no rain mild high strong 以上是根据天气的4种属性，某人外出活动的记录。 若要根据以上信息判断 (Outlook = sunny,Temprature = cool,Humidity = high,Wind = strong) 所属分类。 P(yes| sunny ,cool ,high ,strong )=P(yes)P(sunny|yes)P(cool |yes)P(high|yes)P(strong|yes)/K P(no| sunny ,cool ,high ,strong )=P(no)P(sunny|no)P(cool |no)P(high|no)P(strong|no)/K K为缩放因子，我们只需要知道两个概率哪个大，所以可以忽略K。 P(yes)=9/14 P(no)=5/14 P(sunny|yes)=2/9 P(cool|yes)=1/3 P(high|yes)=1/3 P(strong|yes)=1/3 P(sunny|no)=3/5 P(cool|no)=1/5 P(high|no)=4/5 P(strong|no)=3/5 P(yes| sunny ,cool ,high ,strong)=9/14*2/9*1/3*1/3*1/3=0.00529 P(no| sunny ,cool ,high ,strong )=5/14*3/5*1/5*4/5*3/5=0.20571 No的概率大，所以该样本实例属于no分类。 作业6 编程题实验报告 （一）实验内容： 编程实现朴素贝叶斯分类器，假设输入输出都是离散变量。用讲义提供的训练数据进行试验，观察分类器在 121.x x m ==时，输出如何。如果在分类器中加入Laplace 平滑（取?=1） ，结果是否改变。 （二）实验原理： 1）朴素贝叶斯分类器： 对于实验要求的朴素贝叶斯分类器问题，假设数据条件独立，于是可以通过下式计算出联合似然函数： 12(,,)()D i i p x x x y p x y =∏ 其中，()i p x y 可以有给出的样本数据计算出的经验分布估计。 在实验中，朴素贝叶斯分类器问题可以表示为下面的式子： ~1*arg max ()()D i y i y p y p x y ==∏ 其中，~ ()p y 是从给出的样本数据计算出的经验分布估计出的先验分布。 2）Laplace 平滑： 在分类器中加入Laplace 平滑目的在于，对于给定的训练数据中，有可能会出现不能完全覆盖到所有变量取值的数据，这对分类器的分类结果造成一定误差。 解决办法，就是在分类器工作前，再引入一部分先验知识，让每一种变量去只对应分类情况与统计的次数均加上Laplace 平滑参数?。依然采用最大后验概率准则。 （三）实验数据及程序： 1）实验数据处理： 在实验中，所用数据中变量2x 的取值，对应1,2,3s m I === 讲义中所用的两套数据，分别为cover all possible instances 和not cover all possible instances 两种情况，在实验中，分别作为训练样本，在给出测试样本时，输出不同的分类结果。 2）实验程序： 比较朴素贝叶斯分类器，在分类器中加入Laplace 平滑（取?=1）两种情况，在编写matlab 函数时，只需编写分类器中加入Laplace 平滑的函数，朴素贝叶斯分类器是?=0时，特定的Laplace 平滑情况。 实现函数：[kind] =N_Bayes_Lap(X1,X2,y,x1,x2,a) 输入参数：X1,X2，y 为已知的训练数据； x1,x2为测试样本值； a 为调整项，当a=0时，就是朴素贝叶斯分类器，a=1时，为分类器中加入Laplace 平滑。 输出结果：kind ，输出的分类结果。 一、实验意义及目的 1、掌握贝叶斯判别定理 2、能利用matlab编程实现贝叶斯分类器设计 3、熟悉基于matlab的算法处理函数，并能够利用算法解决简单问题 二、算法原理 贝叶斯定理是关于随机事件A和B的条件概率（或边缘概率）的一则定理。其中P(A|B)是在B发生的情况下A发生的可能性 公式为： 贝叶斯法则：当分析样本大到接近总体数时，样本中事件发生的概率将接近于总体中事件发生的概率。 内容： （1）两类w服从正态分布，设计基于最小错误率的贝叶斯分类器，对数据进行分 类。 （2）使用matlab进行Bayes判别的相关函数，实现上述要求。 （3）针对（1）中的数据，自由给出损失表，并对数据实现基于最小风险的贝叶斯分类。 三、实验内容 （1）尝两类w服从正态分布，设计基于最小错误率的贝叶斯分类器，对数据进行分类。 代码清单： clc; clear all; meas=[0 0;2 0;2 2;0 2;4 4;6 4;6 6;4 6];%8x2矩阵这里一行一行2个特征 [N n]=size(meas); species={'one';'one';'one';'one';'two';'two';'two';'two'};%这里也对应一行一行的 sta=tabulate(species) [c k]=size(sta); priorp=zeros(c,1); for i=1:c priorp(i)=cell2mat(sta(i,k))/100;%计算概率 end %cell2mat(sta(:,2:3)) 提取数组中的数据本来sta数组中数据为矩阵不能直接用 %估算类条件概率参数 cpmean=zeros(c,n); cpcov=zeros(n,n,c); for i=1:c cpmean(i,:)=mean(meas(strmatch(char(sta(i,1)),species,'exact'),:));%exact精确查找cpmean放的每一类的均值点几类就几行 cpcov(:,:,i)=cov(meas(strmatch(char(sta(i,1)),species,'exact'),:))*(N*priorp(i)- 1)/(N*priorp(i)); end %求（3 1）的后验概率 x=[3 1]; postp=zeros(c,1); for i=1:c postp(i)=priorp(i)*exp(-(x-cpmean(i,:))*inv(cpcov(:,:,i))*(x- cpmean(i,:))'/2)/((2*pi)^(n/2)*det(cpcov(:,:,i))); end if postp(1)>postp(2) disp('第一类'); else disp('第二类'); end 运行结果： （2）使用matlab进行Bayes判别的相关函数，实现上述要求。 （3）针对（1）中的数据，自由给出损失表，并对数据实现基于最小错误率的贝叶斯分类： 给出损失表 在（1）的基础上增加代码： r11=0; r12=2 ; r21=4 ; r22=0 ; %风险决策表 用于运动识别的聚类特征融合方法和装置 提供了一种用于运动识别的聚类特征融合方法和装置，所述方法包括：将从被采集者的加速度信号 中提取的时频域特征集的子集内的时频域特征表示成以聚类中心为基向量的线性方程组；通过求解线性方程组来确定每组聚类中心基向量的系数；使用聚类中心基向量的系数计算聚类中心基向量对子集的方差贡献率；基于方差贡献率计算子集的聚类中心的融合权重；以及基于融合权重来获得融合后的时频域特征集。 加速度信号 →时频域特征 →以聚类中心为基向量的线性方程组 →基向量的系数 →方差贡献率 →融合权重 基于特征组合的步态行为识别方法 本发明公开了一种基于特征组合的步态行为识别方法，包括以下步骤：通过加速度传感器获取用户在行为状态下身体的运动加速度信息；从上述运动加速度信息中计算各轴的峰值、频率、步态周期和四分位差及不同轴之间的互相关系数；采用聚合法选取参数组成特征向量；以样本集和步态加速度信号的特征向量作为训练集，对分类器进行训练，使的分类器具有分类步态行为的能力；将待识别的步态加速度信号的所有特征向量输入到训练后的分类器中，并分别赋予所属类别，统计所有特征向量的所属类别，并将出现次数最多的类别赋予待识别的步态加速度信号。实现简化计算过程，降低特征向量的维数并具有良好的有效性的目的。 传感器 →样本及和步态加速度信号的特征向量作为训练集 →分类器具有分类步态行为的能力 基于贝叶斯网络的核心网故障诊断方法及系统 本发明公开了一种基于贝叶斯网络的核心网故障诊断方法及系统，该方法从核心网的故障受理中心采集包含有告警信息和故障类型的原始数据并生成样本数据，之后存储到后备训练数据集中进行积累，达到设定的阈值后放入训练数据集中；运用贝叶斯网络算法对训练数据集中的样本数据进行计算，构造贝叶斯网络分类器；从核心网的网络管理系统采集含有告警信息的原始数据，经贝叶斯网络分类器计算获得告警信息对应的故障类型。本发明，利用贝叶斯网络分类器构建故障诊断系统，实现了对错综复杂的核心网故障进行智能化的系统诊断功能，提高了诊断的准确性和灵活性，并且该系统构建于网络管理系统之上，易于实施，对核心网综合信息处理具有广泛的适应性。 告警信息和故障类型 →训练集 —>贝叶斯网络分类器 《模式识别》实验报告 ---最小错误率贝叶斯决策分类 一、实验原理 对于具有多个特征参数的样本（如本实验的iris 数据样本有4d =个参数），其正态分布的概率密度函数可定义为 11 22 11()exp ()()2(2)T d p π-??=--∑-???? ∑x x μx μ 式中，12,,,d x x x ????=x 是d 维行向量，12,,,d μμμ????=μ 是d 维行向量，∑是d d ?维协方差矩阵，1-∑是∑的逆矩阵，∑是∑的行列式。 本实验我们采用最小错误率的贝叶斯决策，使用如下的函数作为判别函数 ()(|)(), 1,2,3i i i g p P i ωω==x x （3个类别） 其中()i P ω为类别i ω发生的先验概率，(|)i p ωx 为类别i ω的类条件概率密度函数。 由其判决规则，如果使()()i j g g >x x 对一切j i ≠成立，则将x 归为i ω类。 我们根据假设：类别i ω，i=1,2,……,N 的类条件概率密度函数(|)i p ωx ，i=1,2,……,N 服从正态分布，即有(|)i p ωx ~(,)i i N ∑μ，那么上式就可以写为 112 2 ()1()exp ()(),1,2,32(2)T i i d P g i ωπ-?? = -∑=???? ∑ x x -μx -μ 对上式右端取对数，可得 111()()()ln ()ln ln(2)222 T i i i i d g P ωπ-=-∑+-∑-i i x x -μx -μ 上式中的第二项与样本所属类别无关，将其从判别函数中消去，不会改变分类结果。则判别函数()i g x 可简化为以下形式 111 ()()()ln ()ln 22 T i i i i g P ω-=-∑+-∑i i x x -μx -μ IRIS 数据集的Bayes 分类实验 一、 实验原理 1) 概述 模式识别中的分类问题是根据对象特征的观察值将对象分到某个类别中去。统计决策理论是处理模式分类问题的基本理论之一，它对模式分析和分类器的设计有着实际的指导意义。 贝叶斯（Bayes ）决策理论方法是统计模式识别的一个基本方法，用这个方法进行分类时需要具备以下条件： 各类别总体的分布情况是已知的。 要决策分类的类别数是一定的。 其基本思想是：以Bayes 公式为基础，利用测量到的对象特征配合必要的先验信息，求出各种可能决策情况（分类情况）的后验概率，选取后验概率最大的,或者决策风险最小的决策方式(分类方式)作为决策（分类）的结果。也就是说选取最有可能使得对象具有现在所测得特性的那种假设，作为判别的结果。 常用的Bayes 判别决策准则有最大后验概率准则（MAP ），极大似然比准则（ML ），最小风险Bayes 准则，Neyman-Pearson 准则（N-P ）等。 2) 分类器的设计 对于一个一般的c 类分类问题，其分类空间： {}c w w w ,,,21 =Ω 表特性的向量为： ()T d x x x x ,,,21 = 其判别函数有以下几种等价形式： a) ()()i j i w w i j c j w w x w P x w P ∈→≠=∈→>，且，,,2,11 ， b) ()()() ()i j j i w w i j c j w P w x p w P w x p ∈→≠=>，且，,,2,1i c) ()() () ()()i i j j i w w i j c j w P w P w x p w x p x l ∈→≠=>=，且，,,2,1 d) ()()() ()i j j i i w w i j c j w P w x np w P w x p ∈→≠=+>+，且，,,2,1ln ln ln 3) IRIS 数据分类实验的设计 朴素贝叶斯分类算法 一．贝叶斯分类的原理 贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。也就是说，贝叶斯分类器是最小错误率意义上的优化。 贝叶斯分类器是用于分类的贝叶斯网络。该网络中应包含类结点C，其中C 的取值来自于类集合( c1 , c2 , ... , cm)，还包含一组结点X = ( X1 , X2 , ... , Xn)，表示用于分类的特征。对于贝叶斯网络分类器，若某一待分类的样本D，其分类特征值为x = ( x1 , x2 , ... , x n) ，则样本D 属于类别ci 的概率P( C = ci | X1 = x1 , X2 = x 2 , ... , Xn = x n) ，( i = 1 ,2 , ... , m) 应满足下式： P( C = ci | X = x) = Max{ P( C = c1 | X = x) , P( C = c2 | X = x ) , ... , P( C = cm | X = x ) } 贝叶斯公式： P( C = ci | X = x) = P( X = x | C = ci) * P( C = ci) / P( X = x) 其中，P( C = ci) 可由领域专家的经验得到,而P( X = x | C = ci) 和P( X = x) 的计算则较困难。 二．贝叶斯伪代码 整个算法可以分为两个部分，“建立模型”与“进行预测”，其建立模型的伪代码如下： numAttrValues 等简单的数据从本地数据结构中直接读取 构建几个关键的计数表 for(为每一个实例) { for( 每个属性 ){ 为 numClassAndAttr 中当前类，当前属性，当前取值的单元加 1 为 attFrequencies 中当前取值单元加 1 } } 预测的伪代码如下： for(每一个类别){ for(对每个属性 xj){ for(对每个属性 xi){ 实验报告 课程名称：模式识别 学院：电子通信与物理学院专业：电子信息工程 班级：电子信息工程2013-3姓名： 学号： 指导老师： 实验一Bayes 分类器设计 本实验旨在让同学对模式识别有一个初步的理解，能够根据自己的设计对贝叶斯决策理论算法有一个深刻地认识，理解二类分类器的设计原理。 1实验原理 最小风险贝叶斯决策可按下列步骤进行： (1)在已知)(i P ω，)(i X P ω，i=1,…，c 及给出待识别的X 的情况下，根据贝叶斯公式计算出后验概率： ∑==c j i i i i i P X P P X P X P 1)()() ()()(ωωωωω j=1,…，x (2)利用计算出的后验概率及决策表，按下面的公式计算出采取i a ,i=1,…，a 的条件风险 ∑==c j j j i i X P a X a R 1)(),()(ωωλ,i=1,2,…,a (3)对(2)中得到的a 个条件风险值)(X a R i ,i=1,…，a 进行比较，找出使其条件风险最小的决策k a ，即 则k a 就是最小风险贝叶斯决策。 2实验内容 假定某个局部区域细胞识别中正常（1ω）和非正常（2ω）两类先验概率分别为 正常状态：P （1ω）=； 异常状态：P （2ω）=。 现有一系列待观察的细胞，其观察值为x ： 已知类条件概率密度曲线如下图： )|(1ωx p )|(2ωx p 类条件概率分布正态分布分别为（-2，）（2,4）试对观察的结果进行分类。 3 实验要求 1) 用matlab 完成分类器的设计，要求程序相应语句有说明文字。 2) 根据例子画出后验概率的分布曲线以及分类的结果示意图。 3) 如果是最小风险贝叶斯决策，决策表如下： 最小风险贝叶斯决策表： 请重新设计程序，画出相应的后验概率的分布曲线和分类结果,并比较两个结果。朴素贝叶斯分类器
统计学习_朴素贝叶斯分类器实验报告
机器学习实验2-贝叶斯分类器设计
贝叶斯分类多实例分析总结
《模式识别》实验报告-贝叶斯分类
iris数据集的贝叶斯分类
朴素贝叶斯分类算法代码实现
实验一Bayes分类器设计
相关主题
文本预览