第七讲 统计分类(二)--贝叶斯分类器h

机器学习：贝叶斯分类器（⼆）——⾼斯朴素贝叶斯分类器代码实现⼀⾼斯朴素贝叶斯分类器代码实现⽹上搜索不调⽤sklearn实现的朴素贝叶斯分类器基本很少，即使有也是结合⽂本分类的多项式或伯努利类型，因此⾃⼰写了⼀遍能直接封装的⾼斯类型NB分类器，当然与真正的源码相⽐少了很多属性和⽅法，有兴趣的可以⾃⼰添加。

代码如下（有详细注释）：class NaiveBayes():'''⾼斯朴素贝叶斯分类器'''def __init__(self):self._X_train = Noneself._y_train = Noneself._classes = Noneself._priorlist = Noneself._meanmat = Noneself._varmat = Nonedef fit(self, X_train, y_train):self._X_train = X_trainself._y_train = y_trainself._classes = np.unique(self._y_train) # 得到各个类别priorlist = []meanmat0 = np.array([[0, 0, 0, 0]])varmat0 = np.array([[0, 0, 0, 0]])for i, c in enumerate(self._classes):# 计算每个种类的平均值，⽅差，先验概率X_Index_c = self._X_train[np.where(self._y_train == c)] # 属于某个类别的样本组成的“矩阵”priorlist.append(X_Index_c.shape[0] / self._X_train.shape[0]) # 计算类别的先验概率X_index_c_mean = np.mean(X_Index_c, axis=0, keepdims=True) # 计算该类别下每个特征的均值，结果保持⼆维状态[[3 4 6 2 1]]X_index_c_var = np.var(X_Index_c, axis=0, keepdims=True) # ⽅差meanmat0 = np.append(meanmat0, X_index_c_mean, axis=0) # 各个类别下的特征均值矩阵罗成新的矩阵，每⾏代表⼀个类别。

朴素贝叶斯分类贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。

而朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。

一：贝叶斯原理朴素贝叶斯分类算法是一个典型的统计学习方法，主要的理论基础就是贝叶斯公式。

贝叶斯公式定义如下所示：先验概率：通过经验来判断事情发生的概率。

后验概率：后验概率就是发生结果之后，推测原因的概率。

条件概率：事件 A 在另外一个事件 B 已经发生条件下的发生概率，表示为 P(A|B)，读作“在 B 发生的条件下 A 发生的概率”。

P（A|B）表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率。

其基本求解公式为：P（AB）/P(B)。

但是在有些情况下，我们可以很容易直接得出P(A|B)，P(B|A)则很难直接得出，但是我们更想要知道P(B|A)。

例如（通信接收机检测判决）将A，B，C 三个字母之一输入信道，输出为原字母的概率为α，而输出为其它一字母的概率都是(1－α)/2。

今将字母串AAAA，BBBB，CCCC 之一输入信道，输入AAAA，BBBB，CCCC 的概率分别为p1, p2, p3 (p1 +p2+p3=1)，已知输出为ABCA，问输入的是AAAA 的概率是多少？（设信道传输每个字母的工作是相互独立的。

）在这个例子中，我们知道了结果，但是我们想要知道输入的概率，直接计算是非常困难的，但是通过贝叶斯公式就显得十分简单了。

换句话说，就是我们知道原因，推导结果是比较容易的，但是当我们知道结果，要反过来推导原因是十分困难的。

而贝叶斯公式就为我们知道结果后推导原因提供了一个捷径。

二：朴素贝叶斯分类在说完了贝叶斯原理之后，现在就来说朴素贝叶斯分类。

朴素贝叶斯分类之所以朴素，就是因为我们做了一个简单的假设，即类中特定特征的存在与任何其他特征的存在无关，这意味着每个特征彼此独立。

因此对实际情况有所约束，如果属性之间存在关联，分类准确率会降低。

详解贝叶斯分类器1.贝叶斯决策论贝叶斯分类器是一类分类算法的总称，贝叶斯定理是这类算法的核心，因此统称为贝叶斯分类。

贝叶斯决策论通过相关概率已知的情况下利用误判损失来选择最优的类别分类。

“风险”(误判损失)= 原本为cj的样本误分类成ci产生的期望损失，期望损失可通过下式计算：为了最小化总体风险，只需在每个样本上选择能够使条件风险R(c|x)最小的类别标记。

最小化分类错误率的贝叶斯最优分类器为：即对每个样本x，选择能使后验概率P(c|x)最大的类别标记。

利用贝叶斯判定准则来最小化决策风险，首先要获得后验概率P(c|x)，机器学习要实现的是基于有限的训练样本集尽可能准确的估计出后验概率P(c|x)。

主要有两种模型：一是“判别式模型”：通过直接建模P(c|x)来预测，其中决策树，BP神经网络，支持向量机都属于判别式模型。

另外一种是“生成式模型”：通过对联合概率模型P(x，c)进行建模，然后再获得P(c|x)。

对于生成模型来说：基于贝叶斯定理，可写为下式（1）通俗的理解：P(c)是类“先验”概率，P(x|c)是样本x相对于类标记c的类条件概率，或称似然。

p(x)是用于归一化的“证据”因子，对于给定样本x，证据因子p(x)与类标记无关。

于是，估计p(c|x)的问题变为基于训练数据来估计p(c)和p(x|c)，对于条件概率p(x|c)来说，它涉及x所有属性的联合概率。

2.极大似然估计假设p(x|c)）具有确定的形式并且被参数向量唯一确定，则我们的任务是利用训练集估计参数θc，将P（x|c）记为P（x|θc）。

令Dc表示训练集D第c类样本的集合，假设样本独立同分布，则参数θc对于数据集Dc的似然是对进行极大似然估计，就是去寻找能最大化P（Dc|θc）的参数值。

直观上看，极大似然估计是试图在θc所有可能的取值中，找到一个能使数据出现的“可能性”最大的值。

上式的连乘操作易造成下溢，通常使用对数似然：此时参数θc的极大似然估计为在连续属性情形下，假设概率密度函数，则参数和的极大似然估计为：也就是说，通过极大似然法得到的正态分布均值就是样本均值，方差就是的均值，在离散情况下，也可通过类似的方式估计类条件概率。

贝叶斯的原理和应用1. 贝叶斯原理介绍贝叶斯原理是基于概率论的一种推理方法，它被广泛地应用于统计学、人工智能和机器学习等领域。

其核心思想是通过已有的先验知识和新的观察数据来更新我们对于某个事件的信念。

2. 贝叶斯公式贝叶斯公式是贝叶斯原理的数学表达方式，它可以用来计算在观察到一些新的证据后，更新对于某个事件的概率。

贝叶斯公式的表达如下：P(A|B) = (P(B|A) * P(A)) / P(B)其中，P(A|B)表示在观察到事件B之后，事件A发生的概率；P(B|A)表示在事件A发生的前提下，事件B发生的概率；P(A)和P(B)分别是事件A和事件B的先验概率。

3. 贝叶斯分类器贝叶斯分类器是基于贝叶斯原理的一种分类算法。

它利用已有的训练数据来估计不同特征值条件下的类别概率，然后根据贝叶斯公式计算得到新样本属于不同类别的概率，从而进行分类。

贝叶斯分类器的主要步骤包括：•学习阶段：通过已有的训练数据计算得到类别的先验概率和特征条件概率。

•预测阶段：对于给定的新样本，计算得到其属于不同类别的概率，并选择概率最大的类别作为分类结果。

贝叶斯分类器的优点在于对于数据集的要求较低，并且能够处理高维特征数据。

但是，贝叶斯分类器的缺点是假设特征之间相互独立，这在实际应用中可能不符合实际情况。

4. 贝叶斯网络贝叶斯网络是一种用有向无环图来表示变量之间条件依赖关系的概率图模型。

它可以用来描述变量之间的因果关系，并通过贝叶斯推理来进行推断。

贝叶斯网络的节点表示随机变量，边表示变量之间的条件概率关系。

通过学习已有的数据，可以构建贝叶斯网络模型，然后利用贝叶斯推理来计算给定一些观察值的情况下，其他变量的概率分布。

贝叶斯网络在人工智能、决策分析和医学诊断等领域有广泛的应用。

它可以通过概率推断来进行决策支持，帮助人们进行风险评估和决策分析。

5. 贝叶斯优化贝叶斯优化是一种用来进行参数优化的方法。

在参数优化问题中，我们需要找到使得某个性能指标最好的参数组合。

一、实验意义及目的1、掌握贝叶斯判别定理2、能利用matlab编程实现贝叶斯分类器设计3、熟悉基于matlab的算法处理函数，并能够利用算法解决简单问题二、算法原理贝叶斯定理是关于随机事件A和B的条件概率（或边缘概率）的一则定理。

其中P(A|B)是在B发生的情况下A发生的可能性公式为：贝叶斯法则：当分析样本大到接近总体数时，样本中事件发生的概率将接近于总体中事件发生的概率。

内容：（1）两类w服从正态分布，设计基于最小错误率的贝叶斯分类器，对数据进行分类。

（2）使用matlab进行Bayes判别的相关函数，实现上述要求。

（3）针对（1）中的数据，自由给出损失表，并对数据实现基于最小风险的贝叶斯分类。

三、实验内容（1）尝两类w服从正态分布，设计基于最小错误率的贝叶斯分类器，对数据进行分类。

代码清单：clc;clear all;meas=[0 0;2 0;2 2;0 2;4 4;6 4;6 6;4 6];%8x2矩阵这里一行一行2个特征[N n]=size(meas);species={'one';'one';'one';'one';'two';'two';'two';'two'};%这里也对应一行一行的sta=tabulate(species)[c k]=size(sta);priorp=zeros(c,1);for i=1:cpriorp(i)=cell2mat(sta(i,k))/100;%计算概率end%cell2mat(sta(:,2:3)) 提取数组中的数据本来sta数组中数据为矩阵不能直接用%估算类条件概率参数cpmean=zeros(c,n);cpcov=zeros(n,n,c);for i=1:ccpmean(i,:)=mean(meas(strmatch(char(sta(i,1)),species,'exact'),:));%exact精确查找cpmean放的每一类的均值点几类就几行cpcov(:,:,i)=cov(meas(strmatch(char(sta(i,1)),species,'exact'),:))*(N*priorp(i)-1)/(N*priorp(i));end%求（3 1）的后验概率x=[3 1];postp=zeros(c,1);for i=1:cpostp(i)=priorp(i)*exp(-(x-cpmean(i,:))*inv(cpcov(:,:,i))*(x-cpmean(i,:))'/2)/((2*pi)^(n/2)*det(cpcov(:,:,i)));endif postp(1)>postp(2)disp('第一类');elsedisp('第二类');end运行结果：（2）使用matlab进行Bayes判别的相关函数，实现上述要求。

贝叶斯方法贝叶斯分类器是一种比较有潜力的数据挖掘工具，它本质上是一种分类手段，但是它的优势不仅仅在于高分类准确率，更重要的是，它会通过训练集学习一个因果关系图（有向无环图）。

如在医学领域，贝叶斯分类器可以辅助医生判断病情，并给出各症状影响关系，这样医生就可以有重点的分析病情给出更全面的诊断。

进一步来说，在面对未知问题的情况下，可以从该因果关系图入手分析，而贝叶斯分类器此时充当的是一种辅助分析问题领域的工具。

如果我们能够提出一种准确率很高的分类模型，那么无论是辅助诊疗还是辅助分析的作用都会非常大甚至起主导作用，可见贝叶斯分类器的研究是非常有意义的。

与五花八门的贝叶斯分类器构造方法相比，其工作原理就相对简单很多。

我们甚至可以把它归结为一个如下所示的公式：选取其中后验概率最大的c，即分类结果，可用如下公式表示贝叶斯统计的应用范围很广，如计算机科学中的“统计模式识别”、勘探专家所采用的概率推理、计量经济中的贝叶斯推断、经济理论中的贝叶斯模型等。

上述公式本质上是由两部分构成的：贝叶斯分类模型和贝叶斯公式。

下面介绍贝叶斯分类器工作流程：1．学习训练集，存储计算条件概率所需的属性组合个数。

2．使用1中存储的数据，计算构造模型所需的互信息和条件互信息。

3．使用2种计算的互信息和条件互信息，按照定义的构造规则，逐步构建出贝叶斯分类模型。

4．传入测试实例5．根据贝叶斯分类模型的结构和贝叶斯公式计算后验概率分布。

6．选取其中后验概率最大的类c，即预测结果。

一、第一部分中给出了7个定义。

定义1 给定事件组，若其中一个事件发生，而其他事件不发生，则称这些事件互不相容。

定义 2 若两个事件不能同时发生，且每次试验必有一个发生，则称这些事件相互对立。

定义 3 若定某事件未发生，而其对立事件发生，则称该事件失败定义4 若某事件发生或失败，则称该事件确定。

定义 5 任何事件的概率等于其发生的期望价值与其发生所得到的价值之比。

定义6 机会与概率是同义词。

贝叶斯分类器（3）朴素贝叶斯分类器根据，我们对贝叶斯分类器所要解决的问题、问题的求解⽅法做了概述，将贝叶斯分类问题转化成了求解P(x|c)的问题，在上⼀篇中，我们分析了第⼀个求解⽅法：极⼤似然估计。

在本篇中，我们来介绍⼀个更加简单的P(x|c)求解⽅法，并在此基础上讲讲常⽤的⼀个贝叶斯分类器的实现：朴素贝叶斯分类器（Naive Bayes classifier）。

1 朴素贝叶斯分类原理1.1 分类问题回顾我们的⽬标是通过对样本的学习来得到⼀个分类器，以此来对未知数据进⾏分类，即求后验概率P(c|x)。

在中，我们描述了贝叶斯分类器是以⽣成式模型的思路来处理这个问题的，如下⾯的公式所⽰，贝叶斯分类器通过求得联合概率P(x,c)来计算P(c|x)，并将联合概率P(x,c)转化成了计算类先验概率P(c)、类条件概率P(x|c)、证据因⼦P(x)。

h∗(x)=\argmax c∈Y P(c|x)=\argmax c∈Y P(x,c)P(x)=\argmaxc∈YP(c)∗P(x|c)P(x)其中的难点是类条件概率P(x|c)的计算，因为样本x本⾝就是其所有属性的联合概率，各种属性随意组合，变幻莫测，要计算其中某⼀种组合出现的概率真的是太难了，⽽朴素贝叶斯的出现就是为了解决这个问题的。

要想计算联合概率P(a,b)，我们肯定是希望事件a与事件b是相互独⽴的，可以简单粗暴的P(a,b)=P(a)P(b)，多想对着流星许下⼼愿：让世界上复杂的联合概率都变成简单的连乘！1.2 朴素贝叶斯朴素贝叶斯实现了我们的梦想！朴素贝叶斯中的朴素就是对多属性的联合分布做了⼀个⼤胆的假设，即x的n个维度之间相互独⽴：P([x1,x2,...,x n]|c)=P(x1|c)P(x2|c)...P(x1|c)朴素贝叶斯通过这⼀假设⼤⼤简化了P(x|c)的计算，当然，使⽤这个假设是有代价的，⼀般情况下，⼤量样本的特征之间独⽴这个条件是弱成⽴的，毕竟哲学上说联系是普遍的，所以我们使⽤朴素贝叶斯会降低⼀些准确性；如果实际问题中的事件的各个属性⾮常不独⽴的话，甚⾄是⽆法使⽤朴素贝叶斯的。

贝叶斯分类器例题
1.朴素贝叶斯分类器：一个例子是识别垃圾邮件。

给定一封邮件，可以根据邮件中的关键词和主题来判断该邮件是否为垃圾邮件。

通过朴素贝叶斯分类器，可以将邮件分为垃圾邮件和非垃圾邮件两类。

2.贝叶斯网络分类器：另一个例子是疾病诊断。

给定一个病人的症状和病史，可以根据贝叶斯网络分类器来预测该病人可能患有哪种疾病。

通过计算每个疾病的概率，可以得出最可能的诊断结果。

3.信用卡欺诈识别：在这个例子中，我们使用贝叶斯分类器来识别信用卡欺诈行为。

给定一系列交易数据，包括交易金额、交易地点、交易时间等，我们需要判断这些交易是否为欺诈行为。

通过训练一个贝叶斯分类器，可以学习到正常交易和欺诈交易的特征，并利用这些特征来预测新的交易是否为欺诈行为。

4.情感分析：在这个例子中，我们使用贝叶斯分类器来进行情感分析。

给定一篇文章或一段评论，我们需要判断该文本的情感倾向是积极还是消极。

通过训练一个贝叶斯分类器，可以学习到积极和消极文本的特征，并利用这些特征来预测新的文本的情感倾向。

5.基因分类：在这个例子中，我们使用贝叶斯分类器来进行基因分类。

给定一个基因序列，我们需要将其分类为不同的基因家族或亚家族。

通过训练一个贝叶斯分类器，可以学习到不同基因家族或亚家族的特征，并利用这些特征来预测新的基因序列的家族或亚家族归属。

以上这些例题只是贝叶斯分类器的一些应用示例，实际上贝叶斯分类器的应用非常广泛，它可以应用于任何需要分类的领域，如金融、医疗、社交媒体等。

贝叶斯分类原理贝叶斯分类原理是一种基于贝叶斯定理的分类方法。

在机器学习中，分类是指将一个实例分配到一组预定义的类别中的任务。

在这种情况下，“贝叶斯分类”指的是将数据集分为一个或多个类别的算法。

随着互联网和人工智能的发展，贝叶斯分类原理在信息检索、垃圾邮件过滤、舆情分析和医疗诊断等领域中得到了广泛应用。

贝叶斯理论最早由英国统计学家托马斯·贝叶斯在18世纪提出。

贝叶斯分类原理是基于贝叶斯定理的。

贝叶斯定理的官方表述是：P(A|B) = P(B|A) × P(A) / P(B)P(A)和P(B)是事件A和事件B的先验概率分布；P(B|A)是在事件A下B的条件概率；P(A|B)是在已知事件B的情况下A的后验概率分布。

在贝叶斯分类中，我们将每个分类视为事件A并计算每个分类的先验概率P(A)。

然后考虑训练数据集中与该分类相关的每个特征，计算在每个类别中某一特征的条件概率P(B|A)。

使用贝叶斯公式来计算每个分类的后验概率P(A|B)。

将后验概率最高的分类作为预测结果。

贝叶斯分类的核心思想是通过先前的知识和后验概率的推断，来预测事物的未来发展。

在贝叶斯分类原理中，我们将每个分类视为一个“类别”，然后通过计算每个类别与每个特征的条件概率来进行分类。

具体过程如下：1.准备训练数据集。

2.计算训练数据集中每个类别的先验概率。

3.计算在每个类别下各特征的条件概率。

4.输入待分类的实例，计算在每个类别下该实例的后验概率。

5.选择后验概率最高的类别作为预测结果。

下面用一个简单的例子来说明贝叶斯分类原理。

假设我们需要对电子邮件进行自动分类，将它们分为“垃圾邮件” 和“正常邮件” 两类。

我们可以将邮件的主题、发件人信息、时间戳等各种特征作为分类依据。

现在我们已经有了一个训练集，并将训练集按照类别分别标记为“垃圾邮件” 和“正常邮件”。

在训练数据集中，假设类别“垃圾邮件” 的总数为1000封，其中主题包含“online casino” 的邮件有800封，主题不包含“online casino” 的邮件有200封；假设类别“正常邮件” 的总数为2000封，其中主题包含“online casino” 的邮件有100封，主题不包含“online casino” 的邮件有1900封。

贝叶斯统计：原理、方法和应用贝叶斯统计是一种基于贝叶斯概率的统计学理论，它使用概率的方法来解决统计学问题，如参数估计、假设检验、预测和决策等。

贝叶斯统计的核心思想是利用贝叶斯定理，根据已有的数据和先验知识，更新对未知参数或模型的信念，得到后验分布。

贝叶斯统计与传统的频率统计有很大的不同，主要体现在对概率的理解、对参数的处理和对推断的方法上。

本文将介绍贝叶斯统计的基本原理、主要方法和应用领域，以及它与频率统计的比较和联系。

一、贝叶斯统计的基本原理1.1 贝叶斯概率贝叶斯统计是建立在贝叶斯概率的基础上的。

贝叶斯概率是一种主观概率，它反映了人们对某个事件或命题发生的信心程度。

贝叶斯概率不依赖于事件的重复性或客观性，而是依赖于人们的知识和经验。

因此，不同的人可以有不同的贝叶斯概率，而且同一个人在不同的情境下也可以有不同的贝叶斯概率。

例如，如果我们想要估计明天下雨的概率，我们可以根据天气预报、季节、地理位置等信息来给出一个贝叶斯概率。

这个概率并不是说明天下雨是一个随机事件，而是说我们对明天下雨有多大的信心。

如果我们有更多或更准确的信息，我们可以更新我们的贝叶斯概率。

如果我们和别人有不同的信息或判断标准，我们可以有不同的贝叶斯概率。

1.2 贝叶斯定理贝叶斯定理是贝叶斯统计中最重要的工具，它描述了在给定新数据或证据后，如何更新对某个事件或命题发生的信心程度。

贝叶斯定理可以用数学公式表示为：P(A|B)=P(B|A)P(A)P(B)其中，A和B是两个事件或命题，P(A)是A发生的先验概率，即在没有B信息之前对A发生的信心程度；P(B)是B 发生的边缘概率，即在没有考虑A之前B发生的信心程度；P(B|A)是在已知A发生后B发生的条件概率，即在考虑了A信息之后对B发生的信心程度；P(A|B)是在已知B发生后A发生的条件概率，即在考虑了B信息之后对A发生的信心程度。

这个条件概率也被称为后验概率，它是贝叶斯推断的目标。