1. 问题描述
用高效朴素贝叶斯算法对Web 新闻文本进行分类模型的设计
2.算法结构
我们要判别一个文本的类别，就要计算出该文本属于各类别条件概率，根据贝叶斯原理可以得出:
)
(p )
(p )|(p )|(p i i i i i i d c c d d c =
（1.1）
然后比较各类别条件概率大小，选择类别条件概率最大者为该文本分类，如下
)}|}(max{i i d c p c = （1.2）
而要计算出)|(p i i d c ，先要先验概率)|(p i i c d ,其计算方法如下：
先将i d 展开其变成由一个由词语为单位组成的词组向量，即},...,,,{d 321n i w w w w =，然后得出：
∏==
=n
i i
i
i n i i w w p c w w w w p c d 1
321)|()|,...,,,()|(p （1.3）
而)(p i c 则是训练样本各类别文本数量与训练样本总数之比，计算公式如下： |
|)
()(p C c amount c i i =
（1.4）
至于)(p i d 它是表示每篇训练文档出现的概率，因为都一样，所以在实际计算时可以不用考虑。
所以实际计算)|(p d c i 的公式可以估算为 )()|()|(1
i
n
i i
i
i c p c w p d c p ∏=∝ （1.5）
由
式
(1.5)
可
知
)
()|()...|()|()|(21i i n i i i c p c w p c w p c w p d c p ∝，然而
)|()...|()|(21i n i i c w p c w p c w p 这样多个小数连续相乘最后的结果会非常小导致出现下溢
问题，令计算结果无效。为解决这个问题，我们在使用式(1.5)计算)|(p d c i 时需要做一些数学转换来防止出现这个数值下溢问题，而这些数学处理就令等式1.5 两边取对数，如下： ))((ln ))|((ln ))|((ln 1
i
n
i i
i
i c p c w p d c p +∝
∏= （1.6）
3.特征提取
本文将采用 jieba 分词模块来对文本进行分词及提取有代表性的关键词作为特征，jieba 分词模块自带的词库中包含着每个词的词频(TF)及反文档频率(IDF)，每个词的 TF 值，IDF 值均由原作者通过大量文本训练统计出来的，所以具有一般性，使用该方法得到的关键词用人工标准来判断能反映出文本主题。当使用 jieba 分词模块的提取关键词功能时，它会对在对文本进行分词的同时会利用每个词的 TF 值及 IDF 值计算出每个词的权重(Weight = TF*IDF)，然后根据权重大小对词进行排序，至于返回前多少歌词则由用户设定。另外，在使用提取特征词功能的时候还能去除标点符号及对文本主题无意义的停用词。根据 jieba 分词模块提取关键词的方法可知，它直接可以对单个文本提取关键词，利用这个特点，在对待分类文本也作关键词提取处理，只保留当中有代表性的关键词，这样既能大大减少生成词向量的时间又能提高分类准确率。
4.设计算法
采用朴素贝叶斯算法作为文本分类算法时，因其每个特征出现概率相互独立且每个特征重要程度相等的假设，所以选择一种高效的特征选择方法显得尤为重要。本文运用jieba 中文分词模块的TF-IDF 标准对训练新闻文本进行特征选择，实现一个基于朴素贝叶斯的文本分类模型。
5.训练算法
模型的训练是利用已转换为词向量的训练文本计算出每类文本的先验概率)|(p i i c d ,其计算过程的伪代码如下：
for each document ∈ training dataset: for each class ∈ training dataset: if a word appear ∈ document: increase the count for the word
for each class ∈ training dataset: for each word ∈ document:
divided the count of each word by total count of words to get the prior probability return the prior probability
训练结果为四个由四类文本所包含的词在该类文本所出现的概率组成的长度为 23368 数组，如下： 军事类：[?8.69962585 ?9.10509096 ?9.79823814 …, ?9.10509096 ?9.10509096] 财经类：[?9.79823814 ?9.79823814 ?9.79823814 ..., ?9.79823814 ?9.79823814] 体育类：[?9.78588575 ?9.78588575 ?9.78588575 ..., ?9.78588575 ?9.78588575] 社会类：[?9.79695969 ?9.79695969 ?8.18752178 ..., ?9.79695969 ?9.79695969] 注：因为各个词出现的概率都作了取自然对数的处理，所以均为负值。
6. 总结
表1
注：调和平均值 = 查全率 × 查准率 × 2/查全率 + 查准率。
表2
然后与模型训练计算出来的先验概率)|d (p i i c 一起计算出文本属于每一类文本的概率
)|(p i i d c ，然后比较大小，选择概率最大的并判别文本属于哪个类别，输出类别标签。
实验测试结果如表 1 所示。
从实验结果可以看出，对待分类文本采用 TF-IDF 算法提取关键字后，再运用朴素贝叶斯算法对文本进行分类，各类新闻文本都取得不错的分类效果，尤其军事类与财经类新闻的查准率调和平均值都超过了 99%。分类速度约为 900 篇/min 。
如不对待分类文本进行关键词提取，直接利用模型进行分类，其测试结果如表 2 所示。 从表 2 各指标来看均比表 1 有所下降，尤其是体育类新闻的查准率下降最为明显，约下降了 11.4%，不仅如此，又因生成词向量速度大大降低，其平均分类速度也大幅下降，只有 89 篇/min ，下降了约 90%。
朴素贝叶斯算法 1.算法简介 朴素贝叶斯分类是一种十分简单的分类算法，叫它朴素贝叶斯分类是因为这种方法的思想真的很朴素，朴素贝叶斯的思想基础是：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。 2.算法定义 朴素贝叶斯分类的正式定义如下： 1）设为一个待分类项，而每个a为x的一个特征属性； 2）有类别集合； 3）计算。 4）如果，则。 其中关键是如何计算步骤3）中的各个条件概率。计算过程如下： （1）找到一个已知分类的待分类项集合，该集合称为训练样本集。 （2）统计得到在各类别下各个特征属性的条件概率估计。即 （3）如果各个特征属性是条件独立的，则根据贝叶斯定理有如下推导： 因为分母对于所有类别为常数，因此只要将分子最大化皆可。又因为各特征属性是条件独立的，所以有： 可以看到，整个朴素贝叶斯分类分为三个阶段： 第一阶段——准备工作阶段，这个阶段的任务是为朴素贝叶斯分类做必要的准备，主要工作是根据具体情况确定特征属性，并对每个特征属性进行适当划分，然后由人工对一部分待分类项进行分类，形成训练样本集合。这一阶段的输入是所有待分类数据，输出是特征属性和训练样本。这一阶段是整个朴素贝叶斯分类中唯一需要人工完成的阶段，其质量对整个过程将有重要影响，分类器的质量很大程度上由特征属性、特征属性划分及训练样本质量决定。 第二阶段——分类器训练阶段，这个阶段的任务就是生成分类器，主要工作是计算每个类别在训练样本中的出现频率及每个特征属性划分对每个类别的条
件概率估计，并将结果记录。其输入是特征属性和训练样本，输出是分类器。这一阶段是机械性阶段，根据前面讨论的公式可以由程序自动计算完成。 第三阶段——应用阶段。这个阶段的任务是使用分类器对待分类项进行分类，其输入是分类器和待分类项，输出是待分类项与类别的映射关系。这一阶段也是机械性阶段，由程序完成。 3.估计类别下特征属性划分的条件概率及Laplace校准 ?估计类别下特征属性划分的条件概率 计算各个划分的条件概率P(a|y)是朴素贝叶斯分类的关键性步骤，当特征属性为离散值时，只要很方便的统计训练样本中各个划分在每个类别中出现的频率即可用来估计P(a|y)，下面重点讨论特征属性是连续值的情况。 当特征属性为连续值时，通常假定其值服从高斯分布（也称正态分布）。即： 而 因此只要计算出训练样本中各个类别中此特征项划分的各均值和标准差，代入上述公式即可得到需要的估计值。 ?Laplace校准 当某个类别下某个特征项划分没有出现时，会产生P(a|y)=0的现象，这会令分类器质量大大降低。为了解决这个问题，引入Laplace校准，就是对每个类别下所有划分的计数加1，这样如果训练样本集数量充分大时，并不会对结果产生影响，并且解决了上述频率为0的尴尬局面。 ●Laplace校准详解 假设离散型随机变量z有{1,2,…,k}共k个值，用 j (),{1,2,,} p z j j k Φ=== 来表示每个值的概率。假设在m个训练样本中，z的观察值是其中每一个观察值对应k个值中的一个。那么z=j出现的概率为： Laplace校准将每个特征值出现次数事先都加1，通俗讲就是假设它们都出现过一次。那么修改后的表达式为：
最近发现很多公司招聘数据挖掘的职位都提到贝叶斯分类，其实我不太清楚他们是要求理解贝叶斯分类算法，还是要求只需要通过工具（SPSS，SAS，Mahout）使用贝叶斯分类算法进行分类。 反正不管是需求什么都最好是了解其原理，才能知其然，还知其所以然。我尽量简单的描述贝叶斯定义和分类算法，复杂而有全面的描述参考“数据挖掘：概念与技术”。贝叶斯是一个人，叫（Thomas Bayes），下面这哥们就是。 本文介绍了贝叶斯定理，朴素贝叶斯分类算法及其使用MapReduce实现。 贝叶斯定理 首先了解下贝叶斯定理 P X H P(H) P H X= 是不是有感觉都是符号看起来真复杂，我们根据下图理解贝叶斯定理。 这里D是所有顾客（全集），H是购买H商品的顾客，X是购买X商品的顾客。自然X∩H是即购买X又购买H的顾客。 P(X) 指先验概率，指所有顾客中购买X的概率。同理P(H)指的是所有顾客中购买H 的概率，见下式。
X P X= H P H= P(H|X) 指后验概率，在购买X商品的顾客，购买H的概率。同理P(X|H)指的是购买H商品的顾客购买X的概率，见下式。 X∩H P H|X= X∩H P X|H= 将这些公式带入上面贝叶斯定理自然就成立了。 朴素贝叶斯分类 分类算法有很多，基本上决策树，贝叶斯分类和神经网络是齐名的。朴素贝叶斯分类假定一个属性值对给定分类的影响独立于其他属性值。 描述： 这里有个例子假定我们有一个顾客X（age = middle，income=high，sex =man）：?年龄（age）取值可以是：小（young），中（middle），大（old） ?收入（income）取值可以是：低（low），中（average），高（high） ?性别（sex）取值可以是：男（man），女（woman） 其选择电脑颜色的分类标号H：白色（white），蓝色（blue），粉色（pink） 问题： 用朴素贝叶斯分类法预测顾客X，选择哪个颜色的分类标号，也就是预测X属于具有最高后验概率的分类。 解答： Step 1 也就是说我们要分别计算X选择分类标号为白色（white），蓝色（blue），粉色（pink）的后验概率，然后进行比较取其中最大值。 根据贝叶斯定理
数据挖掘（8）：朴素贝叶斯分类算法原理与实践 隔了很久没有写数据挖掘系列的文章了，今天介绍一下朴素贝叶斯分类算法，讲一下基本原理，再以文本分类实践。 一个简单的例子 朴素贝叶斯算法是一个典型的统计学习方法，主要理论基础就是一个贝叶斯公式，贝叶斯公式的基本定义如下： 这个公式虽然看上去简单，但它却能总结历史，预知未来。公式的右边是总结历史，公式的左边是预知未来，如果把Y看出类别，X看出特征，P(Yk|X)就是在已知特征X的情况下求Yk类别的概率，而对P(Yk|X)的计算又全部转化到类别Yk的特征分布上来。举个例子，大学的时候，某男生经常去图书室晚自习，发现他喜欢的那个女生也常去那个自习室，心中窃喜，于是每天买点好吃点在那个自习室蹲点等她来，可是人家女生不一定每天都来，眼看天气渐渐炎热，图书馆又不开空调，如果那个女生没有去自修室，该男生也就不去，每次男生鼓足勇气说：“嘿，你明天还来不？”,“啊，不知道，看情况”。然后该男生每天就把她去自习室与否以及一些其他情况做一下记录，用Y表示该女生是否去自习室，即Y={去，不去}，X是跟去自修室有关联的一系列条件，比如当天上了哪门主课，蹲点统计了一段时间后，该男生打算今天不再蹲点，而是先预测一下她会不会去，现在已经知道了今天上了常微分方法这么主课，于是计算P(Y=去|常微分方
程)与P(Y=不去|常微分方程)，看哪个概率大，如果P(Y=去|常微分方程) >P(Y=不去|常微分方程)，那这个男生不管多热都屁颠屁颠去自习室了，否则不就去自习室受罪了。P(Y=去|常微分方程)的计算可以转为计算以前她去的情况下，那天主课是常微分的概率P(常微分方程|Y=去)，注意公式右边的分母对每个类别（去/不去）都是一样的，所以计算的时候忽略掉分母，这样虽然得到的概率值已经不再是0~1之间，但是其大小还是能选择类别。 后来他发现还有一些其他条件可以挖，比如当天星期几、当天的天气，以及上一次与她在自修室的气氛，统计了一段时间后，该男子一计算，发现不好算了，因为总结历史的公式： 这里n=3，x(1)表示主课，x(2)表示天气，x(3)表示星期几，x(4)表示气氛，Y仍然是{去，不去}，现在主课有8门，天气有晴、雨、阴三种、气氛有A+,A,B+,B，C五种，那么总共需要估计的参数有8*3*7*5*2=1680个，每天只能收集到一条数据，那么等凑齐1 680条数据大学都毕业了，男生打呼不妙，于是做了一个独立性假设，假设这些影响她去自习室的原因是独立互不相关的，于是 有了这个独立假设后，需要估计的参数就变为，(8+3+7+5)*2 = 46个了，而且每天收集的一条数据，可以提供4个参数，这样该男生就预测越来越准了。
用于运动识别的聚类特征融合方法和装置 提供了一种用于运动识别的聚类特征融合方法和装置，所述方法包括：将从被采集者的加速度信号 中提取的时频域特征集的子集内的时频域特征表示成以聚类中心为基向量的线性方程组；通过求解线性方程组来确定每组聚类中心基向量的系数；使用聚类中心基向量的系数计算聚类中心基向量对子集的方差贡献率；基于方差贡献率计算子集的聚类中心的融合权重；以及基于融合权重来获得融合后的时频域特征集。 加速度信号 →时频域特征 →以聚类中心为基向量的线性方程组 →基向量的系数 →方差贡献率 →融合权重 基于特征组合的步态行为识别方法 本发明公开了一种基于特征组合的步态行为识别方法，包括以下步骤：通过加速度传感器获取用户在行为状态下身体的运动加速度信息；从上述运动加速度信息中计算各轴的峰值、频率、步态周期和四分位差及不同轴之间的互相关系数；采用聚合法选取参数组成特征向量；以样本集和步态加速度信号的特征向量作为训练集，对分类器进行训练，使的分类器具有分类步态行为的能力；将待识别的步态加速度信号的所有特征向量输入到训练后的分类器中，并分别赋予所属类别，统计所有特征向量的所属类别，并将出现次数最多的类别赋予待识别的步态加速度信号。实现简化计算过程，降低特征向量的维数并具有良好的有效性的目的。 传感器 →样本及和步态加速度信号的特征向量作为训练集 →分类器具有分类步态行为的能力 基于贝叶斯网络的核心网故障诊断方法及系统 本发明公开了一种基于贝叶斯网络的核心网故障诊断方法及系统，该方法从核心网的故障受理中心采集包含有告警信息和故障类型的原始数据并生成样本数据，之后存储到后备训练数据集中进行积累，达到设定的阈值后放入训练数据集中；运用贝叶斯网络算法对训练数据集中的样本数据进行计算，构造贝叶斯网络分类器；从核心网的网络管理系统采集含有告警信息的原始数据，经贝叶斯网络分类器计算获得告警信息对应的故障类型。本发明，利用贝叶斯网络分类器构建故障诊断系统，实现了对错综复杂的核心网故障进行智能化的系统诊断功能，提高了诊断的准确性和灵活性，并且该系统构建于网络管理系统之上，易于实施，对核心网综合信息处理具有广泛的适应性。 告警信息和故障类型 →训练集 —>贝叶斯网络分类器
朴素贝叶斯分类器的应用 作者：阮一峰 日期：2013年12月16日 生活中很多场合需要用到分类，比如新闻分类、病人分类等等。 本文介绍朴素贝叶斯分类器（Naive Bayes classifier），它是一种简单有效的常用分类算法。 一、病人分类的例子 让我从一个例子开始讲起，你会看到贝叶斯分类器很好懂，一点都不难。 某个医院早上收了六个门诊病人，如下表。 症状职业疾病 打喷嚏护士感冒 打喷嚏农夫过敏 头痛建筑工人脑震荡 头痛建筑工人感冒 打喷嚏教师感冒 头痛教师脑震荡 现在又来了第七个病人，是一个打喷嚏的建筑工人。请问他患上感冒的概率有多大？ 根据贝叶斯定理： P(A|B) = P(B|A) P(A) / P(B)
可得 P(感冒|打喷嚏x建筑工人) = P(打喷嚏x建筑工人|感冒) x P(感冒) / P(打喷嚏x建筑工人) 假定"打喷嚏"和"建筑工人"这两个特征是独立的，因此，上面的等式就变成了 P(感冒|打喷嚏x建筑工人) = P(打喷嚏|感冒) x P(建筑工人|感冒) x P(感冒) / P(打喷嚏) x P(建筑工人) 这是可以计算的。 P(感冒|打喷嚏x建筑工人) = 0.66 x 0.33 x 0.5 / 0.5 x 0.33 = 0.66 因此，这个打喷嚏的建筑工人，有66%的概率是得了感冒。同理，可以计算这个病人患上过敏或脑震荡的概率。比较这几个概率，就可以知道他最可能得什么病。 这就是贝叶斯分类器的基本方法：在统计资料的基础上，依据某些特征，计算各个类别的概率，从而实现分类。 二、朴素贝叶斯分类器的公式 假设某个体有n项特征（Feature），分别为F1、F2、...、F n。现有m个类别（Category），分别为C1、C2、...、C m。贝叶斯分类器就是计算出概率最大的那个分类，也就是求下面这个算式的最大值： P(C|F1F2...Fn) = P(F1F2...Fn|C)P(C) / P(F1F2...Fn) 由于 P(F1F2...Fn) 对于所有的类别都是相同的，可以省略，问题就变成了求 P(F1F2...Fn|C)P(C) 的最大值。
朴素贝叶斯 优点：在数据较少的情况下仍然有效，可以处理多类别问题 缺点：对于输入数据的准备方式较为敏感 适用数据类型：标称型数据 贝叶斯准则： 使用朴素贝叶斯进行文档分类 朴素贝叶斯的一般过程 （1）收集数据：可以使用任何方法。本文使用RSS源 （2）准备数据：需要数值型或者布尔型数据 （3）分析数据：有大量特征时，绘制特征作用不大，此时使用直方图效果更好 （4）训练算法：计算不同的独立特征的条件概率 （5）测试算法：计算错误率 （6）使用算法：一个常见的朴素贝叶斯应用是文档分类。可以在任意的分类场景中使用朴素贝叶斯分类器，不一定非要是文本。 准备数据：从文本中构建词向量 摘自机器学习实战。 [['my','dog','has','flea','problems','help','please'], 0 ['maybe','not','take','him','to','dog','park','stupid'], 1 ['my','dalmation','is','so','cute','I','love','him'], 0
['stop','posting','stupid','worthless','garbage'], 1 ['mr','licks','ate','my','steak','how','to','stop','him'], 0 ['quit','buying','worthless','dog','food','stupid']] 1 以上是六句话，标记是0句子的表示正常句，标记是1句子的表示为粗口。我们通过分析每个句子中的每个词，在粗口句或是正常句出现的概率，可以找出那些词是粗口。 在bayes.py文件中添加如下代码： [python]view plaincopy 1.# coding=utf-8 2. 3.def loadDataSet(): 4. postingList = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please' ], 5. ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'], 6. ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'], 7. ['stop', 'posting', 'stupid', 'worthless', 'garbage'], 8. ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'], 9. ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']] 10. classVec = [0, 1, 0, 1, 0, 1] # 1代表侮辱性文字，0代表正常言论 11.return postingList, classVec 12. 13.def createVocabList(dataSet): 14. vocabSet = set([]) 15.for document in dataSet: 16. vocabSet = vocabSet | set(document) 17.return list(vocabSet) 18. 19.def setOfWords2Vec(vocabList, inputSet): 20. returnVec = [0] * len(vocabList) 21.for word in inputSet: 22.if word in vocabList: 23. returnVec[vocabList.index(word)] = 1 24.else: 25.print"the word: %s is not in my Vocabulary!" % word 26.return returnVec
朴素贝叶斯算法详细总结 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法，是经典的机器学习算法之一，处理很多问题时直接又高效，因此在很多领域有着广泛的应用，如垃圾邮件过滤、文本分类等。也是学习研究自然语言处理问题的一个很好的切入口。朴素贝叶斯原理简单，却有着坚实的数学理论基础，对于刚开始学习算法或者数学基础差的同学们来说，还是会遇到一些困难，花费一定的时间。比如小编刚准备学习的时候，看到贝叶斯公式还是有点小害怕的，也不知道自己能不能搞定。至此，人工智能头条特别为大家寻找并推荐一些文章，希望大家在看过学习后，不仅能消除心里的小恐惧，还能高效、容易理解的get到这个方法，从中获得启发没准还能追到一个女朋友，脱单我们是有技术的。贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。这篇文章我尽可能用直白的话语总结一下我们学习会上讲到的朴素贝叶斯分类算法，希望有利于他人理解。 ▌分类问题综述 对于分类问题，其实谁都不会陌生，日常生活中我们每天都进行着分类过程。例如，当你看到一个人，你的脑子下意识判断他是学生还是社会上的人；你可能经常会走在路上对身旁的朋友说“这个人一看就很有钱、”之类的话，其实这就是一种分类操作。 既然是贝叶斯分类算法，那么分类的数学描述又是什么呢？ 从数学角度来说，分类问题可做如下定义： 已知集合C=y1,y2,……,yn 和I=x1,x2,……,xn确定映射规则y=f()，使得任意xi∈I有且仅有一个yi∈C，使得yi∈f(xi)成立。 其中C叫做类别集合，其中每一个元素是一个类别，而I叫做项集合（特征集合），其中每一个元素是一个待分类项，f叫做分类器。分类算法的任务就是构造分类器f。 分类算法的内容是要求给定特征，让我们得出类别，这也是所有分类问题的关键。那么如何由指定特征，得到我们最终的类别，也是我们下面要讲的，每一个不同的分类算法，对
朴素贝叶斯分类器 Naive Bayesian Classifier C语言实现 信息电气工程学院 计算本1102班 20112212465 马振磊
1.贝叶斯公式 通过贝叶斯公式，我们可以的知在属性F1-Fn成立的情况下，该样本属于分类C的概率。 而概率越大，说明样本属于分类C的可能性越大。 若某样本可以分为2种分类A，B。 要比较P(A | F1,F2......) 与P(B | F1,F2......)的大小只需比较，P(A)P(F1,F2......| A) ,与P(B)P(F1,F2......| B) 。因为两式分母一致。 而P(A)P(F1,F2......| A)可以采用缩放为P(A)P(F1|A)P(F2|A).......(Fn|A) 因此，在分类时，只需比较每个属性在分类下的概率累乘，再乘该分类的概率即可。 分类属性outlook 属性temperature 属性humidity 属性wind no sunny hot high weak no sunny hot high strong yes overcast hot high weak yes rain mild high weak yes rain cool normal weak no rain cool normal strong yes overcast cool normal strong no sunny mild high weak yes sunny cool normal weak yes rain mild normal weak yes sunny mild normal strong yes overcast mild high strong yes overcast hot normal weak no rain mild high strong 以上是根据天气的4种属性，某人外出活动的记录。 若要根据以上信息判断 (Outlook = sunny,Temprature = cool,Humidity = high,Wind = strong) 所属分类。 P(yes| sunny ,cool ,high ,strong )=P(yes)P(sunny|yes)P(cool |yes)P(high|yes)P(strong|yes)/K P(no| sunny ,cool ,high ,strong )=P(no)P(sunny|no)P(cool |no)P(high|no)P(strong|no)/K K为缩放因子，我们只需要知道两个概率哪个大，所以可以忽略K。 P(yes)=9/14 P(no)=5/14 P(sunny|yes)=2/9 P(cool|yes)=1/3 P(high|yes)=1/3 P(strong|yes)=1/3 P(sunny|no)=3/5 P(cool|no)=1/5 P(high|no)=4/5 P(strong|no)=3/5 P(yes| sunny ,cool ,high ,strong)=9/14*2/9*1/3*1/3*1/3=0.00529 P(no| sunny ,cool ,high ,strong )=5/14*3/5*1/5*4/5*3/5=0.20571 No的概率大，所以该样本实例属于no分类。
最近在面试中，除了基础& 算法& 项目之外，经常被问到或被要求介绍和描述下自己所知道的几种分类或聚类算法，而我向来恨对一个东西只知其皮毛而不得深入，故写一个有关聚类& 分类算法的系列文章以作为自己备试之用(尽管貌似已无多大必要，但还是觉得应该写下以备将来常常回顾思考)。行文杂乱，但侥幸若能对读者也起到一定帮助，则幸甚至哉。 本分类& 聚类算法系列借鉴和参考了两本书，一本是Tom M.Mitchhell所著的机器学习，一本是数据挖掘导论，这两本书皆分别是机器学习& 数据挖掘领域的开山or杠鼎之作，读者有继续深入下去的兴趣的话，不妨在阅读本文之后，课后细细研读这两本书。除此之外，还参考了网上不少牛人的作品(文末已注明参考文献或链接)，在此，皆一一表示感谢。 本分类& 聚类算法系列暂称之为Top 10 Algorithms in Data Mining，其中，各篇分别有以下具体内容： 1. 开篇：决策树学习Decision Tree，与贝叶斯分类算法(含隐马可夫模型HMM)； 2. 第二篇：支持向量机SVM(support vector machine)，与神经网络ANN； 3. 第三篇：待定... 说白了，一年多以前，我在本blog内写过一篇文章，叫做：数据挖掘领域十大经典算法初探(题外话：最初有个出版社的朋友便是因此文找到的我，尽管现在看来，我离出书日期仍是遥遥无期)。现在，我抽取其中几个最值得一写的几个算法每一个都写一遍，以期对其有个大致通透的了解。 OK，全系列任何一篇文章若有任何错误，漏洞，或不妥之处，还请读者们一定要随时不吝赐教& 指正，谢谢各位。 基础储备：分类与聚类 在讲具体的分类和聚类算法之前，有必要讲一下什么是分类，什么是聚类，都包含哪些具体算法或问题。 常见的分类与聚类算法 简单来说，自然语言处理中，我们经常提到的文本分类便就是一个分类问题，一般的模式分类方法都可用于文本分类研究。常用的分类算法包括：朴素的贝叶斯分类算法(native Bayesian classifier)、基于支持向量机(SVM)的分类器，k-最近邻法(k-nearest neighbor，
贝叶斯分类器工作原理原理 贝叶斯分类器是一种比较有潜力的数据挖掘工具，它本质上是一 种分类手段，但是它的优势不仅仅在于高分类准确率，更重要的是，它会通过训练集学习一个因果关系图（有向无环图）。如在医学领域，贝叶斯分类器可以辅助医生判断病情，并给出各症状影响关系，这样医生就可以有重点的分析病情给出更全面的诊断。进一步来说，在面对未知问题的情况下，可以从该因果关系图入手分析，而贝叶斯分类器此时充当的是一种辅助分析问题领域的工具。如果我们能够提出一种准确率很高的分类模型，那么无论是辅助诊疗还是辅助分析的作用都会非常大甚至起主导作用，可见贝叶斯分类器的研究是非常有意义的。 与五花八门的贝叶斯分类器构造方法相比，其工作原理就相对简 单很多。我们甚至可以把它归结为一个如下所示的公式： 其中实例用T{X0，X1，…，Xn-1}表示，类别用C 表示，AXi 表示Xi 的 父节点集合。 选取其中后验概率最大的c ，即分类结果，可用如下公式表示 () ()()() ()( ) 0011111 00011111 0|,, ,|,,, ,C c |,i i n n n i i X i n n n i i X i P C c X x X x X x P C c P X x A C c P X x X x X x P P X x A C c ---=---========= ===∝===∏∏()() 1 0arg max |A ,i n c C i i X i c P C c P X x C c -∈=====∏
上述公式本质上是由两部分构成的：贝叶斯分类模型和贝叶斯公式。下面介绍贝叶斯分类器工作流程： 1．学习训练集，存储计算条件概率所需的属性组合个数。 2．使用1中存储的数据，计算构造模型所需的互信息和条件互信息。 3．使用2种计算的互信息和条件互信息，按照定义的构造规则，逐步构建出贝叶斯分类模型。 4．传入测试实例 5．根据贝叶斯分类模型的结构和贝叶斯公式计算后验概率分布。6．选取其中后验概率最大的类c，即预测结果。 其流程图如下所示：
朴素贝叶斯分类算法 一．贝叶斯分类的原理 贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。也就是说，贝叶斯分类器是最小错误率意义上的优化。 贝叶斯分类器是用于分类的贝叶斯网络。该网络中应包含类结点C，其中C 的取值来自于类集合( c1 , c2 , ... , cm)，还包含一组结点X = ( X1 , X2 , ... , Xn)，表示用于分类的特征。对于贝叶斯网络分类器，若某一待分类的样本D，其分类特征值为x = ( x1 , x2 , ... , x n) ，则样本D 属于类别ci 的概率P( C = ci | X1 = x1 , X2 = x 2 , ... , Xn = x n) ，( i = 1 ,2 , ... , m) 应满足下式： P( C = ci | X = x) = Max{ P( C = c1 | X = x) , P( C = c2 | X = x ) , ... , P( C = cm | X = x ) } 贝叶斯公式： P( C = ci | X = x) = P( X = x | C = ci) * P( C = ci) / P( X = x) 其中，P( C = ci) 可由领域专家的经验得到,而P( X = x | C = ci) 和P( X = x) 的计算则较困难。 二．贝叶斯伪代码 整个算法可以分为两个部分，“建立模型”与“进行预测”，其建立模型的伪代码如下： numAttrValues 等简单的数据从本地数据结构中直接读取 构建几个关键的计数表 for(为每一个实例) { for( 每个属性 ){ 为 numClassAndAttr 中当前类，当前属性，当前取值的单元加 1 为 attFrequencies 中当前取值单元加 1 } } 预测的伪代码如下： for(每一个类别){ for(对每个属性 xj){ for(对每个属性 xi){
基于朴素贝叶斯的文本分类算法 摘要：常用的文本分类方法有支持向量机、K-近邻算法和朴素贝叶斯。其中朴素贝叶斯具有容易实现，运行速度快的特点，被广泛使用。本文详细介绍了朴素贝叶斯的基本原理，讨论了两种常见模型：多项式模型（MM）和伯努利模型（BM），实现了可运行的代码，并进行了一些数据测试。 关键字：朴素贝叶斯；文本分类 Text Classification Algorithm Based on Naive Bayes Author: soulmachine Email：soulmachine@https://www.doczj.com/doc/9613384646.html, Blog：https://www.doczj.com/doc/9613384646.html, Abstract:Usually there are three methods for text classification: SVM、KNN and Na?ve Bayes. Na?ve Bayes is easy to implement and fast, so it is widely used. This article introduced the theory of Na?ve Bayes and discussed two popular models: multinomial model(MM) and Bernoulli model(BM) in details, implemented runnable code and performed some data tests. Keywords: na?ve bayes; text classification 第1章贝叶斯原理 1.1 贝叶斯公式 设A、B是两个事件，且P(A)>0，称 为在事件A发生的条件下事件B发生的条件概率。 乘法公式P(XYZ)=P(Z|XY)P(Y|X)P(X) 全概率公式P(X)=P(X|Y 1)+ P(X|Y 2 )+…+ P(X|Y n ) 贝叶斯公式 在此处，贝叶斯公式，我们要用到的是
算法杂货铺——分类算法之贝叶斯网络(Bayesian networks) 2010-09-18 22:50 by EricZhang(T2噬菌体), 2561 visits, 网摘, 收藏, 编辑 2.1、摘要 在上一篇文章中我们讨论了朴素贝叶斯分类。朴素贝叶斯分类有一个限制条件，就是特征属性必须有条件独立或基本独立（实际上在现实应用中几乎不可能做到完全独立）。当这个条件成立时，朴素贝叶斯分类法的准确率是最高的，但不幸的是，现实中各个特征属性间往往并不条件独立，而是具有较强的相关性，这样就限制了朴素贝叶斯分类的能力。这一篇文章中，我们接着上一篇文章的例子，讨论贝叶斯分类中更高级、应用范围更广的一种算法——贝叶斯网络（又称贝叶斯信念网络或信念网络）。 2.2、重新考虑上一篇的例子 上一篇文章我们使用朴素贝叶斯分类实现了SNS社区中不真实账号的检测。在那个解决方案中，我做了如下假设： i、真实账号比非真实账号平均具有更大的日志密度、各大的好友密度以及更多的使用真实头像。 ii、日志密度、好友密度和是否使用真实头像在账号真实性给定的条件下是独立的。 但是，上述第二条假设很可能并不成立。一般来说，好友密度除了与账号是否真实有关，还与是否有真实头像有关，因为真实的头像会吸引更多人加其为好友。因此，我们为了获取更准确的分类，可以将假设修改如下： i、真实账号比非真实账号平均具有更大的日志密度、各大的好友密度以及更多的使用真实头像。 ii、日志密度与好友密度、日志密度与是否使用真实头像在账号真实性给定的条件下是独立的。 iii、使用真实头像的用户比使用非真实头像的用户平均有更大的好友密度。
数据挖掘实验报告 一、数据集分析 本实验所使用的数据集名称为Abalone data，该数据集问题是一个分类的问题，需要我们做的是预测鲍鱼的年龄以及预测的准确率，由数据集可知，这个年龄是由“性别”，“长度”，“半径”，“重量”等八个属性所共同决定。 因为本次试验所使用的算法为朴素贝叶斯分类算法，所以属性一共是八个，但是年龄类别有29类，如果分为29类预测，正确率很低。这里我将29类归一化到了8类。二、朴素贝叶斯算法分析 2.1 摘要 贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。本文作为分类算法的第一篇，将首先介绍分类问题，对分类问题进行一个正式的定义。然后，介绍贝叶斯分类算法的基础——贝叶斯定理。最后，通过实例讨论贝叶斯分类中最简单的一种：朴素贝叶斯分类。 2.2 贝叶斯分类的基础——贝叶斯定理 表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事 件A的条件概率。其基本求解公式为：。 贝叶斯定理之所以有用，是因为我们在生活中经常遇到这种情况：我们可以很容易直接得出P(A|B)，P(B|A)则很难直接得出，但我们更关心P(B|A)，贝叶斯定理就为我们打通从P(A|B)获得P(B|A)的道路。 下面不加证明地直接给出贝叶斯定理： 2.3 朴素贝叶斯分类 朴素贝叶斯分类的正式定义如下： 1、设为一个待分类项，而每个a为x的一个特征属性。
2、有类别集合。 3、计算。 4、如果，则。 那么现在的关键就是如何计算第3步中的各个条件概率。我们可以这么做： 1、找到一个已知分类的待分类项集合，这个集合叫做训练样本集。 2、统计得到在各类别下各个特征属性的条件概率估计。即 。 3、如果各个特征属性是条件独立的，则根据贝叶斯定理有如下推导： 因为分母对于所有类别为常数，因为我们只要将分子最大化皆可。又因为各特征属性是条件独立的，所以有： 根据上述分析，朴素贝叶斯分类的流程可以由下图表示
实验二 朴素贝叶斯分类 一、实验目的 通过实验，加深对统计判决与概率密度估计基本思想、方法的认识，了解影响Bayes 分类器性能的因素，掌握基于Bayes 决策理论的随机模式分类的原理和方法。 二、实验内容 设计Bayes 决策理论的随机模式分类器，用matlab 实现。 三、方法手段 Bayes 分类器的基本思想是依据类的概率、概密，按照某种准则使分类结果从统计上讲是最佳的。换言之，根据类的概率、概密将模式空间划分成若干个子空间，在此基础上形成模式分类的判决规则。准则函数不同，所导出的判决规则就不同，分类结果也不同。使用哪种准则或方法应根据具体问题来确定。 四、Bayes 算法 朴素贝叶斯分类或简单贝叶斯分类的工作过程如下： （1）每个数据样本用一个n 维特征向量{}12,,...n X x x x =表示，分别描述对n 个属性A 1,A 2,…A n 样本的n 个度量。 （2）假定有m 个类C 1,C 2,…C m 。给定一个未知的数据样本X （即没有类标号），分类法将预测X 属于具有最高后验概率（条件X 下）的类。即是说，朴素贝叶斯分类将未知的样本分配给类C i ，当且仅当 》 ()(),1,i j P C X P C X j m j i >≤≤≠ （） 这样，最大化()i P C X 。其()i P C X 最大的类C i 称为最大后验假定。根据贝叶斯定理 ()()()P X H P H P H X P X = ， ()()() () i i i P X C P C P C X P X = （） （3）由于P(X)对于所有类为常数，只需要()()i i P X C P C 最大即可。如果类的先验概率未知，则通常假定这些类是等概率的，即P(C 1)=P(C 2)=…=P(C m )。并据此只对()i P X 最大化。否则，最大化()()i i P X C P C 。注意，类的先验概率可以用()i i P C s s =计算其中 s i 是类C i 中的训练样本数，而s 是训练样本总数。 （4）给定具有许多属性的数据集，计算()i P X 的开销可能非常大。为降低计算 ()i P X 的开销，可以做类条件独立的朴素假定。给定样本的类标号，假定属性值相互条件
朴素贝叶斯分类在机器学习中的应用 贝叶斯分类技术在众多分类技术中占有着重要的地位。它属于统计学分类的范畴，是一种非规则的分类方法。贝叶斯分类方法的主要内容是通过对已分类的样本子集进行训练，学习归纳出分类函数（对离散变量的预测称作分类，对连续变量的分类成为回归），利用训练得到的分类器实现对未分类数据的分类。在众多贝叶斯分类技术中，朴素贝叶斯分类算法是其中应用最多、表现效果最好的一项贝叶斯分类技术。 一、朴素贝叶斯分类法简介 朴素贝叶斯分类法来源于贝叶斯定理 其中称为先验概率，称为后验概率，称为现象概率，称为条件概率。贝叶斯定理描述的是如何用已知的事实去推理未知的概率。在进行预测前，我们有事件A 发生的概率P(A)，有对事件B的预测概率P(B)，还有已知B发生的条件下事件A发生的概率,由这三个概率可以推理出在事件A发生的条件下事件B发生的概率，这一过程也可以解释为我们用事件A的相关信息去修正B发生的概率，在已知A的一些信息后去更新对事件B的认识。 朴素贝叶斯分类法顾名思义，是完全基于贝叶斯定理而来的，其定理形式为 其中Category是类别，Document是待分类事物，定理描述的是根据各种先验概率和概率，来计算某事物属于某类别的概率。朴素贝叶斯分类法即是利用极大似然的思想，通过比较事物被分到不同类别的概率，来给出一个最优的结果，把事物分到概率最大的那个类别中去。这一比较和分类的过程在定理中，事物Document是由若干特征条件组成的，即 需要提到的是，在上面的公式中，分子部分满足
用数学语言表述为： 设特征向量x中有n个特征，则概率为 这称为定理成立的“条件独立性假设”，即事物的特征之间是相互独立的，这也即是定理名称中“朴素”一词的含义。所谓独立，是指的是统计意义上的独立，即一个特征或者单词出现的可能性与它和其他单词相邻没有关系。举个例子来说，假设单词bacon出现在delicious 和出现在ugly后面的概率相同，当然这显然是不正确的，但这确实是朴素贝叶斯分类的一条前提假设。虽然这样做可能会对预测结果的准确性造成一定的影响，但实际上，相比于使用此公式对问题求解的简化程度，这一点误差是完全可以接受的，在实践中也能证明，朴素贝叶斯的实际效果是相当好的。 二、各部分概率的解释与计算 在朴素贝叶斯定理中，为求得，需要首先取得三个概率：先验概率，条件概率，和现象概率。这三个概率并不是都很容易求出来的，而如何准确获取这三个概率也成为机器学习领域研究的热门话题。在这里我以垃圾邮件分类为例来说明这三个概率的计算，假设在如下5封邮件中，统计如下几个词在邮件中是否出现，并统计邮件是否被标记为垃圾邮件： 现在给定一封邮件，四个词在其中出现的情况分别为0, 1, 1, 1, 0，要判断该封邮件是否为垃圾邮件。 1. 先验概率 理论上，先验概率是出现事物属于某一类的客观概率，但在实际应用中，先验概率往往
贝叶斯分类 1、定义：依据贝叶斯准则(两组间最大分离原则)建立的判别函数集进行的图像 分类。 贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。 2、贝叶斯定理： (|)() (|) () P A B P B p B A P A 说明：(|) p A B表示事件B发生的前提下，事件A发生的概率；() p A表示事件A发生的概率；() p B事件B发生的概率。则可以求得事件A发生的前提下，事件B 发生的概率。贝叶斯定理给出了最小化误差的最优解决方法，可用于分类和预测。 将前面贝叶斯公式变化如下： 上述公式中，C代表类别，X代表特征，很明显，我们做出预测肯定是利用当前的特征，来判断输出的类别。当然这里也可以很明显的看到贝叶斯公式先验与后验概率之间的转换，很明显，P(c|x)在我们的定义里面是后验概率，也是我们想要得到的东西。而P(x)、P(c) 以及P(x|c)都是先验概率，它们分别X特征出现的概率，C类出现的概率，C类中，出现X的概率。而第一项对于多类分类来说，都是一样，都是当前观察到的特征，所以此项可以略去。那最终的结果就是计算P(x|c)*P(c)这一项，P（c）是可以通过观察来解决的。重点也就全部落在了P(x|c)上，上面对于此项的解释是在C类中，X特征出现的概率，其实简单来讲，就是X的概率密度。 3、特点 1）。贝叶斯分类并不是把一个对象绝对地指派给某一类，而是通过计算得出属于某一类的概率。具有最大概率的类便是该对象所属的类。2）。一般情况下在贝叶斯分类中所有的属性都潜在的起作用，即并不是一个或几个属性决定分类，而是所有的属性都参与分类。3）贝叶斯分类的属性可以是离散的、连续的、也可以是混合的。 4、分类：(1) 朴素贝叶斯算法。(2) TAN算法 1)朴素贝叶斯算法成立的前提是各属性之间互相独立。当数据集满足这种独立性假设时,分类的准确度较高，否则可能较低。另外，该算法没有分类规则输出。 设每个数据样本用一个n维特征向量来描述n个属性的值，即：X={x1，x2，…，xn}，假定有m个类，分别用C1, C2,…，Cm表示。给定一个未知的数据样本X（即没有类标号），若朴素贝叶斯分类法将未知的样本X分配给类Ci，则一定是
1. 问题描述 用高效朴素贝叶斯算法对Web 新闻文本进行分类模型的设计 2.算法结构 我们要判别一个文本的类别，就要计算出该文本属于各类别条件概率，根据贝叶斯原理可以得出: ) (p ) (p )|(p )|(p i i i i i i d c c d d c = （1.1） 然后比较各类别条件概率大小，选择类别条件概率最大者为该文本分类，如下 )}|}(max{i i d c p c = （1.2） 而要计算出)|(p i i d c ，先要先验概率)|(p i i c d ,其计算方法如下： 先将i d 展开其变成由一个由词语为单位组成的词组向量，即},...,,,{d 321n i w w w w =，然后得出： ∏== =n i i i i n i i w w p c w w w w p c d 1 321)|()|,...,,,()|(p （1.3） 而)(p i c 则是训练样本各类别文本数量与训练样本总数之比，计算公式如下： | |) ()(p C c amount c i i = （1.4） 至于)(p i d 它是表示每篇训练文档出现的概率，因为都一样，所以在实际计算时可以不用考虑。 所以实际计算)|(p d c i 的公式可以估算为 )()|()|(1 i n i i i i c p c w p d c p ∏=∝ （1.5） 由 式 (1.5) 可 知 ) ()|()...|()|()|(21i i n i i i c p c w p c w p c w p d c p ∝，然而 )|()...|()|(21i n i i c w p c w p c w p 这样多个小数连续相乘最后的结果会非常小导致出现下溢 问题，令计算结果无效。为解决这个问题，我们在使用式(1.5)计算)|(p d c i 时需要做一些数学转换来防止出现这个数值下溢问题，而这些数学处理就令等式1.5 两边取对数，如下： ))((ln ))|((ln ))|((ln 1 i n i i i i c p c w p d c p +∝ ∏= （1.6）