朴素贝叶斯分类算法演示

朴素贝叶斯分类器详解及中⽂⽂本舆情分析（附代码实践）本⽂主要讲述朴素贝叶斯分类算法并实现中⽂数据集的舆情分析案例，希望这篇⽂章对⼤家有所帮助，提供些思路。

内容包括：1.朴素贝叶斯数学原理知识2.naive_bayes⽤法及简单案例3.中⽂⽂本数据集预处理4.朴素贝叶斯中⽂⽂本舆情分析本篇⽂章为基础性⽂章，希望对你有所帮助，如果⽂章中存在错误或不⾜之处，还请海涵。

同时，推荐⼤家阅读我以前的⽂章了解基础知识。

▌⼀. 朴素贝叶斯数学原理知识朴素贝叶斯（Naive Bayesian）是基于贝叶斯定理和特征条件独⽴假设的分类⽅法，它通过特征计算分类的概率，选取概率⼤的情况，是基于概率论的⼀种机器学习分类（监督学习）⽅法，被⼴泛应⽤于情感分类领域的分类器。

下⾯简单回顾下概率论知识：1.什么是基于概率论的⽅法？通过概率来衡量事件发⽣的可能性。

概率论和统计学是两个相反的概念，统计学是抽取部分样本统计来估算总体情况，⽽概率论是通过总体情况来估计单个事件或部分事情的发⽣情况。

概率论需要已知数据去预测未知的事件。

例如，我们看到天⽓乌云密布，电闪雷鸣并阵阵狂风，在这样的天⽓特征(F)下，我们推断下⾬的概率⽐不下⾬的概率⼤，也就是p(下⾬)>p(不下⾬)，所以认为待会⼉会下⾬，这个从经验上看对概率进⾏判断。

⽽⽓象局通过多年长期积累的数据，经过计算，今天下⾬的概率p(下⾬)=85%、p(不下⾬)=15%，同样的 p(下⾬)>p(不下⾬)，因此今天的天⽓预报肯定预报下⾬。

这是通过⼀定的⽅法计算概率从⽽对下⾬事件进⾏判断。

2.条件概率若Ω是全集，A、B是其中的事件（⼦集），P表⽰事件发⽣的概率，则条件概率表⽰某个事件发⽣时另⼀个事件发⽣的概率。

假设事件B发⽣后事件A发⽣的概率为：设P(A)>0，则有 P(AB) = P(B|A)P(A) = P(A|B)P(B)。

设A、B、C为事件，且P(AB)>0，则有 P(ABC) = P(A)P(B|A)P(C|AB)。

tf-idf算法和多项式朴素贝叶斯模型
tf-idf算法和多项式朴素贝叶斯模型都是自然语言处理领域的重要算法。

tf-idf算法是一种常见的文本特征提取方法，可以用来衡量一个词在文本中的重要程度。

它基于词频（term frequency）和逆文档频率（inverse document frequency）来计算每个词的权重。

词频指在一篇文档中某个词出现的次数，逆文档频率指在所有文档中出现该词的文档数的倒数。

然后将词频和逆文档频率相乘，得到每个词的tf-idf值。

在文本分类、信息检索等领域中，tf-idf算法被广泛应用。

多项式朴素贝叶斯模型是一种经典的文本分类算法。

朴素贝叶斯模型假设不同词汇之间相互独立，因此可以将文本表示为词汇出现的概率分布。

多项式朴素贝叶斯模型则是假设文本中词汇的出现服从多项式分布，即每个词出现的概率由其在文本中出现的次数决定。

将训练集中的文本表示为词汇概率分布后，利用贝叶斯公式计算每个类别对应的条件概率，以及所有类别的先验概率，得到最终的分类结果。

这两种算法在文本分类、信息检索、情感分析等任务中都有较好的表现。

同时，还可以结合其他算法和技术进行优化，提高其效果和应用范围。

朴素贝叶斯原理、实例与Python实现初步理解⼀下：对于⼀组输⼊，根据这个输⼊，输出有多种可能性，需要计算每⼀种输出的可能性，以可能性最⼤的那个输出作为这个输⼊对应的输出。

那么，如何来解决这个问题呢？贝叶斯给出了另⼀个思路。

根据历史记录来进⾏判断。

思路是这样的：1、根据贝叶斯公式：P（输出|输⼊）=P（输⼊|输出）*P（输出）/P（输⼊）2、P（输⼊）=历史数据中，某个输⼊占所有样本的⽐例；3、P（输出）=历史数据中，某个输出占所有样本的⽐例；4、P（输⼊|输出）=历史数据中，某个输⼊，在某个输出的数量占所有样本的⽐例，例如：30岁，男性，中午吃⾯条，其中【30岁，男性就是输⼊】，【中午吃⾯条】就是输出。

⼀、条件概率的定义与贝叶斯公式⼆、朴素贝叶斯分类算法朴素贝叶斯是⼀种有监督的分类算法，可以进⾏⼆分类，或者多分类。

⼀个数据集实例如下图所⽰：现在有⼀个新的样本， X = (年龄：<=30, 收⼊：中，是否学⽣：是，信誉：中)，⽬标是利⽤朴素贝叶斯分类来进⾏分类。

假设类别为C(c1=是或 c2=否)，那么我们的⽬标是求出P(c1|X)和P(c2|X)，⽐较谁更⼤，那么就将X分为某个类。

下⾯，公式化朴素贝叶斯的分类过程。

三、实例下⾯，将下⾯这个数据集作为训练集，对新的样本X = (年龄：<=30, 收⼊：中，是否学⽣：是，信誉：中) 作为测试样本，进⾏分类。

我们可以将这个实例中的描述属性和类别属性，与公式对应起来，然后计算。

参考python实现代码#coding:utf-8# 极⼤似然估计朴素贝叶斯算法import pandas as pdimport numpy as npclass NaiveBayes(object):def getTrainSet(self):dataSet = pd.read_csv('F://aaa.csv')dataSetNP = np.array(dataSet) #将数据由dataframe类型转换为数组类型trainData = dataSetNP[:,0:dataSetNP.shape[1]-1] #训练数据x1,x2labels = dataSetNP[:,dataSetNP.shape[1]-1] #训练数据所对应的所属类型Yreturn trainData, labelsdef classify(self, trainData, labels, features):#求labels中每个label的先验概率labels = list(labels) #转换为list类型labelset = set(labels)P_y = {} #存⼊label的概率for label in labelset:P_y[label] = labels.count(label)/float(len(labels)) # p = count(y) / count(Y)print(label,P_y[label])#求label与feature同时发⽣的概率P_xy = {}for y in P_y.keys():y_index = [i for i, label in enumerate(labels) if label == y] # labels中出现y值的所有数值的下标索引for j in range(len(features)): # features[0] 在trainData[:,0]中出现的值的所有下标索引x_index = [i for i, feature in enumerate(trainData[:,j]) if feature == features[j]]xy_count = len(set(x_index) & set(y_index)) # set(x_index)&set(y_index)列出两个表相同的元素pkey = str(features[j]) + '*' + str(y)P_xy[pkey] = xy_count / float(len(labels))print(pkey,P_xy[pkey])#求条件概率P = {}for y in P_y.keys():for x in features:pkey = str(x) + '|' + str(y)P[pkey] = P_xy[str(x)+'*'+str(y)] / float(P_y[y]) #P[X1/Y] = P[X1Y]/P[Y]print(pkey,P[pkey])#求[2,'S']所属类别F = {} #[2,'S']属于各个类别的概率for y in P_y:F[y] = P_y[y]for x in features:F[y] = F[y]*P[str(x)+'|'+str(y)] #P[y/X] = P[X/y]*P[y]/P[X]，分母相等，⽐较分⼦即可，所以有F=P[X/y]*P[y]=P[x1/Y]*P[x2/Y]*P[y] print(str(x),str(y),F[y])features_label = max(F, key=F.get) #概率最⼤值对应的类别return features_labelif__name__ == '__main__':nb = NaiveBayes()# 训练数据trainData, labels = nb.getTrainSet()# x1,x2features = [8]# 该特征应属于哪⼀类result = nb.classify(trainData, labels, features)print(features,'属于',result)#coding:utf-8#朴素贝叶斯算法贝叶斯估计，λ=1 K=2， S=3；λ=1 拉普拉斯平滑import pandas as pdimport numpy as npclass NavieBayesB(object):def__init__(self):self.A = 1 # 即λ=1self.K = 2self.S = 3def getTrainSet(self):trainSet = pd.read_csv('F://aaa.csv')trainSetNP = np.array(trainSet) #由dataframe类型转换为数组类型trainData = trainSetNP[:,0:trainSetNP.shape[1]-1] #训练数据x1,x2labels = trainSetNP[:,trainSetNP.shape[1]-1] #训练数据所对应的所属类型Yreturn trainData, labelsdef classify(self, trainData, labels, features):labels = list(labels) #转换为list类型#求先验概率P_y = {}for label in labels:P_y[label] = (labels.count(label) + self.A) / float(len(labels) + self.K*self.A)#求条件概率P = {}for y in P_y.keys():y_index = [i for i, label in enumerate(labels) if label == y] # y在labels中的所有下标y_count = labels.count(y) # y在labels中出现的次数for j in range(len(features)):pkey = str(features[j]) + '|' + str(y)x_index = [i for i, x in enumerate(trainData[:,j]) if x == features[j]] # x在trainData[:,j]中的所有下标 xy_count = len(set(x_index) & set(y_index)) #x y同时出现的次数P[pkey] = (xy_count + self.A) / float(y_count + self.S*self.A) #条件概率#features所属类F = {}for y in P_y.keys():F[y] = P_y[y]for x in features:F[y] = F[y] * P[str(x)+'|'+str(y)]features_y = max(F, key=F.get) #概率最⼤值对应的类别return features_yif__name__ == '__main__':nb = NavieBayesB()# 训练数据trainData, labels = nb.getTrainSet()# x1,x2features = [10]# 该特征应属于哪⼀类result = nb.classify(trainData, labels, features)print(features,'属于',result)参考链接：https:///ten_sory/article/details/81237169。

基于朴素贝叶斯分类算法的文本情感分析一、引言随着社交媒体的普及，人们在互联网上不断地交流，产生了大量的文本信息。

这些文本信息包含了人们的观点、情感、态度等信息。

而文本情感分析正是基于这些信息进行分析和判断，从而判断文本中所表达的情感是积极的，还是消极的。

同时，文本情感分析也可以应用于各个领域，如电商、医疗、金融等。

朴素贝叶斯分类算法是一种基于概率统计的分类算法。

它通过计算文本中出现某个词语的概率来判断文本所属的类别。

由于文本中词汇的组合方式非常多，因此朴素贝叶斯算法可以通过训练样本集来提高分类的准确性，从而实现文本情感分析。

本文旨在介绍朴素贝叶斯分类算法的原理和应用，并以文本情感分析为例，介绍如何使用朴素贝叶斯分类算法实现情感分析。

二、朴素贝叶斯分类算法原理1.基本概念（1）条件概率在事件A已经发生的情况下，事件B发生的概率称为条件概率。

条件概率的公式如下：P(B|A)=P(AB)/P(A)其中，P(B|A)表示在事件A发生的情况下，事件B发生的概率；P(AB)表示事件A和事件B同时发生的概率；P(A)表示事件A发生的概率。

（2）贝叶斯定理贝叶斯定理是概率论中的一个重要定理，它表示在已知B发生的情况下，事件A发生的概率是多少。

贝叶斯定理的公式如下：P(A|B)=P(B|A)P(A)/P(B)其中，P(A|B)表示在B发生的情况下，A发生的概率；P(B|A)表示在A发生的情况下，B发生的概率；P(A)表示事件A发生的概率；P(B)表示事件B发生的概率。

2.朴素贝叶斯分类算法朴素贝叶斯分类算法是一种基于概率统计的分类算法，它基于贝叶斯定理和条件独立假设推导出来的。

在朴素贝叶斯分类算法中，每个文档都被表示成词项的集合组成的向量，文本分类问题就是把每篇文档映射为一个类别，通常用朴素贝叶斯分类器来完成这个任务。

具体的处理流程如下：（1）对训练文档进行处理，统计每个单词在每个类别下出现的概率，计算它们的先验概率；（2）对测试文档进行处理，计算它们在每个类别下出现的概率，这个过程需要通过贝叶斯定理和条件独立假设来进行计算，得到所有类别下的概率；（3）选择概率最大的类别作为测试文档所属的类别。

朴素贝叶斯分类方法
朴素贝叶斯分类方法是基于贝叶斯定理和条件独立性假设的一种分类方法。

该方法在文本分类、垃圾邮件过滤等领域得到了广泛应用。

朴素贝叶斯分类方法的原理是：对于一个待分类的文本，计算该文本属于每个类别的概率，然后将其归为概率最大的那个类别。

具体而言，朴素贝叶斯分类方法先根据给定的训练数据集计算出每个类别在整个数据集中出现的概率，即先验概率。

然后对于每个待分类文本，计算该文本在每个类别下出现的概率，并进行归一化处理。

最终，将待分类文本归为概率最大的那个类别即可。

朴素贝叶斯分类方法的优点在于计算简单、速度快，并且对于高维稀疏的数据集有较好的分类效果。

然而，朴素贝叶斯分类方法也有其缺点，最大的一个缺点就是条件独立性假设可能不成立，导致分类结果不准确。

另外，朴素贝叶斯分类方法对于数据集中缺失值的处理也有一定的局限性。

总之，朴素贝叶斯分类方法是一种简单、快速并且在某些特定情况下具有较好效果的分类方法，但也需要根据具体问题选择合适的分类算法进行分析和应用。

决策树和朴素贝叶斯算法简介本节主要介绍数据挖掘中常见的分类方法决策树和朴素贝叶斯算法。

决策树算法决策树（Decision Tree，DT）分类法是一个简单且广泛使用的分类技术。

决策树是一个树状预测模型，它是由结点和有向边组成的层次结构。

树中包含3种结点：根结点、内部结点和叶子结点。

决策树只有一个根结点，是全体训练数据的集合。

树中的一个内部结点表示一个特征属性上的测试，对应的分支表示这个特征属性在某个值域上的输出。

一个叶子结点存放一个类别，也就是说，带有分类标签的数据集合即为实例所属的分类。

1. 决策树案例使用决策树进行决策的过程就是，从根结点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子结点，将叶子结点存放的类别作为决策结果。

图1 是一个预测一个人是否会购买电脑的决策树。

利用这棵树，可以对新记录进行分类。

从根结点（年龄）开始，如果某个人的年龄为中年，就直接判断这个人会买电脑，如果是青少年，则需要进一步判断是否是学生，如果是老年，则需要进一步判断其信用等级。

图1 预测是否购买电脑的决策树假设客户甲具备以下4 个属性：年龄20、低收入、是学生、信用一般。

通过决策树的根结点判断年龄，判断结果为客户甲是青少年，符合左边分支，再判断客户甲是否是学生，判断结果为用户甲是学生，符合右边分支，最终用户甲落在“yes”的叶子结点上。

所以预测客户甲会购买电脑。

2. 决策树的建立决策树算法有很多，如ID3、C4.5、CART 等。

这些算法均采用自上而下的贪婪算法建立决策树，每个内部结点都选择分类效果最好的属性来分裂结点，可以分成两个或者更多的子结点，继续此过程直到这棵决策树能够将全部的训练数据准确地进行分类，或所有属性都被用到为止。

1）特征选择按照贪婪算法建立决策树时，首先需要进行特征选择，也就是使用哪个属性作为判断结点。

选择一个合适的特征作为判断结点，可以加快分类的速度，减少决策树的深度。

贝叶斯分类1、 定义： 依据贝叶斯准则(两组间最大分离原则)建立的判别函数集进行的图像 分类。

贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝 叶斯分类。

2、 贝叶斯定理：p(B|A) = P (A| B )P (B )P(A)说明：p(A|B)表示事件B 发生的前提下，事件A 发生的概率；p(A)表示事件A 发生的概率；p(B)事件B 发生的概率。

则可以求得事件 A 发生的前提下，事件B 发生的概率。

贝叶斯定理给出了最小化误差的最优解决方法，可用于分类和预测。

将前面贝叶斯公式变化如下：P(x) P(c)xP(x) P(x)上述公式中，C 代表类别，X 代表特征，很明显，我们做出预测肯定是利用当 前的特征，来判断输出的类别。

当然这里也可以很明显的看到贝叶斯公式先验与后 验概率之间的转换，很明显，P(c|x)在我们的定义里面是后验概率，也是我们想要 得到的东西。

而P(x)、P(c)以及P(x|c)都是先验概率，它们分别 X 特征出现的概 率，C 类出现的概率，C 类中，出现X 的概率。

而第一项对于多类分类来说，都是一 样，都是当前观察到的特征，所以此项可以略去。

那最终的结果就是计算P(x|c)*P(c) 这一项，P (c )是可以通过观察来解决的。

重点也就全部落在了 P(x|c)上，上面对 于此项的解释是在C 类中，X 特征出现的概率，其实简单来讲，就是 X 的概率密度。

3、特点1)o 贝叶斯分类并不是把一个对象绝对地指派给某一类， 而是通过计算得出属于某一类的概率。

具有最大概率的类便是该对象所属的类。

2) o 一般情况下在贝叶斯分 类中所有的属性都潜在的起作用，即并不是一个或几个属性决定分类，而是所有的 属性都参与分类。

3)贝叶斯分类的属性可以是离散的、连续的、也可以是混合的。

4、分类：(1)朴素贝叶斯算法。

⑵TAN 算法1)朴素贝叶斯算法成立的前提是各属性之间互相独立。

朴素贝叶斯分类算法python代码朴素贝叶斯分类算法是一种基于概率的统计分类算法，该算法的主要实现思想是对预测对象进行特征提取、概率计算和分类判断，以实现对对象的分类识别。

本文将重点介绍朴素贝叶斯分类算法在Python中的应用与实现，以帮助读者更好地理解该算法。

首先，我们需要了解Bayes理论，在Bayes理论中，条件概率是指在已知某些条件的情况下，某一事件发生的概率。

朴素贝叶斯分类算法是基于该理论的，以此为基础，实现了对预测对象的分类。

具体来说，朴素贝叶斯分类算法的过程如下：1. 建立分类模型：在统计学习中，首先需要建立一种分类模型，这种模型在朴素贝叶斯分类算法中是基于特征集的贝叶斯定理来定义的。

2. 提取特征：在对预测对象进行分类前，需要先对对象进行特征提取，将其转化为数值型特征，以便后续计算分析。

常用的特征提取方法包括文本处理技术、特征选择等。

3. 计算概率：得到特征集后，基于该特征集进行预测。

可以利用训练集中的概率分布计算当前对象的概率分布。

其中，朴素贝叶斯分类算法中的“朴素”指假设特征之间是独立的，即每个特征对目标类别的影响是相互独立的，这使得计算概率分布更为简单和快速。

4. 进行分类：根据最大化概率的准则，将对象分类到概率最高的类别中。

例如，若某对象概率最高的类别为“正常”，则将该对象分类到“正常”类别中。

在Python中，可以借助于sklearn包来实现朴素贝叶斯分类算法。

下面进行一些示例代码来对其进行解释：''' import numpy as np from sklearn.naive_bayes import GaussianNB from sklearn.model_selection import train_test_split from sklearn import datasets# 读取iris数据集 iris = datasets.load_iris() X = iris.data y = iris.target# 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3) # 建立高斯朴素贝叶斯分类器 gnb = GaussianNB() gnb.fit(X_train, y_train) # 训练模型# 对测试集进行预测 y_pred = gnb.predict(X_test)# 输出结果 print('Accuracy:', np.sum(y_pred == y_test) / len(y_test)) '''这段代码演示了如何使用sklearn包中的高斯朴素贝叶斯分类器进行分类。