当前位置：文档之家 › 多策略中文微博细粒度情绪分析研究

多策略中文微博细粒度情绪分析研究

  • 格式：pdf
  • 大小：938.15 KB
  • 文档页数：6

67 湖南省自然科学基金项目(13JJ4076, 11JJ6047)、湖南省教育厅优秀青年项目(13B101)和衡阳市科技计划项目(2012KJ9)资助 收稿日期: 2013-07-09; 修回日期: 2013-10-11; 网络出版日期: 2013-11-08

北京大学学报(自然科学版), 第50卷, 第1期, 2014年1月 Acta Scientiarum Naturalium Universitatis Pekinensis, Vol. 50, No. 1 (Jan. 2014) doi: 10.13209/j.0479-8023.2014.028

多策略中文微博细粒度情绪分析研究 欧阳纯萍† 阳小华 雷龙艳 徐强 余颖 刘志明

南华大学计算机科学与技术学院, 衡阳421001; † E-mail: ouyangcp@126.com 摘要 针对中文微博用户的情绪分析问题, 提出一种基于多策略融合的细粒度情绪分析方法。首先采用朴素贝叶斯算法对微博的有无情绪分类问题进行研究, 然后构建有情绪微博的21维特征向量, 最后采用SVM和KNN算法对微博进行细粒度情绪分析。以新浪微博作为实验对象, 结果表明多策略集成方法好于单一分类 算法。在多策略集成方法中, “NB+SVM”方法略优于“NB+KNN”方法。 关键词 细粒度情绪分析; 中文微博; 朴素贝叶斯; SVM; KNN 中图分类号 TP391

Multi-strategy Approach for Fine-Grained Sentiment Analysis of Chinese Microblog

OUYANG Chunping†, YANG Xiaohua, LEI Longyan, XU Qiang, YU Ying, LIU Zhiming School of Comupter Science and Technology, University of South China, Hengyang 421001; † E-mail: ouyangcp@126.com Abstract Fine-grained sentiment analysis of Chinese microblog is investigated and a method of multi-strategy fusion is proposed. Firstly, the authors apply naive Bayesian to identify sentiment or non-sentiment about microblog. Secondly, based on emotion ontology, a method for how to form 21 sentiment features vectors of microblog is presented. At last, fine-grained sentiment of microblog is classified based on SVM and KNN respectively. Experiment results show that multi-strategy fusion is better than a single method, in addition, “NB+SVM” strategy is better than “NB+KNN” strategy. Key words fine-grained sentiment analysis; Chinese microblog; naive Bayesian; support vector machine (SVM); K Nearest Neighbor (KNN)

微博是Web2.0时代分享与传播信息的重要平台, 使人们能够更加方便地评论热点事件, 抒发自己的情绪。因此, 国内外学者围绕微博展开一系列研究, 微博情绪分析是研究热点之一[1]。国外学者 采用基于SVM的距离监督学习、基于语义的关联分析、基于KNN的语料强化学习以及基于情感词的语义标注等方法对 Twitter进行情感分类研究[2−5]。由于中文微博比英文微博具有更丰富的语义信息, 上述方法无法直接应用到中文微博情绪分析中[6]。 所以国内学者从中文微博的特点出发, 致力于中文微博的情感分类和情绪分析研究。谢丽星等[7]提出一种基于SVM的层次结构多策略中文微博情感分类方法, 在引入主题相关的特征后, 基于层次结构的多策略方法在正负情感分类上准确率达到67.283%。刘志明等[8]分别使用3种机器学习算法、

3种特征选取算法以及3种特征项权重计算方法对微博正负情感分类进行研究, 实验证明采用SVM、信息增益和IF-IDF三者结合的方法对微博情感分类效果较好。韩忠明等[9]以HowNet情感词典为基

础, 构建一个计算短文本情感倾向性的自动机, 在短文本的正负情感分类上较SVM方法有非常大的优势。文献[10−12]均采用朴素贝叶斯分类器(NB)北京大学学报(自然科学版) 第50卷 68对微博的正负情感和主客观分类问题进行研究。 从上述研究可以发现, 粗粒度的中文微博情感分类是目前关注的热点。粗粒度情感分类是从positive (积极)和negative (消极)两类对中文微博的情感进行分析。但在实际应用中, 微博的细粒度情绪往往更能展示用户对于事物的态度。细粒度情绪实际上是对粗粒度情绪的进一步分类, 把“积极”和“消极”两类再划分为“欢乐”、“高兴”、“哀伤”、“厌恶”等更贴近人们真实情绪的类别。例如“话说大约十年前, 十块钱炸肉岗尖一盘, 加一瓶啤酒, 就是我一顿饱饱的午餐。现在呢, 图中这寥寥十数根, 就是十块钱的肉, 算开胃菜么? 通胀的猪肉伤不起啊”这条微博, 很难判别属于积极还是消极的情感, 原因是它包含的情绪太多。其中, “话说大约十年前, 十块钱炸肉岗尖一盘, 加一瓶啤酒, 就是我一顿饱饱的午餐。”表达作者的欢喜情绪。“现在呢, 图中这寥寥十数根, 就是十块钱的肉, 算开胃菜么?”表达作者的惊讶情绪。“通胀的猪肉伤不起啊”则表达作者悲伤的情绪。从这条微博的细粒度情绪中可以发现, 作者对于十年前的物价表现出积极正面的情感, 对于现在的物价则是展示消极负面的情感。所以对微博的细粒度情绪进行分析, 可以避免单纯从正负情绪两类对微博进行划分的笼统性, 更细致的分类也能有效提高微博情绪识别的准确度。 本文针对中文微博的细粒度情绪分析进行研究, 提出一种基于情感词汇本体的多策略集成分析法。首先采用朴素贝叶斯分类器对微博进行有无情绪分类, 为微博的细粒度情绪分析提供预分类基础。然后利用情感词汇本体对有情绪微博进行特征选择及特征值权重计算, 最后分别采用SVM和KNN分类器对其进行7类(anger愤怒、disgust厌 恶、fear恐惧、happiness高兴、like喜好、sadness悲伤、surprise惊讶)细粒度的情绪分析。研究结果表明, 基于多策略融合的分析方法好于单一分类算法。在多策略融合分析方法中, “NB+SVM”方法又略优于“NB+KNN”方法。 1 中文微博的有无情绪分类 对中文微博的细粒度情绪分析建立在此微博是一条含有情绪的文本基础上, 例如“《变形金刚3》港澳6月29日上映, 大陆REAL.D.3D及IMAX 3D上映时间尚不明确。”这条微博只是客观阐述一个事实, 并不包含任何情绪, 所以不需要进行细粒度的情绪分析。因此, 在进行微博的细粒度情绪分析之前, 需要先对微博进行粗粒度划分, 即把微博分为有情绪和无情绪两类。本文采用朴素贝叶斯算法进行有无情绪分类。 1.1 词特征和词性特征选择 特征选择是实现朴素贝叶斯分类器的前提, 特征选择的好坏在很大程度上决定该算法的性能[13]。

微博的特征是以字词来表示, 因此首先需对微博进行分词, 然后从分词结果中进行特征选择, 选择出那些能代表有情感和无情感类别的微博特征词。我们选用张华平博士的分词工具NLPIR对中文微博进行分词, NLPIR相对于老版本新增了微博分词功能, 但是对于一些常用来在微博中表示情绪的表情词和缩略词并未收录在词典里, 所以在分词之前, 需将这些词汇加入自定义词典中。通过对NLP&CC2013评测组提供的4000条新浪微博进行分析, 共提取如NND, MLGB, TMD, [大笑], [泪], [可怜]等365个词汇构建了自定义情绪词库, 同时也把这个词库作为分词工具NLPIR的自定义词典。针对微博的分词结果, 从词和词性两个方面考虑中文微博的特征选择。 1) 词特征选择: 分别统计每个词在4000条训练集的有无情绪两类中出现的频率, 然后依据式(1)筛选特征词:

11Wordfreq&&wordfreq,0,1,Wordfreqiii

kni>>=-- (1)

i=0表示词在有情绪分类中的频率与在无情绪分类中的频率比值大于k, 并且词在有情绪分类中出现

的频率同时大于n; i=1表示词在无情绪分类中的频率与在有情绪分类中的频率比值大于k, 并且词在无情绪分类中出现的频率同时大于n。经过试验测试得到, 当k和n的初值分别为4和20时, 按这种方式筛选出的词在有无情绪微博中出现的频率有明显差别, 因此它们对有无情绪的文本分类具有表征作用, 可以作为微博文本的特征。 2) 词性特征选择: 考察剩余词的词性特征, 发现某些词性在主观表达和客观表达中出现的频率也有很大差别。统计每个一类词性(NLPIR分词器定 义的, 如[/t], [/n]等)和个别表征人称作用强的二类词性(如[/rr], [/ne]等)在有情绪和无情绪两种情况下出现的频率, 特别地, 将所有的表情符也作为一类词性进行有无情绪词频统计。 经过上述两个步骤的选择, 得到796个特征词

合集下载

基于情感分析的在微博用户情绪识别与预测研究

基于情感分析的在微博用户情绪识别与预测研究

基于情感分析的在微博用户情绪识别与预测研究摘要：随着社交媒体的蓬勃发展，微博作为一个重要的社交平台，吸引了大量用户进行信息发布和交流。

微博用户的情绪状态对于用户行为和舆情分析具有重要意义。

本文通过基于情感分析的方法，对微博用户的情绪进行识别与预测研究，旨在帮助用户和营销者了解用户情绪，进而实施个性化服务和精准营销。

1. 引言社交媒体已成为人们获取信息和表达情感的重要渠道之一。

微博作为最具代表性的社交平台之一，每天都有大量的用户在上面发布各种信息，表达自己的心情和情感。

因此，对微博用户情绪的识别与预测研究具有重要意义，能够帮助用户更好地理解他人的情绪，营销者更好地了解用户需求。

2. 相关工作在情感分析领域已经有很多研究工作，但是由于微博的特殊性，情感分析在微博上面的应用仍然面临一些挑战。

目前主要的研究方法包括基于词典的情感分析、基于机器学习的情感分类和基于深度学习的情感预测等。

3. 情感分析模型为了识别和预测微博用户的情绪，我们构建了一个基于深度学习的情感分析模型。

首先，我们使用了一个大规模的语料库进行模型训练，以提高模型的准确性和泛化能力。

然后，我们使用了卷积神经网络和长短期记忆网络结合的方法，对微博文本进行情感分析。

最后，我们通过预训练的情感分类模型，对微博用户的情绪进行预测。

4. 数据集和实验我们使用了一个包含了大量微博文本和情感标签的数据集进行实验。

首先，我们对数据集进行了数据清洗和预处理，去除了噪声和不相关的信息。

然后，我们将数据集划分为训练集和测试集，以评估我们提出的情感分析模型的准确性和性能。

最后，我们比较了不同情感分析模型的效果，并与传统方法进行了对比分析。

5. 结果与讨论实验结果表明，我们提出的基于深度学习的情感分析模型在微博用户情绪识别和预测方面取得了较好的效果。

与传统方法相比，我们的模型在准确性和泛化能力上都有一定的提升。

此外，我们还发现微博用户的情绪受到许多因素的影响，包括文本内容、用户属性和社交网络结构等。

基于情感词典的中文微博情感倾向分析研究

基于情感词典的中文微博情感倾向分析研究

基于情感词典的中文微博情感倾向分析研究基于情感词典的中文微博情感倾向分析研究随着社交媒体的普及，微博成为了人们表达情感和观点的重要平台之一。

在海量的微博数据中，分析用户的情感倾向对于了解公众舆论和市场趋势具有重要价值。

因此，基于情感词典的中文微博情感倾向分析逐渐成为研究的热点。

首先，我们需要明确情感词典的概念和作用。

情感词典是指一类特殊的词典，其中记录了大量的情感词汇，包括积极、消极和中性的情感词汇。

这些情感词汇是通过人工标注和统计方法得到的，可以帮助我们识别和分析文本中的情感倾向。

情感词典在情感分析中起到了至关重要的作用，成为了研究和应用领域的基础。

在中文微博情感倾向分析中，研究者们通常采用两种常见的方法。

一种是基于词频统计的方法，另一种是基于情感词典的方法。

在基于词频统计的方法中，研究者会通过统计文本中出现的情感词的数量和频率来判断情感倾向。

然而，词频统计方法容易受到文本长度和词汇多样性的影响，无法准确捕捉情感信息。

因此，基于情感词典的方法逐渐受到研究者的青睐。

基于情感词典的中文微博情感倾向分析主要分为两个步骤：情感词典建立和情感倾向判别。

首先，我们需要建立一个适用于中文微博的情感词典。

这个过程中，我们可以通过分析大量的微博数据，人工标注其中的情感词汇，并结合统计方法不断完善词典。

情感词典的质量对于情感分析的准确性具有决定性影响，所以需要不断迭代和改进。

在情感倾向判别的过程中，我们使用情感词典对微博文本进行情感判别。

首先，将微博文本进行分词，并将其中的情感词与情感词典进行匹配。

然后，考虑到情感词的前后语境对情感倾向的影响，我们通常会采用一定的上下文匹配规则，以提高情感判别的准确性。

最后，通过计算匹配到的情感词的数量和权重，我们可以得到微博的情感倾向。

然而，基于情感词典的中文微博情感倾向分析仍面临一些挑战。

首先，中文的语言特点使得情感词典的建立更加困难，因为中文中情感的表达方式更为隐晦和多样化。

微博热点话题的情感分析研究

微博热点话题的情感分析研究

微博热点话题的情感分析研究随着社交媒体的普及，人们越来越频繁地在微博上发表自己的情感。

微博上的热点话题也往往能够反映社会热点和人们的情感动态。

因此，对微博热点话题进行情感分析研究具有重要意义。

一、什么是情感分析情感分析，又叫情感识别、情感判别，是指通过对人类语言的处理和分析，对其中蕴含的情感进行识别的一项技术。

常见的情感分析包括正向情感、负向情感和中性情感。

二、微博热点话题的情感分析应用1.情感分析对于评估社会状况具有重要意义。

随着社交媒体的兴起，越来越多的人们会在微博上表达自己的情感和观点。

通过对微博热点话题进行情感分析可以得出人们对社会热点和事件的态度，从而评估社会状况。

2.情感分析对于品牌营销具有重要意义。

微博是一个品牌宣传和营销的重要平台，通过对微博上的话题和用户情感的分析，可以帮助企业更好地了解消费者需求，制定更加符合市场需求的营销策略。

3.情感分析对于舆情监测具有重要意义。

微博上的热点话题往往能够反映社会舆情，通过对微博热点话题的情感分析可以帮助政府和企业了解社会热点和民意动态，制定相应的政策和营销策略。

三、微博热点话题的情感分析方法1.通过情感词典进行情感分析。

情感词典是一个包含正向情感词、负向情感词和中性情感词的词库。

通过对微博文本中出现的情感词汇进行统计和分析，得出微博话题的情感极性。

2.通过机器学习进行情感分析。

机器学习是一种无监督学习的方法，通过对大量的微博文本进行学习和模拟，训练机器语言模型，得出微博话题的情感极性。

四、微博热点话题的情感分析研究现状目前，国内外已经有不少学者对微博热点话题进行了情感分析研究。

其中，一些研究结果表明，不同领域的微博话题的情感极性存在一定的区别，不同性别和年龄段的微博用户的情感表现也存在差异。

此外，随着深度学习和人工智能技术的发展，微博热点话题的情感分析研究也越来越精准和准确。

总之，微博热点话题的情感分析研究对于社会状况评估、品牌营销和舆情监测具有重要意义。

微博情感分析系统的设计与情感分类算法研究

微博情感分析系统的设计与情感分类算法研究

微博情感分析系统的设计与情感分类算法研究随着社交媒体的快速发展，微博已成为一种重要的信息发布和传播平台。

通过分析微博用户的情感倾向，可以了解大众的态度和观点，对政策制定、舆情分析等领域具有重要的意义。

因此，设计一个高效的微博情感分析系统，并研究可靠的情感分类算法，对于挖掘和分析微博数据具有重要的价值。

一、微博情感分析系统设计1. 数据收集与预处理微博情感分析的第一步是收集和获取微博数据。

可以使用微博开放平台提供的API进行实时数据的获取，或者通过爬虫技术从公开的微博页面进行数据爬取。

获取到的微博数据需要进行预处理，包括去除重复数据、去除停用词、分词等。

同时，需要过滤掉不影响情感分析的信息，如广告、链接等。

2. 特征提取为了进行情感分类，在数据预处理后，需要对文本进行特征提取。

常用的特征包括词袋模型、TF-IDF、Word2Vec等。

这些特征提取方法可以把微博文本转化为数字特征向量，便于后续的情感分类。

3. 情感分类算法情感分类是微博情感分析的核心任务，它可以将微博文本分为积极、中性和消极三类，从而帮助我们了解用户的情感倾向。

常用的情感分类算法包括朴素贝叶斯分类器、支持向量机（SVM）、逻辑回归等。

这些算法可以通过训练一个情感分类模型来实现微博情感的自动分类。

4. 模型评估与调优建立情感分类模型后，需要对其进行评估和调优。

可以使用交叉验证和指标评估方法（如准确率、召回率、F1-score等）来评估模型的性能，并根据评估结果对模型进行调优，提升分类的准确率和性能。

二、情感分类算法研究1. 朴素贝叶斯分类器朴素贝叶斯分类器是一种简单且高效的分类算法，它基于条件独立性假设。

在微博情感分析中，可以将朴素贝叶斯分类器应用于特征向量的训练和预测。

通过统计特征在不同情感类别中的出现频率，可以计算出特征的条件概率，并根据概率大小进行情感分类。

2. 支持向量机（SVM）支持向量机是一种常用的机器学习算法，在情感分类中也取得了较好的效果。