Computer Science and Application 计算机科学与应用, 2018, 8(5), 669-686 Published Online May 2018 in Hans. /journal/csa https:///10.12677/csa.2018.85076
Research and Analysis of Textual
Multi-Emotion Based on Deep Learning
Nan Chen, Jincai Chen, Ping Lu
Wuhan National Laboratory for Optoelectronics, Huazhong University of Science and Technology, Wuhan Hubei Received: Apr. 29th, 2018; accepted: May 16th, 2018; published: May 23rd, 2018 Abstract Text emotional analysis is mainly based on text mining technology for emotional analysis and processing of the text with tendentiousness, which is the subjective text tendency recognition process of positive and negative, neutral. This text about emotional particle division is not suffi-cient, not comprehensive, is too stiff and violence, and not only cannot effectively reflect the text sentiment granules with different strength and size, but also needs a lot of manual annotation. This paper proposes and constructs the multiple text sentiment data Co-Training based on semi supervised training set, and combines with the emotion of frequency, emotion dictionary, emotion semantic information to construct the D & W, T & W, SSW three kinds of emotion word vector. Final-ly, CNN and LSTM neural network structure model is used to construct multivariate data sets that were compared with the training and optimization model of emotion word vector, which verifies the validity of the emotional word vector, but also improves the accuracy of text sentiment classification. Keywords
基于深度学习的文本挖掘研究
崔嘉乐1，姜明洋2，裴志利2,卢奕南3（1.内蒙古民族大学数学学院，内蒙古通辽028043；2.内蒙古民族大学计算机科学与技术学院，内蒙古通辽028043；3.吉林大学计算机科学与技术学院，吉林长春130012）〔摘要〕随着互联网的快速发展，网络上的文本信息急速增长，如何从庞大的信息库中提取有用的信息就依赖于文本挖掘技术.由于文本挖掘是深度学习中重要的一部分，论文对基于深度学习的文本挖掘研究进行了综述.首先介绍了文本挖掘的过程及应用领域，由此说明了文本挖掘的重要性；其次通过浅层神经网络算法的局限性，说明提出基于深度学习文本挖掘的必要性；然后提出了融合深度学习特征的文本挖掘技术，主要对浅层学习特征、深层学习特征展开介绍；最后总结了深度学习的最新研究进展及对它在文本挖掘的应用进行了综述.〔关键词〕深度学习；文本挖掘；特征融合〔中图分类号〕TP393〔文献标识码〕A〔文章编号〕1671-0185（2016）05-0403-05TextMiningBasedonIn-DepthLearning
CUIJia-le1,JIANGMing-yang2,PEIZhi-li2,LUYi-nan3（1.CollegeofMathematics,InnerMongoliaUniversityforNationalities,Tongliao028043,China;2.CollegeofComputerScienceandTechnology,InnerMongoliaUniversityforNationalities,Tongliao028043,China;3.CollegeofComputerScienceandTechnology,JilinUniversity,Changchun130012,China）Abstract:WiththerapiddevelopmentoftheInternetandincreasingofonlinetextinformation,textminingtechnolo-gyisbecomingindispensabletoextractingusefulinformationfromlargedatabases.Theimportanceandtheresearchoftextminingbasedonin-depthlearningarereviewedinthispaper.Theprocessandapplicationfieldoftextminingarefirstintroducedandthelimitationsofneuralnetworksareanalyzedtostressthenecessityoftextmining.Finallythecharacteristicsofshallowlearninganddeeplearningareillustratedandthelatestresearchachievementsofin-depthlearninganditsapplicationintextminingarereviewed.Keywords:In-Depthlearning;Textmining;Featurefusion1引言由于互联网的迅速发展以及信息技术的逐渐完善，导致了“信息极大增长而知识却相对缺乏”等问题，文本挖掘在有效的处理、组织文本方面具有很好的效果.文本挖掘的内容主要包括文本信息的抽取、自动文摘、文本聚类、文本分类，其中文本聚类和文本分类是文本挖掘的核心问题〔1〕.大量的研究证明，如果想对高维特征向量空间中具有高阶抽象概念的复杂函数进行表示且使其简单化，并能够解决文本挖掘中语音感知和语言理解等人工智能相关的问题，这就需要引入深度学习.深度学习的概念主要来源于对人工神经网络的研究，或者可以将其理解为人工神经网络的延伸，人工神经网络（ANNs）是通过模拟人脑或生物神经网络对数据信息进行特征提取、建模，进行分布式并行信
基于深度学习的中文短文本情感分析
随着互联网不断发展,网络评论平台不断增加,用户评论数量也爆发式增长。利用情感分析技术能够有效的挖掘文本包含的情感信息,目前已成为社会舆情监督和厂家获取反馈信息的重要途径,具有很高的研究价值。本文的研究目的是探究中文短文本中所包含的情感信息,主要解决文本情感极性褒贬义分类问题。传统的情感分析方法主要有两种:基于情感词典的方法和基于机器学习的方法。但由于文本语料简短,含有大量未登录词使得上述方法存在数据稀疏问题,且过分依赖领域专家的标注。近年来出现的深度学习技术能够很好的解决上述问题。因此,本文采用深度学习的方法对中文短文本进行情感分析。主要研究内容如下:首先,在文本数据预处理过程,针对目前网络上存在的大量未登录词,设计了一种新词发现方法,主要是利用词语的内部凝固度、边界自由度及语言规则对候选新词进行过滤。将识别的新词加入词库,提高分词的准确率。其次,传统的词向量仅考虑了文本中的语义语法信息,会将语义相近,情感极性却相反的词语映射到相邻的位置,导致最终分类结果错误。为了解决此问题,本文在传统词向量的基础上融合了情感信息,提出一种情感词向量的生成方法。最后,针对循环神经网络在处理时序信息发生的梯度消失问题,本文提出基于GRU(Gated Recurrent Unit)的情感分析模型,将循环神经网络的隐层节点替换为GRU单元,用于情感分析。本文利用Python中的Keras深度学习库构建提出的GRU情感分析模型,通过实验,找到模型最佳参数,并在最佳参数下进行情感分析,其分类的准确率达到92.01%。将其与机器学习模型SVM及深度学习模型LSTM,CNN进行对比实验,结果表明,在所有指标下,本文提出的以情感词向量作为输入的情感分析模型明显优于其他模型。
基于深度学习的文本情感分析技术研究
在Web2.0时代,信息技术飞速发展,人们越来越多地在网络平台上发表自己的观点和意见。随着这些评论数据量的爆炸式增长,如何提取利用其中的情感信息也成为人们的关注热点,文本情感分析技术随之兴起。情感分析工作就是对含有情感色彩的主观性文本进行分析,挖掘出其蕴含的情感倾向的过程,而文本的主客观分析是情感态度分析的基础。作为自然语言处理领域的一个重要分支,情感分析在理论方面有着较高的研究意义。随着词向量的提出,基于深度学习的自然语言处理技术快速发展。面对大量的文本数据,深度神经网络强大的学习表达能力得到了展现。本文对基于深度学习的文本情感分析技术进行研究,主要工作如下:第一,构建了基于多头自注意力机制的文本情感分析模型。研究了深度学习中的注意力机制,其中自注意力机制能够关注到文本内部词语之间的依赖关系。因此,在文本情感分析任务上,引入了多头自注意力机制,并通过结合非线性子层双向门控循环单元增强模型的学习能力。实验结果表明,构建的模型在情感分析任务上的准确率得到了提升。第二,针对情感分析的子任务主客观分析,构建了基于线性门控卷积的网络模型。通过对不同的门控机制进行研究,在卷积神经网络的基础上引入了线性门控机制;并使用多个不同尺寸的卷积核提取文本特征。实验结果表明,构建的模型在主客观分析任务上表现突出,性能优于其他模型。论文主要的创新点和贡献是:将多头自注意力机制引入到文本情感分析领域,并通过结合非线性子层对模型进行了改进,提升了模型的准确率;在文本主客观分析任务上,通过线性门控机制对卷积网络进行改进,并根据文本数据的特性构建了不同尺寸的卷积核,有效地提升了模型的性能。
