当前位置：文档之家 › 用于目标情感分类的多跳注意力深度模型

用于目标情感分类的多跳注意力深度模型

  • 格式：pdf
  • 大小：1.01 MB
  • 文档页数：8

第48卷 第5期 电 子 科 技 大 学 学 报 Vol.48 No.5 2019年9月 Journal of University of Electronic Science and Technology of China Sep. 2019

用于目标情感分类的多跳注意力深度模型 邓 钰，雷 航，李晓瑜*，林奕欧 (电子科技大学信息与软件工程学院 成都 610054) 【摘要】文本情感分类是近年来自然语言处理领域的研究热点，旨在对文本蕴含的主观倾向进行分析，其中，基于特定目标的细粒度情感分类问题正受到越来越多的关注。在传统的深度模型中加入注意力机制，可以使分类性能显著提升。针对中文的语言特点，提出一种结合多跳注意力机制和卷积神经网络的深度模型(MHA-CNN)。该模型利用多维组合特征弥补一维特征注意力机制的不足，可以在没有任何先验知识的情况下，获取更深层次的目标情感特征信息。相对基于注意力机制的LSTM网络，该模型训练时间开销更小，并能保留特征的局部词序信息。最后在一个网络公开中文数据集(包含6类领域数据)上进行实验，取得了比普通深度网络模型、基于注意力机制的LSTM模型以及基于注意力机制的深度记忆网络模型更好的分类效果。 关 键 词 目标情感分类; 注意力机制; 卷积神经网络; 深度学习; 自然语言处理 中图分类号 TP391 文献标志码 A doi:10.3969/j.issn.1001-0548.2019.05.016

A Multi-Hop Attention Deep Model for Aspect-Level Sentiment Classification

DENG Yu, LEI Hang, LI Xiao-yu*, and LIN Yi-ou

(School of Information and Software Engineering, University of Electronic Science and Technology of China Chengdu 610054)

Abstract Text sentiment classification is a hot topic in the field of natural language processing in recent years. It aims to analyze the subjective sentiment polarity of text. More and more attention has been paid to the problem of fine grained sentiment classification based on specific aspects. In traditional deep models, the attention mechanism can significantly improve the classification performance. Based on the characteristics of Chinese language, a deep model combining multi-hop attention mechanism and convolutional neural network (MHA-CNN) is proposed. The model makes use of the multidimensional combination features to remedy the deficiency of one dimensional feature attention mechanism, and can get deeper aspect sentiment feature information without any prior knowledge. Relative to the attention mechanism based long short-term memory (LSTM) network, the model has smaller time overhead and can retain word order information of the characteristic part. Finally, we conduct experiments on a network open Chinese data set (including 6 kinds of field data), and get better classification results than the ordinary deep network model, the attention-based LSTM model and the attention-based deep memory network model. Key words aspect-based sentiment categorization; attention mechanism; convolutional neural network; deep learning; natural language processing

收稿日期：2018 − 10 − 29；修回日期：2019 − 03 − 25 基金项目：国家自然科学基金(61502082)；中央高校基本科研业务费(ZYGX2014J065) 作者简介：邓钰(1983 − )，男，博士生，主要从事深度学习和自然语言处理方面的研究. 通信作者：李晓瑜，E-mail: 157291443@qq.com

随着互联网和移动通讯技术的飞速发展，社交网络和电子商务平台已变成庞大的公共信息集散地，利用其中海量的数据对人们的情感和观点进行分析有着重要的科研价值和社会价值。情感分析或观点挖掘是人们对产品、服务、组织、个人、问题、事件、话题及其属性的观点、情感、情绪、评价和态度的计算研究[1]。如何利用自然语言处理(natural language processing, NLP)技术对主观意见文本进行情感分析正被越来越多的研究人员关注[2]。作为情感分析的子任务，面向目标的细粒度情感分析可以针对特定对象有效发掘上下文中的深层情感特征，已经成为该领域的热点研究问题[3]。 近年来，深度学习作为人工智能领域发展最快的研究方向，在自然言语处理领域也取得了巨大的成功，并被广泛应用于各个NLP任务中[4]。相对于传

统的机器学习算法，深度学习不依赖人工构建特征，具有特征的自学习能力，非常适合语言文本的抽象、高维、复杂等特点，对机器翻译[5] 、文本摘要[6] 、 电 子 科 技 大 学 学 报 第48卷 760

智能问答[7] 、词性标注[8]等系统性能改善显著。同时，也有许多研究人员运用卷积神经网络(CNN)和长短记忆网络(LSTM)等深度学习模型解决文本情感极性分类问题[9-11]，并取得了很好的效果。

注意力机制(attention mechanism)最早由图像识别领域提出，可以让模型有效关注局部特定信息，挖掘更深的特征信息[12]。随后，在自然语言处理领

域，注意力机制被验证依然有效。文献[13]首先将注意力机制与循环神经网络结合，在编码-解码模型上计算输入序列与输出序列的对齐概率矩阵，有效解决机器翻译问题。文献[14]将类似的attention方法运用于LTSM网络，提升词对关系分类精度。文献[15]提出在卷积神经网络中使用注意力机制的有效方法，以完成机器阅读理解任务。 情感分类是目标相关(aspect-level)的问题，当训练集和测试集针对不同的目标时，基于监督学习的分类方法通常会表现出较差的效果。因此，面向目标的细粒度情感分类研究显得更具有实际意义，而目标可以是上下文中具体的词汇(target)，也可以是文本描述的抽象对象或所属领域。目前，很多研究人员将注意力机制应用于目标情感分类领域，取得了很好的效果。文献[16]在LSTM网络中将目标内容与序列相应中间状态进行拼接，并计算注意力加权输出，有效解决了上下文对不同目标的情感极性问题。文献[17]借鉴深度记忆网络，提出多跳注意力模型，计算基于内容和位置的注意力值，用于充分挖掘上下文针对特定目标的情感特征信息。文献[18]将注意力机制运用在区域卷积神经网络和LSTM相结合的模型中，既保留输入序列的时序依赖又提高了训练效率。文献[19]将多种注意力机制同时与卷积神经网络相结合，综合词向量、词性和位置信息对目标情感分析效果进行改善。 基于注意力机制和面向目标情感分类的最新研究成果，同时针对中文语言环境中相邻词汇语义表达的特点，本文提出一种结合多跳注意力机制和卷积神经网的深度模型。该模型不依赖句法分析、语法分析和情感词典等先验知识，并利用多维组合特征弥补一维特征注意力机制的不足。它由多个计算层组成，以获取更深层次的目标情感特征信息。每一层都包含一个基于目标内容的注意力模型，用以学习上下文中相邻词汇组合的特征权重，并在最后一层计算连续文本表示，作为情感分类的最终特征。整个模型可以进行有效的端到端训练，相对基于注意力机制的LSTM网络，该模型具有更小的训练时间

开销，并能保留特征的局部词序信息。最后在一个网络公开中文数据集(包含6类领域数据)上进行实验。结果表明，该模型比普通深度网络模型、基于注意力机制的LSTM模型以及基于注意力机制的深度记忆网络模型具有更好的分类效果，并且多计算层叠加，可以有效改善分类性能。

1 相关背景

1.1 卷积神经网络 卷积神经网络作为深度学习的重要模型之一，被广泛应用于计算机视觉和图像识别领域，通过多层次的特征提取和区域权值共享，使其结构对于图像的平移、缩放和倾斜等形式变化具有高度的不变性。近年来卷积神经网络的应用领域不断拓展，在语音识别、运动分析、自然语言处理等多个方向均有突破。 卷积神经网络的特征抽取器由一个卷积层和子采样层构成。在卷积层中，应用若干过滤器(卷积核)对输入数据进行处理，得到代表不同特征表示的特征图谱(feature map)；同一特征图谱的神经元共享过滤器权值，这大大减少了网络中需要训练的参数，同时又降低了过拟合的风险。子采样层也叫做池化层(pooling layer)，对卷积层得到的特征图谱进行重要特征信息提取，以进一步减少输入数据规模和模型参数，通常使用均值采样、最大值采样或随机采样。卷积层中特征图谱的生成方法为： FM()fb=+⋅wx (1)

合集下载

基于多头注意力机制的模型层融合维度情感识别方法

基于多头注意力机制的模型层融合维度情感识别方法

Vol. 37 No. 5May202I第37卷第5期2021年5月信号处理Journal of Signal Processing文章编号：1003-0530(2021)05-0885-08基于多头注意力机制的模型层融合维度情感识别方法董永峰'苏海洋'!2刘斌2陶建华'!2"'.河北工业大学人工智能与数据科学学院，天津30040I ； 2.中国科学院自动化研究所模式识别实验室，北京I00I90)摘 要：近年来，情感识别成为了人机交互领域的研究热点问题，而多模态维度情感识别能够检测出细微情感变 化，得到了越来越多的关注多模态维度情感识别中需要考虑如何进行不同模态情感信息的有效融合。

针对特征层 融合存在有效特征提取和模态同步的问题、决策层融合存在不同模态特征信息的关联问题，本文采用模型层融合策略，提出了基于多头注意力机制的多模态维度情感识别方法，分别构建音频模型、视频模型和多模态融合模型对信息流进行深层特征学习，最后放入双向长短时网络中得到最终情感预测值。

所提方法相比于不同基线方法在激活度 和愉悦度上均取得了最佳的性能，可以在高层维度对情感信息有效捕捉，进而更好的对音视频信息进行有效融合。

关键词：维度情感识别；多模态情感融合；模型层融合；多头注意力机制中图分类号：TP39I.4 文献标识码：A DOI ： I0. I6798/j. issn. I003-0530.202I.05.023引用格式：董永峰，苏海洋，刘斌，等.基于多头注意力机制的模型层融合维度情感识别方法[J ].信号处理，202I ，37(5)： 885-892. DON I0. I6798/j. issn. '003-0530.202I. 05. 023.Reference format : DONG Yongfeng ，SU Haiyang ，LIN Bin ，et al. Model level fusion disension emotion recognition method based on Transformer (J ]. Journal V Signal Processing ，202I ，37 (5 ) : 885-892. DOI : I0. 16798/j. issn. I003-0530.202I.05.023.Model Level Fusion Dimeesion Emotion RecognitionMethod Basel on TransformerDONG Yongfeng ' SU Haiyang '，2LIN Bin 2 TAO Jianhuv '，2( I.SchooeooAeiooocoaeInie e ogence ， HebeoUnoeeesoiyooTechnoeogy ， Toan.on 30040I ， Chona ； 2.NaioonaeLaboeaioeyooPa i een Recognoioon ， InsioiuieooAuiomaioon ， ChoneseAcademyooScoences ， Beo.ongI00I90， Chona )Abstract : In recent years ，emotion recognition had become a het research topic X the field of human-computer interaction ， and mueio-modaedomensoonaeemoioon eecognoioon coued deiecisubieeemoioonaechanges ， whoch had a i eacied moeeand moeea i enioon. In mueio-modaeemoioon eecognoioon ， oiwasnece s aeyioconsodeehowioe o ecioeeeyoniegeaiedo o eeenimodaeemo-Oon information. Aising at the problem of effective feature extraction and modal synchronization X feature level fusion ，andiheco e eaioon peobeem oodo o eeenimodaeoeaiueeonooemaioon on decosoon eeeeeousoon ， ihospapeeadopied amodeeeeeeeousoonsieaiegyand peoposesamueio-modaedomensoon emoioon eecognoioon meihod based on Teansooemee.Respecioeeeyconsieuciedaudoomodee ， eodeomodeeand mueio-modaeousoon modeeioeeaen ihedeep oeaiueesooiheonooemaioon oeow ， and oona e y puioi onioBo-doeecioonaeLongShoeiTeem Memoeyioobiaon iheoonaeemoioonaepeedocioon paeed woih do o eeenibaseeonemeihods ， ihepeoposed meihod achoeeesihebesipeeooemanceon ieemsooaeousaeand eaeence ， and coued e o ecioeeeycapiueee- moioonaeonooemaioon on hogh-eeeeedomensoons ， and ihusbe i eee o ecioeeeyoniegeaieaudooand eodeoonooemaioon.Key worde : disension emotion recognition ； muOisodai emotion fusion ； model level fusion ； Transformer收稿日期：2021-01-15 "修回日期：2021-03-16基金项目：国家重点研发计划(2017YFB1002804)；国家自然科学基金重点项目(61831022, 61771472, 61901473，61902106)；天津市 自然科学基金(19JCZDJC40000)；河北省自然科学基金(F2020202028)886信号处理第37卷1引言情感识别有助于快速传达信息并理解别人的真实意图，是人机交互的关键［1］&在情感表示模型方面，主要分为离散表示模型［2］和维度表示模型⑶，离散表示模型将人类的情感划分为几种常见的情感，来反映人的基本情绪，而维度情感表示模型使用维度空间中的连续数值来描述情感状态，每个情感状态对应二维空间中的一个点⑷，坐标系横轴arousal代表激活度,表示情感的激昂与低迷程度，值越大表示情感越激昂，值越小表示情感越低迷;坐标轴valence代表愉悦度，表示情感的积极与消极程度，值越大表示情感积极程度越高,值越小表示情感消极程度越高。

面向深度学习的多模态情感识别研究进展

面向深度学习的多模态情感识别研究进展


在过去的几年中，深度学习的多模态融合技术得到了广泛。模态是指信息的 表现形式，如文本、图像、音频等。多模态融合技术是指将不同模态的数据进行 融合，从而获得更丰富的信息。深度学习在多模态融合技术中的应用已经取得了 显著成果，如在自然语言处理、计算机视觉和语音识别等领域。
自然语言处理领域是多模态融合技术的热门领域之一。传统的自然语言处理 方法主要依赖于文本模态的数据，但随着深度学习的不断发展，研究人员开始尝 试将其他模态的数据（如图像、音频等）与文本模态的数据进行融合。通过对不 同模态的数据进行特征提取和融合，可以在很大程度上提高自然语言处理的性能。 例如，在机器翻译领域，将语音和文字两种模态的数据进行融合，可以使翻译结 果更加准确和流畅。
虽然深度学习的多模态融合技术在许多领域已经取得了显著的成果，但仍然 存在一些问题和挑战。首先，多模态融合技术需要不同模态的数据之间具有很好 的适配性，而这往往是一个困难的问题。其次，多模态融合技术往往需要大量的 计算资源，这限制了其在实际应用中的推广。此外，现有的多模态融合技术往往 没有考虑到不同模态数据之间的冲突和矛盾，这也限制了其性能的进一步提高。
最后，需要研究不同模态数据之间的冲突和矛盾，以避免它们对多模态融合 技术的负面影响。此外，可以探索基于数据预处理、特征选择等技术的方法，以 更好地消除不同模态数据之间的差异和矛盾。
本次演示介绍了深度学习的多模态融合技术的研究现状和不足，并探讨了未 来的研究方向和发展趋势。深度学习的多模态融合技术已经成为人工智能领域的 热点问题之一，它可以帮助我们从不同模态的数据中获取更丰富的信息，从而更 好地解决实际问题。但同时，我们也需要看到该技术存在的不足和挑战，未来的 研究方向应该是不断地优化和完善多模态融合技术，以更好地应用到实际生产和 科研中去。
基于深度学习的多模态情感识别与分析研究

基于深度学习的多模态情感识别与分析研究

基于深度学习的多模态情感识别与分析研究多模态情感识别和分析是一项具有挑战性的任务，它涉及多种模态（例如文本、图像和音频）中情感的自动识别和理解。

随着社交媒体和数字媒体的快速发展，人们表达情感的方式变得愈加多样化，因此，开发出能够自动理解和识别这些情感的系统对于理解人类情感和行为具有重要意义。

同时，深度学习技术的快速发展为多模态情感识别和分析提供了强大的工具。

多模态情感识别主要包括情感分类和情感分析两个方面。

情感分类旨在将不同模态中的文本、图像和音频等信息分类为不同的情感类别，如喜悦、悲伤和愤怒等。

而情感分析则旨在从多模态数据中提取情感特征，并进行情感强度分析和情感迁移等研究。

基于深度学习的多模态情感识别方法在最近的研究中取得了显著的进展。

首先，使用深度学习技术构建的深度神经网络能够自动学习和提取多模态数据中的特征。

例如，基于卷积神经网络（CNN）和循环神经网络（RNN）的深度模型能够有效地处理图像和文本数据。

其次，深度学习还能够通过端到端的训练方式，将不同模态的特征进行融合和联合建模，提高情感识别的效果。

例如，多模态融合的深度神经网络可以将文本、图像和音频数据进行联合学习，从而更好地理解和识别情感。

另外，使用长短期记忆网络（LSTM）、门控循环单元（GRU）和注意力机制等深度学习模型可以捕捉多模态数据中的时序信息，进一步提升情感识别的效果。

在多模态情感分析方面，深度学习方法能够有效地从多模态数据中提取情感特征。

例如，通过使用卷积神经网络从图像和视频中提取视觉特征，再结合文本数据通过RNN进行联合建模，可以实现对多模态数据中情感的分析。

此外，通过使用自动编码器和生成对抗网络等深度学习模型，可以进一步提高多模态情感分析的结果。

除了传统的多模态情感识别和分析，一些研究还探索了情感迁移和情感生成等领域。

情感迁移旨在将一种模态中的情感转移到另一种模态中，例如从文本到图像的情感迁移。

这种研究对于情感表达的多样化和艺术创作具有重要意义。

基于深度学习的多模态情感分析算法研究

基于深度学习的多模态情感分析算法研究

基于深度学习的多模态情感分析算法研究基于深度学习的多模态情感分析算法研究引言：随着社交媒体和移动设备的普及，人们在日常生活中产生了大量的多模态数据，如图像、视频和文本等。

这些多模态数据中融入了丰富的情感信息，因此深入研究多模态情感分析算法具有重要意义。

基于深度学习的多模态情感分析算法，通过利用深度学习模型的特点，结合多模态数据提取每个模态的特征，进而实现情感分析的自动化和准确性。

本文将对基于深度学习的多模态情感分析算法的研究进行探讨，并分析其应用前景与研究挑战。

一、多模态情感分析算法的研究现状多模态情感分析算法的研究主要分为单模态和多模态两个方向。

单模态情感分析算法主要利用图像或文本等单一模态的特征进行情感分析。

而多模态情感分析算法则将多种模态的信息结合起来，以提高情感分析的准确性和鲁棒性。

传统的多模态情感分析方法主要通过手工设计特征并使用传统机器学习算法来实现情感分析。

缺点是特征提取和算法选择具有一定的主观性，且难以处理复杂的多模态数据。

而基于深度学习的多模态情感分析算法，在数据表示和特征提取方面具有优势，成为当前研究的热点。

二、基于深度学习的多模态情感分析算法的关键技术1. 深度学习模型基于深度学习的多模态情感分析算法首先需要选择适合的深度学习模型，如卷积神经网络（Convolutional Neural Network, CNN）、循环神经网络（Recurrent Neural Network, RNN）和生成对抗网络（Generative Adversarial Network, GAN）等。

这些模型在处理多模态数据上具有较强的表征能力和学习能力。

2. 多模态特征融合多模态情感分析算法需要将不同模态的特征进行融合。

常用的特征融合方法包括早期融合和晚期融合。

早期融合将不同模态的特征直接融合为一个特征表示，再进行情感分类。

晚期融合则在不同模态的特征分别进行情感分类后，再将结果进行整合。

此外，还可以通过注意力机制（Attention Mechanism）来自适应地对不同模态进行加权融合。