多模态检索研究综述

第６期　２０１５年３月　无线互联科技　ＷｉｒｅｌｅＳＳ　Ｉｎｔｅｒｎｅｔ　Ｔｅｃｈｎｏｌｏｇｙ　Ｎ０．６　Ｍａｒｃｈ．２０１５　

多模态图像检索技术的研究　

曾瑞，工ｎ－英彦　日工巾，　犬Ｊ多　

（义乌工商职业技术学院，浙江义乌　３２２０００）　

摘要：随着人类社会的不断进步和信息技术的发展，对智能化设备和技术需求越来越高，为了让计算机更好的理解世界，　诞生了计算机视觉这门科学。目前计算机视觉已经遍及生活各个方面，并且在日常生活、医学应用、工业检测等领域中发挥重　

要的作用。图像纹理是人类观察物体获取的重要信息之一，也是最有感知意义的主要特征。在计算机视觉技术的应用中，图　像分析、物体识别等应用都和匹配密切相关。此研究从图像的纹理特征为切入点，研究多模态图像检索技术，讨论纹理特征　

抽象与图像查询的匹配方法，对跨媒体图像检索技术具有借鉴和指导意义。　

关键词：多模态；检索；图像特征　

０　引言　现阶段基于图像检索普遍采用方式是人工对上传到网　络中的数字图像进行文字标注，根据每幅图像的视觉特征人　

为的设置他们的文字描述。在检索时，使用标注的文字作为　

关键字来检索我们想要的数字图像。这种依据图像标注的　

文字匹配检索的方法简称为“字找图”，它的缺点为：（１）由　于需要大量的人工对每幅图像进行文字标注，数字图像的数　

量是海量的，标注工作是非常耗费人力和时间；（２）由于每　

个人对图像的认识不同，所以，在标注的过程中会按照自己　对图像的认识来选择标注文字，这样会使不同的人对图像的　

标注不同，而在检索中会产生很大误差；（３）不同国家使用　

的标注文字不同，所以在匹配文字时也会产生很大的偏差；　

（４）有的图像里面含有大量的内容，不可能用几个关键字就　能表达清楚。为解决标注图像检索的缺陷问题。学者着手开　

展对内容的图像检索技术的研究。基于多模态的图像检索的　

改善了此类瓶颈问题，主要从被检图像库根据海量图像特征　进行检测和匹配，获取图像之间的相关性特征信息。　

Alejandro Jaimes, Nicu Sebe, Multimodal human–computer interaction: A survey, Computer Vision

and Image Understanding, 2007.

多模态人机交互综述

摘要：本文总结了多模态人机交互(MMHCI, Multi-Modal Human-Computer Interaction)的主要方法，从计算机视觉角度给出了领域的全貌。我们尤其将重点放在身体、手势、视线和情感交互(人脸表情识别和语音中的情感)方面，讨论了用户和任务建模及多模态融合(multimodal fusion)，并指出了多模态人机交互研究的挑战、热点课题和兴起的应用(highlighting challenges, open issues, and emerging

applications)。

1. 引言

多模态人机交互(MMHCI)位于包括计算机视觉、心理学、人工智能等多个研究领域的交叉点，我们研究MMHCI是要使得计算机技术对人类更具可用性(Usable)，这总是需要至少理解三个方面：与计算机交互的用户、系统(计算机技术及其可用性)和用户与系统间的交互。考虑这些方面，可以明显看出MMHCI

是一个多学科课题，因为交互系统设计者应该具有一系列相关知识：心理学和认知科学来理解用户的感知、认知及问题求解能力(perceptual, cognitive, and problem solving skills)；社会学来理解更宽广的交互上下文；工效学(ergonomics)来理解用户的物理能力；图形设计来生成有效的界面展现；计算机科学和工程来建立必需的技术；等等。

MMHCI的多学科特性促使我们对此进行总结。我们不是将重点只放在MMHCI的计算机视觉技术方面，而是给出了这个领域的全貌，从计算机视觉角度I讨论了MMHCI中的主要方法和课题。

多模态隐喻理论研究综述

作者： 刘超 付正亚 胡梦月 钱震

来源：《校园英语·下旬》2021年第07期

【摘要】近几年，国内外多模态隐喻研究主要是以Forceville提出的多模态隐喻理论及相关著为基础进行的，但有不少学者对于Forceville提出的理论进行了一些补充、否定，因此学术界尚未建立起一个完备的多模态隐喻研究领域内的基本理论框架，与此同时国内外的热门话题主要是以公益广告、政治漫画及口语、手势语和电影等方面的语类进行研究，涉及范围具有很大的局限性，体现出了跨学科不明显的特点。

【关键词】多模态隐喻;综述;发展方向

一、 引言

要了解什么是多模态隐喻（multimodal metaphor），首先要了解什么是模态和隐喻。

模态一般认为是和人的感官相联系的，其中包括视觉、听觉、嗅觉等多种感官。根据人的感官的不同，将模态分为五种形式，即视觉模态、听觉模态、嗅觉模态、味觉模态和触觉模态。

隐喻简单地说就是用一组词形象的表示一个物体的本质，从而表明所用词与物体之间具有相似之处。在学术界多数人认为隐喻是一种社会认知发展手段，是人们用来理解抽象物体的一种概念，通常被理解为从一个具体的概念域向一个抽象的概念域的系统映射。其中隐喻涉及两个概念域——源域和目标域，源域是我们常说的喻体，而目标域是本体。

对于多模态隐喻，多数的学者认为，其是由多种模态共同作用，使得所要表达的意思更加全面，容易理解。从严谨的角度来讲，多模态隐喻是指某物的源域和目标域同时由多种模态表示的隐喻。Forceville在此研究基础上提出了多模态分析隐喻的概念，并将其定义为源域和目标域的全部或主要部分可以通过使用两种或两种以上的方式来表征的隐喻。

二、 研究现状

2006年，Forceville正式对多模态隐喻理论进行研究，他认为隐喻可以分为单模态隐喻和多模态隐喻。将单模态定义为源域和目标域仅使用一种模态表示隐喻。多模态是指源域和目标域通过多种模态表达隐喻。语言学家对多模态隐喻已逐渐达成共识：多模态隐喻不仅仅是一种修辞或写作方法，更是一种认知工具，一种思维方式。 随着研究时间的推长，越来越多的学者加入多模态隐喻的研究，研究的内容不断扩大，并提出一些建设性的问题。例如，隐喻涉及的两域之间存在的联系很大程度上是根据人类主观感觉，其之间的相似性也是由人的主观强加上去的。有一部分学者认为，源域和目标域之间是能够相互转换，其中代表学者有Hausman;也有一部分学者认为二者是不可转换的，两者之间不存在一种可逆的关系，如果两者之间可以相互转换，那么说明不属于多模态隐喻中源域和目标域的概念，其中代表学者有Lakoff 和 Turner。而笔者认同Forceville的观点，他提出在一定的条件下，在相同文化等因素下，隐喻的源域和目标域之间是可以相互换转换的，也就是说在东方的文化背景下源域和目标域之间可能是具有相似性，因此两者之间也是可以相互转换的，但是西方文化背景下，两者可能就会毫无关联，甚至于在西方看来这是一种错误，这也是东西方文化的差异所造成的。

2020

年2

月

第29

卷第1

期中央民族大学学报（自然科学版）

Journal of MUC( Natural Sciences Edition)Feb., 2020

Vol. 29 No. 1

多模态情感识别综述

贾俊佳，蒋惠萍，张廷

(

中央民族大学信息工程学院情感计算实验室，北京100081)

摘要：情感是一种多元的讯息表述，而情感识别又是人机交互，感情交互中中十分极其重要的问题[1]。

根据情感的差异来源，本文从脑电和表情两种模态人手，概述了脑电和表情的特征提取方法，着重说明了多模

态融合技术和方法，并且列举了现阶段常见的公开多模态数据库。最后总结了仍然存在的问题和今后的研究

方向。

关键词：情感识别；脑电；表情；多模态信息融合;综述

中图分类号：

TP391 文献标识码

：A 文章编号：

1005-8036(2020) 01-0054-05

情感是一种人类的感受和意向，它可以通过一定的载体显性或隐性表达出来。

Picard教授在1995

年首次提出了情感计算的这一概念11]。情感计算经由芯片、视频、音频等系统对人类感情变动所产生

的生理特点、姿势、手势与语调等波形的变动展开详细分析与辨识，继而深刻理解人的情感并列出清晰

适时的回应+4]。情感计算主要分为四个阶段：信号源获取、情感识别、情感理解与反馈以及情感抒

发m。

情感识别包含了多种模态，从模态的本质上来说，有情感行为识别（面部表情、语音、姿态等）和生

理模式识别（皮肤电反应、心率、呼吸、体温、脑电等）两大类[6<。虽然这些模态均可以独立表达情感，

但在互相沟通和交流中，人类一般是会同时表达多种综合情感[8]。在实际生活中，人们在作出一项决

定之前，都是从很多方面来进行综合考量的。在情感识别领域，已有研究人员开始转向多模态情感研

究。将人类的思维机制迁移到情感识别上，以提高情感识别效果。

本文重点集中于面部表情识别和脑电识别的融合研究。下面将从以下四个方面展幵论述：多模态