Alejandro Jaimes, Nicu Sebe, Multimodal human–computer interaction: A survey, Computer Vision and Image Understanding, 2007. 多模态人机交互综述 摘要：本文总结了多模态人机交互(MMHCI, Multi-Modal Human-Computer Interaction)的主要方法，从计算机视觉角度给出了领域的全貌。我们尤其将重点放在身体、手势、视线和情感交互(人脸表情识别和语音中的情感)方面，讨论了用户和任务建模及多模态融合(multimodal fusion)，并指出了多模态人机交互研究的挑战、热点课题和兴起的应用(highlighting challenges, open issues, and emerging applications)。 1. 引言 多模态人机交互(MMHCI)位于包括计算机视觉、心理学、人工智能等多个研究领域的交叉点，我们研究MMHCI是要使得计算机技术对人类更具可用性(Usable)，这总是需要至少理解三个方面：与计算机交互的用户、系统(计算机技术及其可用性)和用户与系统间的交互。考虑这些方面，可以明显看出MMHCI 是一个多学科课题，因为交互系统设计者应该具有一系列相关知识：心理学和认知科学来理解用户的感知、认知及问题求解能力(perceptual, cognitive, and problem solving skills)；社会学来理解更宽广的交互上下文；工效学(ergonomics)来理解用户的物理能力；图形设计来生成有效的界面展现；计算机科学和工程来建立必需的技术；等等。 MMHCI的多学科特性促使我们对此进行总结。我们不是将重点只放在MMHCI的计算机视觉技术方面，而是给出了这个领域的全貌，从计算机视觉角度I讨论了MMHCI中的主要方法和课题。 1.1. 动机 在人与人通信中本质上要解释语音和视觉信号的混合。很多领域的研究者认识到了这点，并在单一模态技术unimodal techniques(语音和音频处理及计算机视觉等)和硬件技术hardware technologies (廉价的摄像机和其它类型传感器)的研究方面取得了进步，这使得MMHCI方面的研究已经有了重要进展。与传统HCI应用(单个用户面对计算机并利用鼠标或键盘与之交互)不同，在新的应用(如：智能家居[105]、远程协作、艺术等)中，交互并非总是显式指令(explicit commands)，且经常包含多个用户。部分原因式在过去的几年中计算机处理器速度、记忆和存储能力得到了显著进步，并与很多使普适计算ubiquitous computing [185,67,66]成为现实的新颖输入和输出设备的有效性相匹配，设备包括电话(phones)、嵌入式系统(embedded systems)、个人数字助理(PDA)、笔记本电脑(laptops)、屏幕墙(wall size displays)，等等，大量计算具有不同计算能量和输入输出能力的设备可用意味着计算的未来将包含交互的新途径，一些方法包括手势(gestures)[136]、语音(speech)[143]、触觉(haptics)[9]、眨眼(eye blinks)[58]和其它方法，例如：手套设备(Glove mounted devices)[19] 和and可抓握用户界面(graspable user interfaces)[48]及有形用户界面(Tangible User interface)现在似乎趋向成熟(ripe for exploration)，具有触觉反馈、视线跟踪和眨眼检测[69]的点设备(Pointing devices)现也已出现。然而，恰如在人与人通讯中一样，当以组合方式使用不同输入设备时，情感通讯(effective communication)就会发生。
生物识别技术所依据的技术原理 生物识别技术使用身份验证原理来识别个人，而不是依靠某个物品（例如钥匙）或者知道的信息（例如密码）。生物识别技术可以使用物理特征，例如脸形、指纹、虹膜或静脉；也可以使用行为特征，例如语音、笔迹或打字的节奏。与钥匙和密码不同，个人特征基本上不会丢失或遗忘，并且非常难以复制。因此，许多人认为生物识别技术比密钥或密码更加安全可靠。 生物识别技术和取证技术—生物识别技术与取证技术在许多方面存在共性，但它们并不完全相同。生物识别技术使用物理特征或行为特征来确定身份，或者确认您申明的身份。而取证技术则是在民事或刑事侦察中使用相同类型的信息来建立事实依据。 生物识别技术使用独一无二的特征（例如眼睛虹膜）识别个人 生物识别系统看起来非常复杂，但它们都会涉及以下三个步骤： 登记：当首次使用生物识别系统时，该系统将会记录有关人员的基本信息，例如姓名或身份证号码。然后将会捕获影像，或者记录具体特征。 存储：与电影中看到的相反，大多数系统并不存储完整的影像或记录，而是分析特征，然后将其转换成代码或图形。某些系统还能将这些数据记录在可随身携带的智能卡上。 比较：当下一次使用该系统时，它会将现有特征与文件中的信息进行比较，然后根据比较结果接受或拒绝身份申明。 这些系统均使用相同的三个组件： 传感器：检测用于识别的特征 计算机：读取和存储信息 软件：分析特征，将特征转换成图形或代码，并执行具体的比较
越来越多的家庭使用了生物识别安全系统（下图为IBM ThinkPad T43提供的指纹扫描仪） 笔迹 使用笔迹来识别用户似乎是不太可取的办法。毕竟许多人在经过一段时间的练习后，都可以模仿他人的笔迹。而且获得某人的签名或所需密码，然后进行模仿，也不是一件难事。但是，生物识别系统检测的不仅仅是每个字母的形状，它们还会分析书写动作。这些系统会核对您在书写时使用的压力、速度和节奏，并且还会记录笔画顺序。 这部平板电脑配有签名验证系统。 虽然字母只有简单的外形，但这些笔画特征非常难以模仿。即使其他人获得了一份签名并进行临摹，系统也不一定会接受其仿冒笔迹。有些笔迹识别系统的传感器包含一个触敏书写表面；或者包含一支扫描笔，该笔内部装有传感器，可以检测角度、压力和方向。软件能够将笔迹转换成图形，并且可以识别某个人在一段时间内，每日书写的细微变化。 确定精度—所有生物识别系统都使用了人体特征，而这些特征在某种程度上是独一无二的。哪种系统才是最好的系统，这取决于所需的安全级别、使用该系统的人数多少以及该系统的精度。大多数制造商使用类似于下面的度量值来描述其产品精度：
视觉诗40-Love多模态意义的构建 摘要：视觉诗有一般诗歌所没有的视觉效果，传统的单模态分析方法不能照顾这一特点，多模态话语分析理论为可视诗研究提供了一套同时分析视、听和文字互相兼容的系统研究体系。本文在此基础上，以系统功能语言学和多模态话语分析为理论框架，对Roger McGough的可视诗40-Love进行模态分解、单模态意义构建、多模态意义整合的尝试性研究。 关键词：多模态化；模态分解；单模态意义构建；多模态意义整合；视觉诗 1 引言 董崇选指出真正以“形”取胜的诗可以统称为“视觉诗”( visual poetry) 。它自诞生以来一直都是诗坛争议最多的一种诗歌形式，有人批评它不够严肃。针对于此，张旭红认为一种诗歌形式的成功与否不仅在于诗人的创作技巧，更在于读者的解读技能。传统的分析模式局限于单一的言语信息，忽视构成可视诗歌这一特殊文学形式的其他符号系统的分析，因而无法充分地诠释创作者的创作意图。而兴起于20世纪90年代的多模态话语分析理论为视觉诗的研究提供了一套同时分析视、听和文字互相兼容的系统研究体系。但目前国内外在该项研究中都刚刚起步，现有的研究主要集中在影视、多媒体、海报、视觉广告功能文体分析及口语的研究上，其中张旭红采用该理论对视觉诗歌Me up at does 作了大胆的尝试，并取得了成功。针对于此，本文以40-Love为例，并借鉴张先生研究模式尝试对其进行多模态的文体分析。 2 多模态话语分析综述 模态(modality)是指交流的渠道和媒介，包括语言、技术、图像、颜色、音乐等符号系统(朱永生2007)。多模态(multimodal)是指除了文本之外，还带有
生物识别技术主要是指通过人类生物特征进行身份认证的一种技术，这里的生物特征通常具有唯一的(与他人不同)、可以测量或可自动识别和验证、遗传性或终身不变等特点。所谓生物识别的核心在于如何获取这些生物特征，并将之转换为数字信息，存储于计算机中，利用可靠的匹配算法来完成验证与识别个人身份的过程。 方法/步骤 1.指纹识别 指纹是指人的手指末端正面皮肤上凸凹不平产生的纹线。纹线有规律的排列形成不同的纹型。纹线的起点、终点、结合点和分叉点，称为指纹的细节特征点。指纹识别即指通过比较不同指纹的细节特征点来进行鉴别。由于每个人的指纹不同，就是同一人的十指之间，指纹也有明显区别，因此指纹可用于身份鉴定。 指纹识别技术是目前最成熟且价格便宜的生物特征识别技术。目前来说指纹识别的技术应用最为广泛，我们不仅在门禁、考勤系统中可以看到指纹识别技术的身影，市场上有了更多指纹识别的应用：如笔记本电脑、手机、汽车、银行支付都可应用指纹识别的技术。 2.静脉识别 静脉识别系统就是首先通过静脉识别仪取得个人静脉分布图，从静脉分布图依据专用比对算法提取特征值，通过红外线CMOS摄像头获取手指静脉、手掌静脉、手背静脉的图像，将静脉的数字图像存贮在计算机系统中，将特征值存储。静脉比对时，实时采取静脉图，提取特征值，运用先进的滤波、图像二值化、细化手段对数字图像提取特征，同存储在主机中静脉特征值比对，采用复杂的匹配算法对静脉特征进行匹配，从而对个人进行身份鉴定，确认身份。全过程采用非接触式。 3.虹膜识别 虹膜是位于人眼表面黑色瞳孔和白色巩膜之间的圆环状区域，在红外光下呈现出丰富的纹理信息，如斑点、条纹、细丝、冠状、隐窝等细节特征。虹膜从婴儿胚胎期的第3个月起开始发育，到第8个月虹膜的主要纹理结构已经成形。除非经历危及眼睛的外科手术，此后几乎终生不变。 虹膜识别通过对比虹膜图像特征之间的相似性来确定人们的身份，其核心是使用模式识别、图像处理等方法对人眼睛的虹膜特征进行描述和匹配，从而实现自动的个人身份认证。英国国家物理实验室的测试结果表明：虹膜识别是各种生物特征识别方法中错误率最低的。从普通家庭门禁、单位考勤到银行保险柜、金融交易确认，应用后都可有效简化通行验证手续、确保安全。如果手机加载“虹膜识别”，即使丢失也不用担心信息泄露。机场通关安检中采用虹膜识别技术，将缩短通关时间，提高安全等级。 4.视网膜识别 视网膜是眼睛底部的血液细胞层。视网膜扫描是采用低密度的红外线去捕捉视网膜的独特特征，血液细胞的唯一模式就因此被捕捉下来。视网膜识别的优点就在于它是一种极其固定的生物特征，因为它是“隐藏”的，故而不可能受到磨损，老化等影响;使用者也无需和设备进行直接的接触;同时它是一个最难欺骗的系统，因为视网膜是不可见的，故而不会被伪造。另一方面，视网膜识别也有一些不完善的，如：视网膜技术可能会给使用者带来健康的损坏，这需要进一步的研究;设备投入较为昂贵，识别过程的要求也高，因此角膜扫描识别在普遍推广应用上具有一定的难度。 5.面部识别 面部识别是根据人的面部特征来进行身份识别的技术，包括标准视频识别和热成像技术两种。 标准视频识别是透过普通摄像头记录下被拍摄者眼睛、鼻子、嘴的形状及相对位置等面部特征，然后将其转换成数字信号，再利用计算机进行身份识别。视频面部识别是一种常见
融合语音信号和脑电信号的多模态情感识别情感识别是实现机器智能化的关键技术之一,它通过对人类情感 的研究与分析,可以使机器理解人类情感并按照人类意愿完成相关指令。在众多的情感信号中,语音信号是最直接且最有利的表达方式, 而脑电信号可靠性强且采集方便简单,二者对于情感识别相辅相成。 本文结合语音信号和脑电信号构造了多模态情感识别系统,分析了语 音信号和脑电信号与情感之间的关系,提取了二者表征情感差异度的 有效情感信息,采用特征融合和决策融合技术构建了多模态情感识别 系统,并通过对比实验验证了多模态情感识别系统的可靠性和鲁棒性。论文研究内容及创新点如下:(1)详细介绍了语音情感识别系统的构成。根据语音信号的语速、音调、自然度、清晰度等基本特性提取了语音信号的传统特征;从语音信号的属性特性和几何结构两方面分析 并提取了表征情感信息的非线性特征;选取TYUT2.0为语音情感数据库,采用支持向量机(Support Vector Machine,SVM)进行情感判别, 实验结果证明,以语音信号为载体的情感识别系统可以有效的实现情 感分类。(2)提取了新的情感脑电特征并构造出有效情感特征子集。 针对脑电信号的非线性特性,利用相空间重构技术通过对相空间中几 何结构的分析提取了新的情感脑电特征,即脑电信号的非线性几何特征。通过特征融合方法将其与功率谱熵以及非线性属性特征进行融合,获得了脑电信号能表征情感差异度的有效情感特征集合。利用SVM进行情感分类,结果表明,本文提取的非线性几何特征可以有效地弥补 非线性属性特征对脑电信号非线性特性表征上的不足,结合功率谱熵
构造的情感特征集合能更好的描述情感之间的差异性。(3)通过特征融合技术构造了多模态情感识别系统。针对语音信号和脑电信号提取的情感特征,本文采用三种不同的特征融合的方法(限制玻尔兹曼机、局部线性嵌入算法、多维尺度变换算法)构造了多模态情感识别系统,在降低计算复杂度的同时去除了二者特征之间的冗余信息。通过与单种情感信号的情感识别系统性能对比,结果表明,特征融合方法构建 的多模态情感识别系统情感识别性能更优。(4)提出二次决策融合算法,构建了多模态情感识别系统。鉴于语音信号和脑电信号情感特征提取类型的相似性,本文提出了二次决策融合算法,构建了多模态情 感识别系统。将两种情感信号的同类型特征(基本特征、非线性属性和非线性几何特征)分别结合并采用不同的分类器进行情感识别;利 用DS证据理论将非线性属性和非线性几何特征识别结果进行融合获得非线性综合特征识别结果;通过投票法将基本特征与非线性综合特征情感识别结果融合得到最终的多模态情感识别结果,实验结果证明,二次决策融合算法构建的多模态情感识别系统相比单模态情感识别 系统识别率更高。
龙源期刊网 https://www.doczj.com/doc/cc15167305.html, 多模态话语分析理论在新媒介时代的应用 作者：李妙晴 来源：《学理论·下》2009年第06期 摘要:20世纪90年代西方兴起的多模态话语分析,逐渐成为语言学研究的新热点之一。通 过回顾其在国外和国内的发展历史,重点解释了多模态话语与社会符号学的关系,并展望未来发展方向。 关键词:多模态话语分析;新媒介时代;社会符号学 中图分类号:H04文献标志码:A 文章编号:1002—2589(2009)14—0204—02 一、多模态话语分析理论 朱永生(2007),只使用一种模态的话语叫做“单模态话语”;同时使用两种或两种以上模态的话语叫做“多模态话语”。新媒介时代,语篇呈多模态化,20世纪90年代西方兴起的多模态话语分析(multimodal discourse analysis)为由多种符号组成的语篇分析提供了途径,帮助读者了解不同模态作为社会符号,如何共同作用构成意义,达到意义潜势,对提高人们多模式话语识读,具有积极的意义。多模态话语分析属于社会符号学的分支,Halliday的系统语言学作为基础,具有跨学科、应 用性强特点,能运用在语音文字、建筑、城市设计及规划、影视戏剧、音乐、PPT、教学和数据库广告、网站页面设计、大型演出及舞台表演、排版、音乐、教科书设计、教学等多领域,与 传媒学、批评话语分析等有紧密联系,已经影响了当今很多学科的研究方向,如阅读写作能力教育、传媒话语分析、文化研究等,对社会的经济能起直接的指导作用。该理论无论在国外还是 在国内都处于起步阶段,在国外已经有出版书目和召开国际会议,李战子(2003)首次引入了多模 态分析理论。 朱永生(2007),几个关键字的概念,模式(mode)、媒介(medium)与模态(modality)。模式指系 统功能语言学与话语范围(field)和话语基调(tenor)并列的语境三要素之一的话语模式,指交流渠道,如口头、书面、电子等。模态(modality)原指语言系统中讲话者对事物的或然性进行判断和事物的必要性表明态度的语义系统情态;这里指交流的渠道和媒介,包括语言、技术、图象、颜色、音乐等符号系统。媒介是表达信息的物理工具。采用某一种媒体仍可以有不同模式表达信息,同样的模式可以用不同媒体表达。 二、研究现状 辛志英(2008)大致有:社会符号学流派,包括O’Toole、Kress、Leeuwen、Lemke、 O’Halloran、Baldry Thibault和Ventola等;交互社会学流派,包括Scollon、Norris及Jewitt等;认知学流派,主要有Forceville和Holsanova等人。
ISSN 100020054CN 1122223 N 清华大学学报(自然科学版)J T singhua U niv (Sci &Tech ),2008年第48卷第S 1期 2008,V o l .48,N o .S 119 27 7152719 自适应权重的双模态情感识别 黄力行, 辛 乐, 赵礼悦, 陶建华 (中国科学院自动化所,模式识别国家重点实验室,北京100080) 收稿日期:2007209210 基金项目:国家自然科学基金资助项目(60575032); 国家“八六三”高技术项目(2006AA 01Z 138) 作者简介:黄力行(1984—),男(汉),江西,硕士研究生。通讯联系人:陶建华,副研究员,E 2m ail :jh tao @nlp r .ia .ac .cn 摘 要:情感识别是人机交互领域的重要问题之一。语音和脸部肌肉动作信息是用于情感识别的2个最重要的模态。该文认为,在双模态情感识别中,给不同的特征赋予不同的权值有利于充分利用双模态信息,提出了一种基于 Boo sting 算法的双模态信息融合方法,它能够自适应地调整语音和人脸动作特征参数的权重,从而达到更好的识 别效果。实验表明,该方法能够更好地区分易混淆的情感状态,情感识别率达84%以上。关键词:双模态情感识别;Boo sting 算法;自适应权重中图分类号:T P 3 文献标识码:A 文章编号:100020054(2008)S 120715205 B i m oda l em otion recogn ition ba sed on adaptive we ights HUANG L ixing ,XI N Le ,ZHAO L iyue ,TAO J ia nhua (Na tiona l Labora tory of Pa ttern Recogn ition ,I n stitute of Auto mation , Ch i nese Acade m y of Sc iences ,Be ij i ng 100080,Ch i na ) Abstract :Emo ti on recogn iti on is one of the mo st i m po rtant issues in hum an 2computer in teracti on s (HC I ).T h is paper describes a bi m odal emo ti on recogniti on app roach using a boo sting 2based fram ewo rk to au tom atically deter m ine the adap tive w eigh ts fo r audi o and visual featu res .T he system dynam ically balances the i m po rtance of the audi o and visual features at the feature level to ob tain better perfo rm ance .T he track ing accu racy of the facial featu re po ints is based on the traditi onal KL T algo rithm in tegrated w ith the po int distribu ti on model (PDM )to gu ide analysis of the defo r m ati on of facial features .Experi m ents show the validity and effectiveness of the m ethod,w ith a recogniti on rate over 84%. Key words :b i m odal emo ti on recogniti on;boo sting;adap tive w eigh ts 近年来,情感识别的研究工作[1-9] 在人机交互领域中已经成为一个热点。过去很多的工作都是集 中在如何通过单模态的信息[5,10-13] ,如语音或者人脸表情,得到当前对象的情感状态。仅仅通过单模态信息来识别情感有很多的局限性,因为人类是通过多模态的方式表达情感信息的。最近,基于多模态,尤其是基于语音和人脸表情双模态的情感识别技术得到了很大的发展。 目前,融合多模态信息的方法主要有2种:决策层的融合和特征层的融合。决策层的融合技术是先把各个模态的信息提取出来,输入相应的分类器得到单模态识别结果,然后用规则的方法将单模态的结果综合起来,得到最终的识别结果;特征层的融合方法则是将各个模态的信息提取出来,将这些信 息组成一个统一的特征向量,然后再输入到分类器中,得到最终的识别结果。这2种方法各有优缺点。决策层的融合技术考虑了不同模态对于情感识别重要性的不同,如文[6]认为,在识别不同情感的时候,语音和人脸表情的重要性不同,因此他们通过主观感知实验给语音和人脸表情信息赋予不同的权重。但是这种通过主观感知实验得到的权重能否应用到其他的情况下是值得怀疑的。特征层的融合技术更接近人类识别情感的过程,能更好地利用统计
生物特征识别技术的发展方向和市场前景 各种生物特征识别技术，虽然这些技术能很好地解决传统安全保护方式存在的隐患，提供了相对方便、快速、准确的身份识别方法，但与此同时，这些单一的技术也存在着各自的缺点。就拿指纹识别来说，人们会突然失去可用的指纹，如手指过湿、过干或出现手指暴皮等特征损伤时，或者手指有污物，指纹图像会变的破损或模糊，这样成功比对的可能性就会降低，识别率会大幅度下降。而且这类情况在现实中是比较常见的如在煤矿里等。其他识别技术也有各自不同的缺点。 因此，生物特征识别领域又出现了一种新的方向，即多种生物特征识别技术结合使用。在国外，德国知名的法兰富尔协会研发了一种多重模板识别系统，DCSAG公司采用这种方法开发了身份识别系统BioID，提出了全方位生物特征识别的观点。在我们国内，也有不少的研究机构开始研究基于多特 征的识别技术。比如近期清华大学研制的TH．ID多模生物特征(人脸、笔迹签字、虹膜)身份识别认证系统，就是融合了人脸、笔迹和虹膜三种特征，因此识别率也很高。以后的研究，也将走这样的路线，即：将手指静脉和指纹两种特征结合起来以提高识别率和系统的稳定性。 近几年来，全球的生物特征识别技术已从研究阶段转向应用阶段，对该技术的研究和应用正进行的如火如荼，前景十分广阔。利用生物识别技术，使我们的日常生活更为方便、安全。这种新方法将在信息社会中起到越来越重要的作用，成为将来的主要发展方向。可见，人体生物特征识别是～项发 展前景极好的高新技术。逐渐被一些机构和消费者采用，成为一种越来越受欢迎的安全保障措旋，使得这项技术有着巨大的市场潜力。． 2006年1月，国际生物特征组织IBG(International Biometrie Group)最新的《2006．2010年生物识别市场研究报告》中给出的数据,如图1．1～1．4所示。 预计，受大量的政府项目等推动，全球生物识别产值将从2006年的$2．1B(billion)增长至2010年的$5．7B(billion)；2006年，指纹识别有望占到生物识别市场43．6％的份额，面部识别约占19％。亚洲和北美将有望成为全球最大的生物识别市场。各种生物识别应用系统的产值估计会占到整个生物识别市场(包括相关的设备生产、系统开发等)的产值的5％。 产业预测表明整个生物特征市场会继续增长。其中指纹识别市场仍然占据主导地位，如图1．3 和1．4所示。随着科技的进步，特别是那些具有更高的识别性能的生物特征识别技术的发展，相信这种状况会改变的。 可以预见在不久的将来，生物特征识别技术必将越来越广泛地应用于生活和工作各个领域。从过去的10年的市场情况来看，指纹、人脸和掌型识别技术应用最为广泛，指纹识别占据了更大的优势，看起来用手作为生物特征识别的手段更易为大众所接受。国内市场上主要的生物特征识别产品基本上都是基于指纹识别技术的产品，而且已经应用到了很多的方面。另外几种被看好的技术是静脉、语音以及虹膜识别技术。 几种典型的生物特征识别技术 (1)指纹识别 每个人(包括指纹在内)皮肤纹路在图案、断点和交叉点上各不相同，也就是说，是唯一的，并且终生不变。依靠这种唯一性和稳定性，我们就可以把一个人同他的指纹对应起来，通过比较他的指纹和预先保存的指纹进行比较，就可以验证他的真实身份。这就是指纹识别技术。作为生物特征识别的
生物特征识别技术的发展趋势 随着信息社会对个人身份认证与管理需求的不断增长，生物特征识别技术及其相关产品已经大量地进入到了社会生活的各个方面，为不断提高人类生活的品质做出了贡献。但是，生物特征识别技术在实际的应用过程中也出现了一些问题，同时，人们针对目前已经得到广泛应用的一些生物特征识别技术也提出了的质疑与挑战。例如，人体指纹可以比较容易地被复制与伪造，从而存在利用伪造的指纹副本对指纹识别系统进行欺骗的可能性。而且，通过一定的技术手段获取人体指纹进行伪造的难度并不大。2006年，美国的科普节目MythBusters利用一种模仿人体组织特性的凝胶材料制作了人体的指纹副本，然后利用这个伪造的指纹副本成功地通过了指纹识别系统的认证。在2009年，Duc Nguyen更是非常容易地利用一张真人大小的黑白图片通过了联想笔记本所用的人脸识别系统的用户登录认证。 为什么会出现这样的问题呢？首先需要从生物特征识别技术的原理谈起。生物特征（这里特指人体的生物特征）之所以能够作为个人身份鉴别与识别的有效手段，这是由其自身所具有的四个特点所决定的：普遍性、唯一性、稳定性和不可复制性。生物特征的普遍性与唯一性在多数情况下可以得到满足，而稳定性和不可复制性则因各种生物特征的自身特点而有所不同。而且，受限于传感器与生物特征识别算法的性能，生物识别系统在识别精度与防伪性能上将会有所下降。例如，在理论上，只要人体面部细节特征足够多，那么即使是双胞胎也可以进行区分。实际上，对于一个现实的生物识别系统而言，要做到这点几乎是不可能的。但是也没有必要太过悲观，人们可以通过采取多种生物特征相融合的识别方式，即多模态识别来提高系统的精度和保证系统防伪性。未来生物特征识别技术的发展趋势大致可分为三个方向：多模态、非接触和网络化。 多模态：采用多模态生物特征融合技术可以获得比单一生物特征识别系统更好的识别性能和可靠性，并增加伪造人体生物特征的难度与复杂性，提高系统的安全性。多模态生物特征识别技术是指综合利用来自同一生物特征的多种识别技术，或者来自不同生物特征的多种识别技术，对个人身份进行判断的生物特征识
基于多模态融合的情感识别研究 多模态情感识别在情感计算中是一个具有挑战性的课题,因为从多模态数据中提取出具有判别性的特征来识别人类情感中的细微差 距仍有很高的难度。当前的研究中,基于现有的三种多模态融合的策略:特征层融合、决策层融合和模型层融合提出的算法都是偏向浅层的特征融合方案,容易造成联合特征表达的判别性不足。而设计精巧的融合模型或大型神经网络由于复杂的设计和庞大的参数,又使得特征提取的耗时过长。为了解决多模态联合特征判别性不足和特征提取耗时之间的矛盾,本文提出了一种深度模态融合的网络模型来完成多模态数据融合的情感识别任务。该模型首先利用滑动窗口将音视频信号切割成数据片段,获得最小边框标记的人脸关键帧图像和语音信号的三维梅尔倒频谱,对两路输入信号分别使用带残差的深度方向可分离的卷积核进行特征提取和特征融合,最后在联合特征上训练分类器,实现包括喜悦、悲伤、惊喜、厌恶、愤怒、恐惧和正常在内的七种不同情感的分类任务。本文在RML、eNTERFACE05和BAUM-ls音视频情感识别公开数据集上进行了训练和测试,实验结果取得了较好的分类效果。为了能够拓宽情感识别技术在各个领域中的应用,本文设计并实现了一个多模态情感识别分析系统,系统包含了数据采集输入、数据预处理、情感识别算法、数据分析计算、前端可视化和系统管理等六个模块。该系统可以根据数据模态的不同,选择不同的识别算法, 实现对离线图片、音频、视频文件等多种模态数据的情感识别,支持对视频数据进行视频情感成分分析和实时视频情感识别两类任务。本
文对该系统进行了详细的设计和实现,测试了系统各项功能,并将系 统应用于社交媒体中的视频观点分析和医疗康复中的视频识别辅助。
嵌入式多模态生物特征识别系统设计 本文主要针对嵌入式多模态生物特征识别系统设计进行重点探讨和分析，以此能够更好地体现出基于生物特征的身份鉴定技术。 标签：多模态；嵌入式系统；生物特征识别 所谓的生物识别技术就是指通过对多个高科技手段技术的有效应用，即计算机与光学、声学、生物传感器及生物统计学原理等，借助人体本身所具有的生理特征，来对个人身份进行鉴定。 一、嵌入式生物特征识别系统的总体设计 （一）嵌入式系统概述 随着近几年我国社会经济的不断发展，计算机和网络的应用越发广泛。而其中所包含的各种嵌入式系统设备在应用数量上明显超过通用计算机，使得任何人在日常生活和工作中都能够拥有嵌入式技术的相关电子产品，如MP3、PDA等。 （二）嵌入式系统的特点 （1）嵌入式系统通常是面向特点而应用的。其中，CPU与通用型存在明显的差异，也就是嵌入式系统具有低功耗、体积小以及集成度高的特点，能够按照要求将通用CPU中由板卡所完成的任务集成在芯片内部，進而使得嵌入系统在设计上更加小型化。（2）嵌入式系统是将先进的计算机技术、半导体技术和电子技术与各个行业中的实际应用结合后的产物。（3）嵌入式系统的相关硬件和软件设备在设计上具有高效率，促使其在实际应用中所选择的处理器具有一定的竞争力。 （三）嵌入式系统的选型 1.嵌入式芯片的选择 众所周知，嵌入式系统的核心就是处理器。在传统嵌入式处理器中，主要是根据具体应用而分为两类，分别是以单片机为主的微处理器和注重数字化后的各种快速算法的数字信号处理器DSP。对于单片机为主的微处理器，在此类芯片产品中，只有8/16位的单片机，具体指Intel的80C51等。该单片机在特征上具有体积小、指令系统简单以及抗感染能力强等。而后者主要应用在大量数据计算的领域中。 2.嵌入式操作系统的选型 近几年我国社会经济的不断发展，推动了嵌入式技术水平的提升。而对实际
ISO联手IEC发布多模态生物特征识别技术方案 比利是法国人，受雇日本某实验室已经有3年的时间了，但前天他被自己的实验室拒之了“门外”，原因并不是“他被解雇了”。 这一切都是感冒惹的祸。比利介绍，因为感冒，他的声音发生了变化，安装有生物特征识别系统的实验室的门“听”不出了他的声音，因而一直拒绝给他开门。 现在，国际标准化组织（ISO）和国际电工委员会（IEC）正在谋求解决比利遇到的此类麻烦。 日前，由ISO和IEC联合公布的《信息技术—生物特征—多模态和其他多生物特征融合》（ISO/IECTR24722∶2007），为比利提供了技术解决方案。该方案能融合多种生物指令，将相同身份的多种证据输入传感器，如除了输入声音外，还可以将比利的脸、指纹和手的几何特征等输入传感器，以保证在一种生物特征失真的情况下，即使像比利声音失真，传感器还能够对他输入的脸、指纹等“验明正身”。
“基于多模态或多生物特征融合的解决方案代表了一个新兴趋势，某些应用承诺会比单一方法的识别系统具有更好的技术性能。”开发该新技术报告的小组委员会主席费尔南多·珀迪尔（音译）这样说道：“这项最新的ISO/IEC技术报告提供了多模态和其他多生物识别系统的总的概述，并给出了关于多生物特征融合的一个参考——标准的开拓者和生物特征识别系统的实施者需要一种以上的生物模态。” 这项新技术报告由ISO/IEC联合技术委员会JTC1、信息技术小组委员会SC37（生物特征研究）组织编写。 新的ISO/IECTR24722∶2007包含了目前就多模态和多生物特征融合做法的描述和分析，它还研讨了需求、可能的路径和标准化来支持多生物特征识别系统，以提高其通用性和实用性。 生物特征识别系统是利用个人特征来鉴别或验证用户身份的。如果有生物特征被察觉或检测到是“有噪音的”（比如指纹中带有疤痕或者因感冒而改变声音时），这个生物特征识别系统的性能可能会受到损害，此时的匹配评分计算是不可靠的。这个问题可以通过安装多种传感器捕捉不同的生物特征来解决，这也被称为生物特征融合或多模态生物特征识别系统。 例如，语音、虹膜（是指眼睛带有色彩的部分）和面部识别，加上指纹和手
基于多模态融合的情感计算研究 移动终端和智能设备目前与人类生活、学习和工作息息相关,基于智能设备的情感计算技术已成为国内外学者的研究热点。随着人口老龄化趋势加剧,老年人的家庭护理需求日益增多,通过对老年人的情感状态、行为姿态进行研究可以更好的理解和关注老年人的身心健康。利用情感计算可以建立和谐的人机环境,但是目前情感计算仍存在一些急需解决的问题,在行为姿态识别中,虽然选择手机传感器的底层统计特征对人体行为进行识别可取得较好效果,但是这些底层特征忽略了行为的高层语义表达,对训练集中有限样本行为的识别率较差。而在情感识别中,人的情感在表达时由生理、心理、表情和音调等多个模态信息共同组成,使用单模态进行情感识别时,由于情感表示信息不足容易导致一些情绪的识别率较差等问题。针对以上两种分类识别所面临的问题提出两种识别方法,主要工作包括如下两方 面:(1)针对现有日常行为识别中跌倒样本采集困难,跌倒行为样本规模较少导致识别率较差的问题,提出一种基于低层特征与高层语义的人体行为识别方法。该方法引入语义属性特征以便在某些行为样本较少的情况下能够共享行为之间的低层特征信息,通过构建属性-行为矩阵,利用低层特征信息训练语义属性检测器,得到语义属性特征,对属性特征与低层特征分别进行预分类,融合两种特征的预分类结果得到最终判决的人体行为类别。实验结果表明,与过采样算法、欠采样算法和最小二乘支持向量机相比,本文所提方法获得了更好的分类结果。(2)一般多模态特征融合方法仅通过简单的拼接来组合特征,或将
所有模态信息直接利用深度模型进行融合,这样会导致特征冗余和关键特征不足等问题,本文提出多模态深度信念网络对各模态特征分别进行融合,以解决所有模态直接融合后进行特征选择带来的实验成本过高的问题,并提高各情绪识别性能。通过多模深度信念网络优选生理信号和视频信号的初始特征,再利用双模深度信念网络将各模态统一结构化的特征进行融合,得到多模态高层表示特征,利用支持向量 机对该特征进行分类识别。在The BioVid Emo DB数据集上对高兴、难过、生气、恐惧和厌恶这五种情绪的平均识别率是80.89%,实验表明该方法在降低融合成本的同时,对多模态情绪识别性能也有较好的改善。
摘要:生物特征识别技术是利用人的生理特征或行为特征,来进行个人身份的鉴定。文章论述了现有得各种生物特征识别技术的原理,特征的优缺点,介绍生物特征识别技术的发展趋势。 关键词:身份鉴别;人体生物特征;发展趋势 1. 引言信息化高速发展的一大特征是个人身份的数字化和隐性化, 如何准确鉴定一个人的身份,保护信息安全是当今信息化时代必须解决得一个关键性社会问题。生物特征身份鉴别技术是身份鉴别领域的一个研究热点。生物特征识别技术是指利用人体固有的生理特征或行为特征来进行个人身份鉴别认证的技术。生物特征识别技术包括采用人体固有的生理特征(如人脸、指纹、虹膜、静脉、视网膜进行的身份认证技术和利用后天形成的行为特征(如签名、笔迹、声音、步态进行的身份认证技术。与传统的身份鉴定手段相比,基于生物特征识别的身份鉴定技术具有如下优点:(1不会遗忘或丢失; (2防伪性能好,不易伪造或被盗; (3 “随身携带” ,随时随地可用。正是由于生物特征身份识别认证具有上述优点,基于生物特征的身份识别认证技术受到了各国的极大重视。 2. 生物特征识别技术的现状及发展趋势目前, 常用的生物特征识别技术所用的生物特征有基于生理特征的如视网膜、人脸、指纹、虹膜,也有基于行为特征的如笔迹、声音等。下面就这些常见的生物特征识别技术的特点及其发展趋势进行讨论研究。 2.1. 视网膜识别人体的血管纹路也是具有独特性的,人的视网膜表面血管得图样可以利用光学方法透过人眼晶体来测定。用于生物识别的血管分布在神经视网膜周围,即视网膜四层细胞得最远处。如果视网膜不被损伤,从三岁起就会终身不变,如同虹膜识别技术一样,视网膜扫描可能具有最可靠,最值得信赖得生物识别技术,但它运用起来的难度较大。视网膜识别技术要求激光照射眼球的背面以获得视网膜特征得唯一性。视网膜技术的优点:视网膜是一种及其固定得生物特征,因为它是隐藏的,故而不易磨损,老化;非接触性得;视网膜是不可见得,不会被伪造。缺点是:视网膜技术未经过任何测试, 可能会给使用者带来健康的损坏。 2.2. 人脸识别人脸识别作为一种基于生理特征的身份认证技术,与目前广泛应用的以密码、 IC 卡为媒介的传统身份认证技术相比,具有不易伪造、不易窃取、不会遗忘的特点;而人脸识别与指纹、虹膜、掌纹识别等生理特
多模态生理信号情感识别研究 随着计算机和信息技术的发展,具有识别人类情感能力的机器能够显著提高人机交互的用户体验,为人机交互提供一个平滑自然的接口。在此背景下,情感识别受到了学术界和工业界的广泛关注,并在医疗护理、远程教育、智能机器人、智慧社区等应用方面得到广泛开展。相较于表情和语音等外在生理指标,自主神经系统(ANS)活动在情感表达上的客观性表明,生理信号能够更加客观地反应用户内心的真实情感体验,为情感状态的分析和识别提供了一条重要的线索,基于此,本文围绕基于生理信号的情感识别中存在的若干关键问题开展一系列的研究,其主要研究内容如下:为了探究情感表达在生理上的反应模式,本文设计了情感诱导的实验范式。通过观看情感诱导视频的方式,有效地唤起了30名被试者平静、悲伤、恐惧和高兴四种常见的基本情绪,并使用BIO PAC 150多导生理信号记录仪记录了被试在四种诱导情绪下的心电信号(Electrocardiogram,ECG)、皮肤电反应(Galvanic Skin Reaction,GSR)和光电脉搏信号(Photoplethysmographic,PPG)。通过回看视频自评价结合情绪表现时记录的表情和语音信息对录制的情感数据进行标注,保证了情感标注的准确性,最后,本文对标注好的情感数据进行了预处理、特征波形点检测和提取特征,最终形成多模态情感生理数据库。针对个体生理反应差异对用户独立模型(User-Independent Model)场景下情感识别系统性能的影响,本文根据生理心理学中个体反应特异性(Individual Response Specificity,IRS)和刺激反应特异性
第２４卷第１０期２０【】７年ｌＯ月计算机应用研究 Ａｐｐｌｉｃ砒ｉｏｎＲｅｓ㈣ｈｏｆＣ（】ｍＩｍｔｅ鸺Ｖｏｌ＿２４Ｎｏ１０Ｏｃｔ．２００７ 人耳和侧面人脸融合的多模态身份徐晓娜，穆志纯 （北京科技大学信息工程学院自动化系，北京１０００８３） 识别。 摘要：首先分别对人耳和侧面人脸建立基于全空间线ｒ｝生判别分析（Ｆｓｕ）Ａ）的分类器；然后采用贝叶斯决策理论中常见的积、和、中值多分类器融合算法，并对投票算法进行了改进。实验结果表明，与单一的人耳或侧面人脸特征识别比较，人耳和侧面人脸融合的多模态识别率得到提高，并扩太了识别范围。 关键词：人耳识剐；垒空间线胜判别分析；决策层融合；多模态识别 中图分类号：ＴＰ３９１４ｌ文献标志码：Ａ文章编号：１００１－３６９５（２００７）１０一０１６９一０３ ｎｌｓｉｏｎｉｎｍｕｌｔｉｍｏｄａｌｒｅｃｏｇｎｉｔｉｏｎｕｓｉｎｇｅａｒａｎｄｆａｃｅｐｒｏｆｉｌｅ ＸＵＸＩａｏ＋ｎａ．ＭＵＺｈｌｃｈｕｌｌ （脚“矿＾山Ｈｍ㈣｝，鼬帅ｆ矿蜘㈨帆￡‘ｗ…Ⅲｗ，“删可０，＆…＆Ｔ“ｌｎｏｆｏ∥删皑，目ｅ扣ｇ１０００８３，ｃ＾ＩＭ）Ａ脚ｍｃｔ：ｎＨｔ，佃Ｉｙｔｈｅ■ｃ。ｐｍｎｌｅｌｌｎ８９删ｓ甜南㈣ｏｇｎｌｔｌｏⅡ１ｎｃｌｕｄｌ“ｇｅ”Ｐ３ｎＴｌⅫ川ｃｌａｓｓｌ６ｅｒ ａｎｄｈｃ。ｐ耐ｉｌｅｃＩａｓ。８ｉ“ｅｍｐｐｌｍｄｂｒｔｈｅｂａｓｅｄｏｎｆｕＩＩ５ｐ∽ｅｌｉ…ｒｄｌｓｃｎｎｌｉｎａｎｔａｎｄｙ８ｉｓ（ＦｓＬＤＡ）㈣ｎｅｘＩｆｕｓｌｏｎＦｌｎａｕｙｄｃｃｌｓⅢ１ｆｕｓｌ…ｆｅ盯ａｎｄｆａｃｅｐｗｎｋ…ｌ甜ｍ】ｔＩｌ异１”ｇｔｈｃｕｍｂｌｍＩｉｍｌ ｍｅｍｏ出甜ｐｍｄｕｃｔ，ｐ㈣ｌｅｄｓ“Ⅲａｎｄｍｅｄｌａｎｍｌｅ㈨ｃｏｒｄｉ“ｇｔｏｔｈｅＢ８ｙｐ ｓｌｍｌｆｈ哪ａｎｄ㈣ｏｄｌ６ｅｄｗｔｅｎｌｌｅ南ｒｌｗｏｃｌａｓｓｉ６ｅｒｓ．哪㈣ｓＩｌｌｔｏｆｅｘｐ…Ｉｌ【ｓｈｏｗｓｔｈｎｔｈｅｒｅｃｏ卯ｉｔｌ呷ｒａｔｅｉｓｈｉｇｈｅｒｔｈａｎ ｔｈ“０ｆｔｈｅｒｅｃｏｇ“ｉｔｉｏｎａｄｏｐ【１１培ｔｈｅｓｌｎ—ｅ侣ａｔｕｒｅｓ，ａｎｄｔｈｍｔｈ㈣ｃｏｇｎｉ【ｉ…ａｎｇｅｉｓ １８蜡。Ｔ【ｌｌａｎ由毗ｏｆｂｎ山ｓｌｎ西ｅｒｎｏｄａｍｙ Ｋ昭ｗｏｒｄｓ：ｅａｒｆｅｃｏｇｎｌｔｉｏｎ；瑙ｕ）Ａ（ｍｕ一８ｐａｃｅｌｉ…ｒｄｌｓ（‘ｒｉ肌ⅢＬａｎａ】ｙｓｌｓ）；ｄｅｃｌｓｌｏｎｆｕ咖；Ⅱｍｌ【ｌｎＷｄａｌＴｅｃｏ印ｉｔｉｏｎ 近年来，国内外研究者针对几脸识别、出态识别等无须被识别者配合的被动式识别和指纹识刷、虹膜瑷别、掌纹识驯等需要被识别者配台的主动式谚ｌ别开展了大量的学术研究。但 每一种生物识别技术在准确率、用户接受程度、成本等方面都 不同，都有其自身的优势和块点，很难满足实际应用的要求。 例如，声纹”会随着人身体健康状况的变化而变化，有的人的指纹特征难以提取，腧像会由于化妆、表情的变化而变化等， 在达样的背景下，基于多种牛物特赶的识别技术应运而生。通 过多生物特征融合的方法，可捉高系统的识别率，增强系统的安全级刷，并且可Ｕ扩腱系统的适用范围，因而具有良好的应 用前景㈠。人耳识别足近年来新兴的ＪＥ打扰生物特征识别技术。研究表明，南于人耳的生理特征结构、位置及其惟一性和稳定性的特点，使人耳识别成为一种与人脸、虹膜识别等同样重要的、可相互补充和结合的识别技术２。人脸是一种最自然、最直观，也最容易被接受的非打扰识别掌物特征。但几脸在识别中存在易变性，即易受表情、化妆、时间等的影响。将人耳和人腧融合，吲望为非打扰识别方法提供条新途径。另外，由于人耳和人脸特殊的生理位置关系，住数据采集过程中，ＩＵ仅提取人脸侧面的图像，对人耳和侧面人ｊ垃图像进行融合。鉴于此，本文提出从人耳和侧面人脸融合的角度研究多模悉乍物特征的融合。图像信息融合按信息抽象程度的不同町分为四个从低到高的层次，即数据层融合、特征层融合、匹酣层融台和决策 层融合。这里采用决策层融合。央策层融合是在高层次上进行，所需要处理的数据量小，识别的速度较高。。人耳和侧面人腧决策屡融合的多模态身份识别系统如同ｌ所示。 图１＾耳和侧而人脸决策层融合的多模志身份识别系统１基干人耳和侧面人脸融合的身份识别系统１１人耳和侧面人脸分类器设计 系统首先采集包含人耳的侧面人脸图像，从侧面人脸图像中分割出人耳图像，对经过预处理和归一化后的人耳和侧面人脸均采片｛基于全空１１；ｉｊ线＿生判别分析算法扯取特征，对抽取到的特征秉硝最小距离分娄器进行阻别，从而完成人耳和侧面人脸币一生物特征ｃｆ｛别分类群酎没计。 １２基于全空间线性判别分析（ＦＳＬＤＡ）算法的特征提取１２１ＬＤＡ算法 ＬＤＡ算法是一种摹ｒＦｉｓｈｅｒ准则的线性鉴别方法”１。它以样本的可分性为目标，爿找组线件变换，使每类的类内离散度最小，并Ｒ使类问的离散度达到最大。 Ｆ?ｓｈ盯准则函数定义为 』（“。。。）＝鹕…娃ｉ＂。鼠ｗＩ／坩Ｒｗｌ（１）其一ｈ最为类问离散度，它定义为 收稿日期：２００６—０８—１７；修返日期：２００６一ｌＯ－１３基金项目：国家自髂科学基金资助项目（６０５７３０５８） 作者简彳ｒ：徐晓娜（１９７９一），士，河南巩艾人，博士研完生，主要研究方向为模式识剐、生物特征识别（ｘｕ—ｘｉａｏｎａ＠１６３…），穆志纯（１９５２一），男 回旋），走津凡，教挫，博导．主要研究方向为模式识别、生物特征识别、过程控制、复杂系统的建模和控制 万方数据