多模态深度学习
————————————————————————————————作者: ————————————————————————————————日期:
Ｍuｌtｉmodal Deep Learniｎg（多模态深度学习)未完待续 原创20１6年０６月22日08:53:40 摘要： 本文提出一种在深度网络上的新应用，用深度网络学习多模态。特别的是，我们证明了跨模态特征学习——如果在特征学习过程中多模态出现了,对于一个模态而言，更好的特征可以被学习(多模态上学习，单模态上测试)。此外，我们展示了如何在多模态间学习一个共享的特征，并在一个特别的任务上评估它——分类器用只有音频的数据训练但是在只有视频的数据上测试（反之亦然)。我们的模型在CUAVE和ＡＶLeｔterｓ数据集上进行视-听语音分类,证明了它在视觉语音分类（在AＶＬｅtters数据集上)和有效的共享特征学习上是已发表中论文中最佳的。 1．介绍 在语音识别中,人类通过合并语音－视觉信息来理解语音。视觉模态提供了发音地方和肌肉运动的信息,这些可以帮助消除相似语音（如不发音的辅音）的歧义。 多模态学习包括来自多源的相关信息。语音和视觉数据在语音识别时在某个“中间层”是相关的,例如音位和视位;未加工的像素是很难与语音波形或声谱图产生相关性的。 在本文中,我们对“中间层”的关系感兴趣,因此我们选择使用语音－视觉分类来验证我们的模型。特别的是，我们关注用于语音识别的学习特征,这个学习特征是和视觉中的唇形联系在一起的。
全部任务可分为三部分－特征学习、有监督训练和测试。用一个简单的线性分类器进行有监督训练和测试，以检查使用多模态数据的不同的特征学习模型（eg:多模态融合、跨模态学习和共享特征学习...）的有效性。我们考虑三个学习布置——多模态融合、跨模态学习和共享特征学习。 （如图1所示）多模态融合:数据来自所有模态，用于所有模态。跨模态学习：数据来自所有模态,但只在某模态可用。共享特征学习：训练和测试用的不同模态的数据。如果特征可以在跨不同模态下捕获相关性，这会允许我们进行评价。特别的是，学习这些布置可以使我们评估学到的特征是否具有模态不变性。 接下来，我们描述模型的构造块。然后，我们实现了不同的使用深度学习的多模态学习模型,这些模型可以实现不同的多模态任务。最后,我们展示实验结果和总结。 ２．背景
生物识别技术所依据的技术原理 生物识别技术使用身份验证原理来识别个人，而不是依靠某个物品（例如钥匙）或者知道的信息（例如密码）。生物识别技术可以使用物理特征，例如脸形、指纹、虹膜或静脉；也可以使用行为特征，例如语音、笔迹或打字的节奏。与钥匙和密码不同，个人特征基本上不会丢失或遗忘，并且非常难以复制。因此，许多人认为生物识别技术比密钥或密码更加安全可靠。 生物识别技术和取证技术—生物识别技术与取证技术在许多方面存在共性，但它们并不完全相同。生物识别技术使用物理特征或行为特征来确定身份，或者确认您申明的身份。而取证技术则是在民事或刑事侦察中使用相同类型的信息来建立事实依据。 生物识别技术使用独一无二的特征（例如眼睛虹膜）识别个人 生物识别系统看起来非常复杂，但它们都会涉及以下三个步骤： 登记：当首次使用生物识别系统时，该系统将会记录有关人员的基本信息，例如姓名或身份证号码。然后将会捕获影像，或者记录具体特征。 存储：与电影中看到的相反，大多数系统并不存储完整的影像或记录，而是分析特征，然后将其转换成代码或图形。某些系统还能将这些数据记录在可随身携带的智能卡上。 比较：当下一次使用该系统时，它会将现有特征与文件中的信息进行比较，然后根据比较结果接受或拒绝身份申明。 这些系统均使用相同的三个组件： 传感器：检测用于识别的特征 计算机：读取和存储信息 软件：分析特征，将特征转换成图形或代码，并执行具体的比较
越来越多的家庭使用了生物识别安全系统（下图为IBM ThinkPad T43提供的指纹扫描仪） 笔迹 使用笔迹来识别用户似乎是不太可取的办法。毕竟许多人在经过一段时间的练习后，都可以模仿他人的笔迹。而且获得某人的签名或所需密码，然后进行模仿，也不是一件难事。但是，生物识别系统检测的不仅仅是每个字母的形状，它们还会分析书写动作。这些系统会核对您在书写时使用的压力、速度和节奏，并且还会记录笔画顺序。 这部平板电脑配有签名验证系统。 虽然字母只有简单的外形，但这些笔画特征非常难以模仿。即使其他人获得了一份签名并进行临摹，系统也不一定会接受其仿冒笔迹。有些笔迹识别系统的传感器包含一个触敏书写表面；或者包含一支扫描笔，该笔内部装有传感器，可以检测角度、压力和方向。软件能够将笔迹转换成图形，并且可以识别某个人在一段时间内，每日书写的细微变化。 确定精度—所有生物识别系统都使用了人体特征，而这些特征在某种程度上是独一无二的。哪种系统才是最好的系统，这取决于所需的安全级别、使用该系统的人数多少以及该系统的精度。大多数制造商使用类似于下面的度量值来描述其产品精度：
手静脉身份识别技术 0 引言作为一种迅速发展的生物身份识别技术，手静脉识别有着显著的优点：社会可接受，特征不易复制，比指纹受破坏的可能性更小，不易入侵，无明显的建康威胁，特征惟一性，低成本，精确快速，比签名和声纹等行为生物测量特征变化小。手静脉识别具有广阔的应甩前景。1 发展历史及研究现状 1983年，柯达公司在诺丁汉的雇员Joseph Rice在研究红外条形码技术时产生了利用人手背血管红外成像作为身份识别的想法，发明了手静脉特征识别技术，取名为Veincheck。然而柯达公司的主管认为此技术缺乏市场潜力并未采用。1987牟10月31日J．Rice获得此项技术的第一个专利(Patent #4699149，Apl3aratus for the identification of Individuals)。J．Rice将其发明授权给BTG(British Technology Group)负责专利的开发和管理，希望能在安防工业有所建树，但当时并未引起BTG足够的重视，开发进度缓慢。1990年J．Rice担心此发明被BTG拖延了时间而埋没，决心自己投入技术开发，此时BTG已安排英国前国家物理实验室科学家David Claydon开始了有关静脉结构的多样性和惟一性测试，J．Rice和David讨论后采用了Statistical Process Control(SPC)的方法进行生物身份识别。1991至1993年P．MacGregor，R．Welford，P.L．Hawkes和D．O．Clayden等人发表了3篇关于Veincheck的原理介绍性文章和技术报告，明确指出Veincheck是一种以手背静脉作为身份比对特征的生物识别系统。J．Rice于1994年发表名为“A Quality Approach To Biometrie Imaging”的文章简要的介绍了Vein-check的开发历程和相关算法。受当时技术条件的限制，J．Rice采集的图像质量很差，但测试效果仍然令人鼓舞，。1993至1995年间，澳大利亚的A．J．MeIinert，J．M．Cross and C．L．Smith开展了基于热成像的手背血管特征识别的研究。1998年BTG上市公司高级经理Eugene Sweeney撰文介绍了veincheck手静脉识别技术的优点：社会可接受，特征不易复制，比指纹受破坏的可能性更小，不易入侵，无明显的建康威胁，特征唯一性，低成本，精确快速，比签名和声纹等行为生物测量特征变化小。2000年，Veincheck的开发原型机在英国信息安全部门CESG／BWG的通用办公环境测试中表现平庸，此后没有发现有关Veincheck产品商用的报告。J.Rice研究宣传Veincheck技术的网站最后一次更新停留在了2000年。2007年这位手静脉识别技术的先锋撰文对此项技术的应用进展缓慢表示焦虑，建议开发可穿戴式静脉采集设备。 1992年，日本北海道大学生物工程系的K．Shimizu发表文章认为可以利用人体手血管红外成像作为身份识别依据，此文章被认为是日本和韩国进行手静脉识别技术研究的源头。1997年，韩国的BK System公司发布了亚洲第一个商用手背静脉识别产品BK-100，1998年H．S．Choi和BK System取得了美国专利，BK S-ystem又开发了BK200和BK-300两个改进产品，由于种种原因，1998年底，BK System的产品就停产了。2000年，BK System的一些成员组建了Techsphere公司，继续研发静脉识别产品，最终推出了VP-Ⅱ，。这期间他们发表了一些论文，在图像采集和滤波算法上都进行了改进，使用了组合常态滤波和增强滤波、基于静脉走向的方向滤波算法，报道称该研究采用10 000人进行了测试，FAR可提高到0．000 01，识别速度为0．1 s。VP-II在BK System产品的基础上重新设计，使用了当时最新的数字图像处理技术，采用红外光源补偿，改进了静脉特征的抽取算法，通过温度传感器检测防止欺骗，大大改进了可靠性并提高了性价比，同时声称适用于99．98％的人群。VP-n被成功应用于机场，银行和医院等单位。此时，为了绕开手背静脉识别的专利，在日本兴起了基于手掌静脉和手指静脉识别技术的研究和开发，M．Kono和N．Miura等人先后发表了关于手指静脉识别的文章。日立公司推出了系列手指静脉识别产品，。富士通公司则推出了手掌静脉识别产品。此后静脉识别技术的发展就进入了研究和产业化交织的状态。而且由于企业早
视觉诗40-Love多模态意义的构建 摘要：视觉诗有一般诗歌所没有的视觉效果，传统的单模态分析方法不能照顾这一特点，多模态话语分析理论为可视诗研究提供了一套同时分析视、听和文字互相兼容的系统研究体系。本文在此基础上，以系统功能语言学和多模态话语分析为理论框架，对Roger McGough的可视诗40-Love进行模态分解、单模态意义构建、多模态意义整合的尝试性研究。 关键词：多模态化；模态分解；单模态意义构建；多模态意义整合；视觉诗 1 引言 董崇选指出真正以“形”取胜的诗可以统称为“视觉诗”( visual poetry) 。它自诞生以来一直都是诗坛争议最多的一种诗歌形式，有人批评它不够严肃。针对于此，张旭红认为一种诗歌形式的成功与否不仅在于诗人的创作技巧，更在于读者的解读技能。传统的分析模式局限于单一的言语信息，忽视构成可视诗歌这一特殊文学形式的其他符号系统的分析，因而无法充分地诠释创作者的创作意图。而兴起于20世纪90年代的多模态话语分析理论为视觉诗的研究提供了一套同时分析视、听和文字互相兼容的系统研究体系。但目前国内外在该项研究中都刚刚起步，现有的研究主要集中在影视、多媒体、海报、视觉广告功能文体分析及口语的研究上，其中张旭红采用该理论对视觉诗歌Me up at does 作了大胆的尝试，并取得了成功。针对于此，本文以40-Love为例，并借鉴张先生研究模式尝试对其进行多模态的文体分析。 2 多模态话语分析综述 模态(modality)是指交流的渠道和媒介，包括语言、技术、图像、颜色、音乐等符号系统(朱永生2007)。多模态(multimodal)是指除了文本之外，还带有
什么是模态分析 模态分析是研究结构动力特性一种近代方法，是系统辨别方法在工程振动领域中的应用。模态是机械结构的固有振动特性，每一个模态具有特定的固有频率、阻尼比和模态振型。这些模态参数可以由计算或试验分析取得，这样一个计算或试验分析过程称为模态分析。这个分析过程如果是由有限元计算的方法取得的，则称为计算模记分析；如果通过试验将采集的系统输入与输出信号经过参数识别获得模态参数，称为试验模态分析。通常，模态分析都是指试验模态分析。振动模态是弹性结构的固有的、整体的特性。如果通过模态分析方法搞清楚了结构物在某一易受影响的频率范围内各阶主要模态的特性，就可能预言结构在此频段内在外部或内部各种振源作用下实际振动响应。因此，模态分析是结构动态设计及设备的故障诊断的重要方法。 模态参数 模态参数有：模态频率、模态质量、模态向量、模态刚度和模态阻尼等。 模态分析的经典定义 模态分析的经典定义：将线性定常系统振动微分方程组中的物理坐标变换为模态坐标，使方程组解耦，成为一组以模态坐标及模态参数描述的独立方程，以便求出系统的模态参数。坐标变换的变换矩阵为模态矩阵，其每列为模态振型 模态分析的基本过程 （1）动态数据的采集及频响函数或脉冲响应函数分析 1）激励方法。试验模态分析是人为地对结构物施加一定动态激励，采集各点的振动响应信号及激振力信号，根据力及响应信号，用各种参数识别方法获取模态参数。激励方法不同，相应识别方法也不同。目前主要由单输入单输出（SISO）、单输入多输出（SIMO）多输入多输出（MIMO）三种方法。以输入力的信号特征还可分为正弦慢扫描、正弦快扫描、稳态随机（包括白噪声、宽带噪声或伪随机）、瞬态激励（包括随机脉冲激励）等。 2）数据采集。SISO方法要求同时高速采集输入与输出两个点的信号，用不断移动激励点位置或响应点位置的办法取得振形数据。SIMO及MIMO的方法则要求大量通道数据的高速并行采集，因此要求大量的振动测量传感器或激振器，试验成本较高。 3）时域或频域信号处理。例如谱分析、传递函数估计、脉冲响应测量以及滤波、相关分析等。 （2）建立结构数学模型根据已知条件，建立一种描述结构状态及特性的模型，作为计算及识别参数依据。目前一般假定系统为线性的。由于采用的识别方法不同，也分为频域建模和时域建模。根据阻尼特性及频率耦合程度分为实模态或复模态模型等。 （3）参数识别按识别域的不同可分为频域法、时域法和混合域法，后者是指在时域识别复特征值，再回到频域中识别振型，激励方式不同（SISO、SIMO、MIMO），相应的参数识别方法也不尽相同。并非越复杂的方法识别的结果越可靠。对于目前能够进行的大多数不是十分复杂的结构，只要取得了可靠的频响数据，即使用较简单的识别方法也可能获得良好的模态参数；反之，即使用最复杂的数学模型、最高级的拟合方法，如果频响测量数据不可靠，则识别的结果一定不会理想。 （4）振形动画参数识别的结果得到了结构的模态参数模型，即一组固有频率、模态阻尼以及相应各阶模态的振形。由于结构复杂，由许多自由度组成的振形也相当复杂，必须采用动画的方法，将放大了的振形叠加到原始的几何形状上。
静脉识别主要技术特征 静脉识别是一种新兴的红外生物识别技术，它是根据静脉血液中脱氧血色素吸收近红外线或人体辐射远红外线的特性，用相应波长范围的红外相机摄取手背（或指背、指腹、手掌、手腕）的静脉分布图，通过归一化、去噪等预处理后进行滤波增强与静脉纹路分割、细化修复，然后提取其特征，再与预先注册到数据库或储存在IC卡上的特征数据进行匹配以确定个人身份。由于每个人的静脉分布图具备类似于指纹的唯一性且成年后持久不变的特点，所以它能够唯一确定一个人的身份。此外，它具有其他生物特征识别技术所不具备的优点，因而具有广泛的应用前景，得到广大学者的关注。 一、原理介绍 静脉识别主要是利用静脉血管的结构来进行身份识别。由于静脉纹络包含大量的特征信息，可以作为验证的对象。手掌静脉识别的原理也是利用静脉血管与肌肉、骨骸之间对特定波长红外光不同的吸收特性来进行静脉血管造影，与手掌静脉识别的原理相同。由于手掌较厚，红外光通常无法进行透射，因而只能采用反射造影法。红外光照射在手背上，有静脉的部位吸收红外光反射暗淡，肌肉与骨路部位反射强烈，从而实现对静脉的造影。静脉纹络在人体内部很难被伪造。 二、特征分析 （一）活体识别 用手背静脉进行身份认证时，获取的是手背静脉的图像特征，是手背活体时才存在的特征。在该系统中，非活体的手背是得不到静脉图像特征的，因而无法识别，从而也就无法造假。 （二）内部特征 用手背静脉进行身份认证时，获取的是手背内部的静脉图像特征，而不是手背表面的图像特征。因此，不存在任何由于手背表面的损伤、磨损、干燥或太湿等带来的识别障碍。 （三）非接触性 手背无须与设备接触，轻轻一放，即可完成识别。这种方式没有手接触设备时的不卫生的问题以及手指表面特征可能被复制所带来的安全问题，井避免了被当作审查对象的心理不适，同时也不会因脏物污染后无法识别。手掌静脉方式由于静脉位于手掌内部，气温等外部因素的影响程度可以忽略不计，几乎适用于所有用户。用户接受度好。除了无需与扫描器表面发生直接接触以外，这种非侵入性的扫描过程既简单又自然，减轻了用户由于担心卫生程度或使用麻烦而可能存在的抗拒心理。 （四）安全等级高 因为有了前面的活体识别、内部特征和非接触性3个方面的特征，确保了使用者的手背静脉特征很难被伪造。所以手背静脉识别系统安全等级高，特别适合于安全要求高的场所使用。 三、静脉识别算法 主要包括3大部分：静脉图像的获取；静脉图像预处理和静脉识别。图像预
龙源期刊网 https://www.doczj.com/doc/9412433823.html, 多模态话语分析理论在新媒介时代的应用 作者：李妙晴 来源：《学理论·下》2009年第06期 摘要:20世纪90年代西方兴起的多模态话语分析,逐渐成为语言学研究的新热点之一。通 过回顾其在国外和国内的发展历史,重点解释了多模态话语与社会符号学的关系,并展望未来发展方向。 关键词:多模态话语分析;新媒介时代;社会符号学 中图分类号:H04文献标志码:A 文章编号:1002—2589(2009)14—0204—02 一、多模态话语分析理论 朱永生(2007),只使用一种模态的话语叫做“单模态话语”;同时使用两种或两种以上模态的话语叫做“多模态话语”。新媒介时代,语篇呈多模态化,20世纪90年代西方兴起的多模态话语分析(multimodal discourse analysis)为由多种符号组成的语篇分析提供了途径,帮助读者了解不同模态作为社会符号,如何共同作用构成意义,达到意义潜势,对提高人们多模式话语识读,具有积极的意义。多模态话语分析属于社会符号学的分支,Halliday的系统语言学作为基础,具有跨学科、应 用性强特点,能运用在语音文字、建筑、城市设计及规划、影视戏剧、音乐、PPT、教学和数据库广告、网站页面设计、大型演出及舞台表演、排版、音乐、教科书设计、教学等多领域,与 传媒学、批评话语分析等有紧密联系,已经影响了当今很多学科的研究方向,如阅读写作能力教育、传媒话语分析、文化研究等,对社会的经济能起直接的指导作用。该理论无论在国外还是 在国内都处于起步阶段,在国外已经有出版书目和召开国际会议,李战子(2003)首次引入了多模 态分析理论。 朱永生(2007),几个关键字的概念,模式(mode)、媒介(medium)与模态(modality)。模式指系 统功能语言学与话语范围(field)和话语基调(tenor)并列的语境三要素之一的话语模式,指交流渠道,如口头、书面、电子等。模态(modality)原指语言系统中讲话者对事物的或然性进行判断和事物的必要性表明态度的语义系统情态;这里指交流的渠道和媒介,包括语言、技术、图象、颜色、音乐等符号系统。媒介是表达信息的物理工具。采用某一种媒体仍可以有不同模式表达信息,同样的模式可以用不同媒体表达。 二、研究现状 辛志英(2008)大致有:社会符号学流派,包括O’Toole、Kress、Leeuwen、Lemke、 O’Halloran、Baldry Thibault和Ventola等;交互社会学流派,包括Scollon、Norris及Jewitt等;认知学流派,主要有Forceville和Holsanova等人。
模态分析中的几个基本概念 一、模态定义：物体按照某一阶固有频率振动时，物体上各个点偏离平衡位置的位移是满足一定的比例关系的，可以用一个向量表示。 模态分析一般是在振动领域应用，每个物体都具有自己的固有频率，在外力的激励作用下，物体会表现出不同的振动特性： 一阶模态是外力的激励频率与物体固有频率相等的时候出现的，此时物体的振动形态叫做一阶振型或主振型； 二阶模态是外力的激励频率是物体固有频率的两倍时候出现，此时的振动外形叫做二阶振型，以依次类推。 一般来讲，外界激励的频率非常复杂，物体在这种复杂的外界激励下的振动反应是各阶振型的复合。 二、模态分析：模态是结构的固有振动特性，每一个模态具有特定的固有频率、阻尼比和模态振型。这些模态参数可以由计算或试验分析取得，这样一个计算或试验分析过程称为模态分析。 有限元中模态分析的本质是求矩阵的特征值问题，所以“阶数”就是指特征值的个数。将特征值从小到大排列就是阶次。 实际的分析对象是无限维的，所以其模态具有无穷阶。但是对于运动起主导作用的只是前面的几阶模态，所以计算时根据需要计算前几阶的。 一个物体有很多个固有振动频率（理论上无穷多个），按照从小到大顺序，第一个就叫第一阶固有频率，依次类推。所以模态的阶数就是对应的固有频率的阶数。 三、振型是指体系的一种固有的特性。它与固有频率相对应，即为对应固有频率体系自身振动的形态。每一阶固有频率都对应一种振型。振型与体系实际的振动形态不一定相同。振型对应于频率而言，一个固有频率对应于一个振型。按照频率从低到高的排列，来说第一振型，第二振型等等。此处的振型就是指在该固有频率下结构的振动形态，频率越高则振动周期越小。在实验中，我们就是通过用一定的频率对结构进行激振，观测相应点的位移状况，当观测点的位移达到最大时，此时频率即为固有频率。实际结构的振动形态并不是一个规则的形状，而是各阶振型相叠加的结果。 四、模态扩展是为了是结果在后处理器中观察而设置的，原因如下： 求解器的输出内容主要是固有频率，固有频率被写到输出文件Jobname.OUT及振型文件Jobnmae.MODE中，输出内容中也可以包含缩减
生物识别技术主要是指通过人类生物特征进行身份认证的一种技术，这里的生物特征通常具有唯一的(与他人不同)、可以测量或可自动识别和验证、遗传性或终身不变等特点。所谓生物识别的核心在于如何获取这些生物特征，并将之转换为数字信息，存储于计算机中，利用可靠的匹配算法来完成验证与识别个人身份的过程。 方法/步骤 1.指纹识别 指纹是指人的手指末端正面皮肤上凸凹不平产生的纹线。纹线有规律的排列形成不同的纹型。纹线的起点、终点、结合点和分叉点，称为指纹的细节特征点。指纹识别即指通过比较不同指纹的细节特征点来进行鉴别。由于每个人的指纹不同，就是同一人的十指之间，指纹也有明显区别，因此指纹可用于身份鉴定。 指纹识别技术是目前最成熟且价格便宜的生物特征识别技术。目前来说指纹识别的技术应用最为广泛，我们不仅在门禁、考勤系统中可以看到指纹识别技术的身影，市场上有了更多指纹识别的应用：如笔记本电脑、手机、汽车、银行支付都可应用指纹识别的技术。 2.静脉识别 静脉识别系统就是首先通过静脉识别仪取得个人静脉分布图，从静脉分布图依据专用比对算法提取特征值，通过红外线CMOS摄像头获取手指静脉、手掌静脉、手背静脉的图像，将静脉的数字图像存贮在计算机系统中，将特征值存储。静脉比对时，实时采取静脉图，提取特征值，运用先进的滤波、图像二值化、细化手段对数字图像提取特征，同存储在主机中静脉特征值比对，采用复杂的匹配算法对静脉特征进行匹配，从而对个人进行身份鉴定，确认身份。全过程采用非接触式。 3.虹膜识别 虹膜是位于人眼表面黑色瞳孔和白色巩膜之间的圆环状区域，在红外光下呈现出丰富的纹理信息，如斑点、条纹、细丝、冠状、隐窝等细节特征。虹膜从婴儿胚胎期的第3个月起开始发育，到第8个月虹膜的主要纹理结构已经成形。除非经历危及眼睛的外科手术，此后几乎终生不变。 虹膜识别通过对比虹膜图像特征之间的相似性来确定人们的身份，其核心是使用模式识别、图像处理等方法对人眼睛的虹膜特征进行描述和匹配，从而实现自动的个人身份认证。英国国家物理实验室的测试结果表明：虹膜识别是各种生物特征识别方法中错误率最低的。从普通家庭门禁、单位考勤到银行保险柜、金融交易确认，应用后都可有效简化通行验证手续、确保安全。如果手机加载“虹膜识别”，即使丢失也不用担心信息泄露。机场通关安检中采用虹膜识别技术，将缩短通关时间，提高安全等级。 4.视网膜识别 视网膜是眼睛底部的血液细胞层。视网膜扫描是采用低密度的红外线去捕捉视网膜的独特特征，血液细胞的唯一模式就因此被捕捉下来。视网膜识别的优点就在于它是一种极其固定的生物特征，因为它是“隐藏”的，故而不可能受到磨损，老化等影响;使用者也无需和设备进行直接的接触;同时它是一个最难欺骗的系统，因为视网膜是不可见的，故而不会被伪造。另一方面，视网膜识别也有一些不完善的，如：视网膜技术可能会给使用者带来健康的损坏，这需要进一步的研究;设备投入较为昂贵，识别过程的要求也高，因此角膜扫描识别在普遍推广应用上具有一定的难度。 5.面部识别 面部识别是根据人的面部特征来进行身份识别的技术，包括标准视频识别和热成像技术两种。 标准视频识别是透过普通摄像头记录下被拍摄者眼睛、鼻子、嘴的形状及相对位置等面部特征，然后将其转换成数字信号，再利用计算机进行身份识别。视频面部识别是一种常见
静脉识别技术工作原理和静脉识别厂商汇总分析 静脉识别系统是一种识别安全性更高的生物识别技术，用血液中的血红素吸收红外光的原理，通过红外线CCD摄像头获取手指、手掌、手背静脉的图像，并从静脉分布图依据专用比对算法提取特征值，将静脉的数字图像存贮在计算机系统中。当需要静脉识别时，静脉识别机器实时采取静脉图，提取特征值，再运用先进的滤波、图像二值化、细化手段对数字图像提取特征，同存储在主机中静脉特征值比对，从而对个人进行身份鉴定，确认身份。 静脉识别的概念和技术工作原理据了解，如今的静脉识别兼具四大特点：高度防伪、简便易用、快速识别及高度准确。两个人静脉结构相同的几率是34亿分之一，因此可以说每个人静脉结构独一无二。而且，这种内部信息不会受到皮肤破损程度、外部环境等因素影响，更重要的是，静脉识别必须是活体识别，也就是说只有手指活体时才能进行静脉识别。静脉如何被“探测”到？又是如何具有识别的唯一性呢？中国科学院自动化所研究员、中国人工智能学会模式识别专业委员会秘书长孙哲南曾在采访中表示，静脉识别时利用的是血液中的血红蛋白有吸收红外线的特质：“近红外光照射到手指或者手掌上时，手指或手掌皮下静脉中的血红蛋白相对于皮肤、肌肉等其他生理组织对近红外光的吸收率更高，因而呈现出黑白对比鲜明的图像模式。”在近红外光的照射下，肌肉组织为浅色，血管则呈现深色，可以将血管结构反映得异常清晰。 相比传统的指纹识别对于手指湿度和指纹完整度的要求，静脉识别则不受手指是否潮湿、干净或者破损的影响，因为扫描的不是皮肤，而是皮肤下的静脉。而且，静脉识别过程中不需要手指碰触到仪器。“这一识别过程只需要一两秒钟就可以完成。”孙哲南补充道。 目前，静脉识别集中在人体的手指、手掌和手背。“之所以选择手部，是因为近红外光容易穿透皮肤对静脉结构进行成像。”孙哲南解释道，“人体的其他部分静脉分布没有手部密集，而且相对而言成像也没那么方便。” 静脉识别的分类掌静脉识别 掌静脉技术的原理是根据手掌血液中的血红素有吸收红外线光的特质，将具红外线感应度
模态分析意义模态分析是研究结构动力特性一种近代方法，是系统辨别方法在工程振动领域中的应用。模态是机械结构的固有振动特性，每一个模态具有特定的固有频率、阻尼比和模态振型。这些模态参数可以由计算或试验分析取得，这样一个计算或试验分析过程称为模态分析。这个分析过程如果是由有限元计算的方法取得的，则称为计算模态分析；如果通过试验将采集的系统输入与输出信号经过参数识别获得模态参数，称为试验模态分析。通常，模态分析都是指试验模态分析。振动模态是弹性结构的固有的、整体的特性。如果通过模态分析方法搞清楚了结构物在某一易受影响的频率范围内各阶主要模态的特性，就可能预言结构在此频段内在外部或内部各种振源作用下实际振动响应。因此，模态分析是结构动态设计及设备的故障诊断的重要方法。机器、建筑物、航天航空飞行器、船舶、汽车等的实际振动千姿百态、瞬息变化。模态分析提供了研究各种实际结构振动的一条有效途径。首先，将结构物在静止状态下进行人为激振，通过测量激振力与胯动响应并进行双通道快速傅里叶变换（FFT）分析，得到任意两点之间的机械导纳函数（传递函数）。用模态分析理论通过对试验导纳函数的曲线拟合，识别出结构物的模态参数，从而建立起结构物的模态模型。根据模态叠加原理，在已知各种载荷时间历程的情况下，就可以预言结构物的实际振动的响应历程或响应谱。近十多年来，由于计算机技术、
FFT 分析仪、高速数据采集系统以及振动传感器、激励器等技术的发展，试验模态分析得到了很快的发展，受到了机械、电力、建筑、水利、航空、航天等许多产业部门的高度重视。已有多种档次、各种原理的模态分析硬件与软件问世。在各种各样的模态分析方法中，大致均可分为四个基本过程：（1）动态数据的采集及频响函数或脉冲响应函数分析1）激励方法。试验模态分析是人为地对结构物施加一定动态激励，采集各点的振动响应信号及激振力信号，根据力及响应信号，用各种参数识别方法获取模态参数。激励方法不同，相应识别方法也不同。目前主要由单输入单输出（SISO）、单输入多输出（SIMO）多输入多输出（MIMO）三种方法。以输入力的信号特征还可分为正弦慢扫描、正弦快扫描、稳态随机（包括白噪声、宽带噪声或伪随机）、瞬态激励（包括随机脉冲激励）等。2）数据采集。SISO 方法要求同时高速采集输入与输出两个点的信号，用不断移动激励点位置或响应点位置的办法取得振形数据。SIMO 及MIMO 的方法则要求大量通道数据的高速并行采集，因此要求大量的振动测量传感器或激振器，试验成本较高。3）时域或频域信号处理。例如谱分析、传递函数估计、脉冲响应测量以及滤波、相关分析等。（2）建立结构数学模型根据已知条件，建立一种描述结构状态及特性的模型，作为计算及识别参数依据。目前一般假定系统为线性的。由于采用的识别方法不同，也分为频域建模和时
1. 什么是模态分析？ 模态分析是研究结构动力特性一种近代方法，是系统辨别方法在工程振动领域中的应用。模态是机械结构的固有振动特性，每一个模态具有特定的固有频率、阻尼比和模态振型。这些模态参数可以由计算或试验分析取得，这样一个计算或试验分析过程称为模态分析。这个分析过程如果是由有限元计算的方法取得的，则称为计算模态分析；如果通过试验将采集的系统输入与输出信号经过参数识别获得模态参数，称为试验模态分析。通常，模态分析都是指试验模态分析。振动模态是弹性结构的固有的、整体的特性。如果通过模态分析方法搞清楚了结构物在某一易受影响的频率范围内各阶主要模态的特性，就可能预言结构在此频段内在外部或内部各种振源作用下实际振动响应。因此，模态分析是结构动态设计及设备的故障诊断的重要方法。 模态分析最终目标在是识别出系统的模态参数，为结构系统的振动特性分析、振动故障诊断和预报以及结构动力特性的优化设计提供依据。 2. 模态分析有什么用处？ 模态分析所的最终目标在是识别出系统的模态参数，为结构系统的振动特性分析、振动故障诊断和预报以及结构动力特性的优化设计提供依据。模态分析技术的应用可归结为以下几个方面： 1. 评价现有结构系统的动态特性； 通过结构的模态分析可以求得各阶模态参数（模态频率、模态振型以及模态阻尼），从而评价结构的动态特性是否符合要求，并校验理论计算结构的准确性。 2. 在新产品设计中进行结构动态特性的预估和优化设计； 3. 诊断及预报结构系统的故障； 近年来，结构故障技术发展迅速，而模态分析已成为故障诊断的一个重要方法。利用结构模态参数的改变来诊断故障是一种有效方法。例如，根据模态频率的变化可以判断裂纹的出现；根据振型的分析可以确定断裂的位置；根据转子支承系统阻尼的改变，可以诊断与预报转子系统的失稳等。 4. 控制结构的辐射噪声； 结构噪声是由于结构振动所引起的。结构振动时，各阶模态对噪声的“贡献”并不相同，对噪声贡献较大的几阶模态称为“优势模态”。抑制或者调整优势模态，便可降低噪声。而优势模态的确定，必须建立在模态分析基础之上。 5.识别结构系统的载荷。 某些结构在工作时所承受的载荷很难测量，这时，可通过实测响应和由模态分析所得的模态参数加以识别。此方法在航空，航天及核工程中应用广泛。 3. 模态分析的应用领域 1. 航空航天飞行器、船舶、汽车工业等 2. 土木领域：大桥、大坝、高层建筑、海洋平台、闸门、桩基检测 3. 各种机械设备：如机床、发电设备、压缩机、气轮机 4. 军工领域 4. 模态分析的步骤是什么？ 机器、建筑物、航天航空飞行器、船舶、汽车等的实际振动千姿百态、瞬息变化。模态分析提供了研究各种实际结构振动的一条有效途径。首先，将结构物在静止状态下进行人为激振，通过测量激振力与振动动响应并进行双通道快速傅里叶变换（FFT）分析，得到任意两点之间的机械导纳函数（传递函数）。用模态分析理论通过对试验导纳函数的曲线拟合，识别出结构物的模态参数，从而建立起结构物的模态模型。根据模态叠加原理，在已知各种载荷时间历程的情况下，就可以预言结构物的实际振动的响应历程或响应谱。 近十多年来，由于计算机技术、FFT分析仪、高速数据采集系统以及振动传感器、激励器等技术的发展，试验模态分析得到了很快的发展，受到了机械、电力、建筑、水利、航空、航天等许多产业部门的高
生物特征识别技术的发展趋势 随着信息社会对个人身份认证与管理需求的不断增长，生物特征识别技术及其相关产品已经大量地进入到了社会生活的各个方面，为不断提高人类生活的品质做出了贡献。但是，生物特征识别技术在实际的应用过程中也出现了一些问题，同时，人们针对目前已经得到广泛应用的一些生物特征识别技术也提出了的质疑与挑战。例如，人体指纹可以比较容易地被复制与伪造，从而存在利用伪造的指纹副本对指纹识别系统进行欺骗的可能性。而且，通过一定的技术手段获取人体指纹进行伪造的难度并不大。2006年，美国的科普节目MythBusters利用一种模仿人体组织特性的凝胶材料制作了人体的指纹副本，然后利用这个伪造的指纹副本成功地通过了指纹识别系统的认证。在2009年，Duc Nguyen更是非常容易地利用一张真人大小的黑白图片通过了联想笔记本所用的人脸识别系统的用户登录认证。 为什么会出现这样的问题呢？首先需要从生物特征识别技术的原理谈起。生物特征（这里特指人体的生物特征）之所以能够作为个人身份鉴别与识别的有效手段，这是由其自身所具有的四个特点所决定的：普遍性、唯一性、稳定性和不可复制性。生物特征的普遍性与唯一性在多数情况下可以得到满足，而稳定性和不可复制性则因各种生物特征的自身特点而有所不同。而且，受限于传感器与生物特征识别算法的性能，生物识别系统在识别精度与防伪性能上将会有所下降。例如，在理论上，只要人体面部细节特征足够多，那么即使是双胞胎也可以进行区分。实际上，对于一个现实的生物识别系统而言，要做到这点几乎是不可能的。但是也没有必要太过悲观，人们可以通过采取多种生物特征相融合的识别方式，即多模态识别来提高系统的精度和保证系统防伪性。未来生物特征识别技术的发展趋势大致可分为三个方向：多模态、非接触和网络化。 多模态：采用多模态生物特征融合技术可以获得比单一生物特征识别系统更好的识别性能和可靠性，并增加伪造人体生物特征的难度与复杂性，提高系统的安全性。多模态生物特征识别技术是指综合利用来自同一生物特征的多种识别技术，或者来自不同生物特征的多种识别技术，对个人身份进行判断的生物特征识
简介 静脉是导血回心的血管，起于毛细血管，止于心房，表浅静脉在皮下可以看见。掌静脉，顾名思义，就是手掌内静脉。掌静脉识别是静脉识别的一种，属于生物识别，掌静脉 识别系统就是首先通过静脉识别仪取得个人掌静脉分布图，从掌静脉分布图依据专用比对 算法提取特征值，通过红外线CCD摄像头获取手指、手掌、手背静脉的图像，将静脉的 数字图像存贮在计算机系统中，将特征值存储。静脉比对时，实时采取静脉图，提取特征值，运用先进的滤波、图像二值化、细化手段对数字图像提取特征，同存储在主机中静脉 特征值比对，采用复杂的匹配算法对静脉特征进行匹配，从而对个人进行身份鉴定，确认 身份。 掌静脉识别技术特点 掌静脉识别活体识别 用掌静脉进行身份认证时，获取的是掌静脉的图像特征，是掌活体时才存在的特征。 在该系统中，非活体的手掌是得不到静脉图像特征的，因而无法识别，从而也就无法造假。掌静脉识别内部特征 用掌静脉进行身份认证时，获取的是手掌内部的静脉图像特征，而不是手掌表面的图 像特征。因此，不存在任何由于手掌表面的损伤、磨损、干燥或太湿等带来的识别障碍。 掌静脉识别非接触式 用掌静脉进行身份认证，获取手掌静脉图像时，手掌无须与设备接触，轻轻一放，即 可完成识别。这种方式没有手接触设备时的不卫生的问题以及手指表面特征可能被复制所 带来的安全问题，并避免了被当作审查对象的心理不适，同时也不会因脏物污染后无法识别。手掌静脉方式由于静脉位于手掌内部，气温等外部因素的影响程度可以忽略不计，几 乎适用于所有用户。用户接受度好。除了无需与扫描器表面发生直接接触以外，这种非侵 入性的扫描过程既简单又自然，减轻了用户由于担心卫生程度或使用麻烦而可能存在的抗 拒心理。 掌静脉识别安全等级高 因为有了前面的活体识别、内部特征和非接触式3个方面的特征，确保了使用者的掌 静脉特征很难被伪造。所以掌静脉识别系统安全等级高，特别适合于安全要求高的场所使用。韩国首尔大学电子工程系有一篇关于掌静脉识别算法的文献E3，介绍了传统的静脉识别算法以及如何用昂贵的DSP处理器处理浮点运算和提高实时性要求，缩短识别时间，文献中描述的静脉识别算法主要包括3大部分：静脉图像的获取；静脉图像预处理和静脉识
收稿日期:2010-03-25;修回日期:2010-05-24。 基金项目:国家自然科学基金资助项目(90736018)。 作者简介:张环(1982-),男,江苏灌云人,博士研究生,主要研究方向:模式识别; 胡德文(1963-),男,湖南岳阳人,博士生导师,主要研究方向:模式识别、认知科学。 文章编号:1001-9081(2010)S2-0097-03 手掌静脉识别算法 张 环,胡德文 (国防科学技术大学机电工程与自动化学院,长沙410073) (zhanghuan@nud t .edu .cn ) 摘 要:对手掌静脉识别算法中的预处理、特征提取和匹配判别进行了研究。首先利用自主设计的手掌静脉采 集设备采集一定规模的手掌静脉图像并相应建立小规模手掌静脉数据库,然后对采集到的手掌静脉图像进行提取感兴趣区域(RO I)、平滑滤波和图像增强等预处理操作,以及进行二值化、滤波去噪和细化修复等操作来提取关键点的特征信息,最后利用成熟的指纹特征点匹配方法进行匹配判别。通过对实验结果分析表明,该算法的识别率高且性能良好,具有较好的应用前景。 关键词:血管;手掌静脉;感兴趣区域 中图分类号:T P391.4 文献标志码:A Pal m vei n recognition algorith m Z HANG H uan ,HU De -w en (Colle g e of M ec ha t ronic Eng i n ee ring and Au t o m a ti on,Na tional University of D e fense Technol ogy,Changsha H unan 410073,Ch i na ) Abstract :T his paper presented so m e researches on preprocessi ng ,patte rn ex tracti on ,m a tch i ng and decisi on of pal m ve i n recognition a l go rith m.F irst ,the pa l m ve i n i m ages w ere coll ec ted by desi gn i ng pal m ve i n capt ure dev ice to buil d a s m all pa l m ve i n database ,then R eg ion o f Inte rest (RO I)extraction ,s moo t h filte ri ng and i m age enhance m ent w ere i m p l em ented to preprocess the co llected i m ages .T he pattern i n f o r m ati on of m i nu tiae was extracted by b i nariza ti on ,no ise eli m ina ti on and th i nn i ng .W it h t he help o f the m ature fi nge rprint a l go rith m,a dec i s i on was m ade by m atch i ng the pa ttern of m i nuti ae .T he exper i m enta l results show that the proposed a l gor it hm ach i eves a h i gh recognition rate ,and i t has a fi ne perfo r m ance and pro m isi ng applicable f uture . K ey words :b l ood vesse ;l pal m ve i n ;R eg ion o f Inte rest (RO I) 0 引言 人体静脉血管近红外图像识别技术是近些年来新起的一项非接触式生物认证识别技术,它在身份鉴定和身份识别中有着非常广泛的应用背景,体现了自身的独特优越性,是对生物特征识别技术的一个重要补充和扩张。手掌静脉识别的基本原理是根据人体骨骼和肌肉组织的特点,用波长在720 m ~1100 m 的近红外光照射手掌,手掌静脉血管中的血色素相比于皮下组织可以吸收更多近红外辐射,可以很好地呈现出静脉血管的结构[1-2]。 日本富士通公司已经研制了成熟的手掌静脉识别产品并应用到了银行AT M 、医院和学校人员管理等领域[3]。手掌静脉识别在我国的研究和应用还处于起步和发展阶段。借鉴于较为成熟的手背静脉和视网膜预处理算法,本文对手掌静脉预处理算法进行了相应的研究,并且对关键点特征提取和匹配判别进行了分析和实现,最后在已搭建的手掌静脉识别原型样机[4]上进行了算法的实际应用和最终性能评估。 手掌静脉图像是在自主设计的手掌静脉识别原型样机上采集得到的,在图像采集的过程中,由于受到采集时间、光强、手掌倾斜度及手掌薄厚等因素的影响,采集到的手掌静脉图像在灰度分布图上存在一定程度的差异,这些都为手掌静脉的特征提取和匹配判别带来了很大困难。为了提高后续的特征提取的速度、匹配识别算法的有效性和鲁棒性,去掉不必要 的噪声干扰,降低后续工作的复杂度,有必要在特征提取之前对手掌静脉图像进行定位和归一化等一系列的预处理。手掌静脉图像的预处理是手掌静脉准确识别的必要准备和前提, 同时也是手掌静脉识别中的一个重要难点。 与手背静脉图像和手指静脉图像相比,由于手掌皮肤的特殊性,手掌静脉图像的血管可见度较低噪声干扰也很大,静脉血管的提取难度很大,这也是手背静脉识别和手指静脉识别的相关算法和文献资料很多而手掌静脉识别算法相关工作很少的一个重要原因。医学图像中的视网膜血管纹路提取技术是一项较为成熟的技术,相关的文献较多。通过对现有的实际手掌静脉图像中的静脉血管纹路进行分析,采用了视网膜识别技术中的自适应局部对比度增强算法。 通过对预处理之后的静脉血管纹路和纹理特征进行分析。纹理特征提取是直接对整个图像进行子空间降维或者滤波变换等方法提取特征,具有普遍性,但是不能体现手掌静脉图像中血管纹路唯一性的独特识别优势。而静脉血管的特征点信息丰富并且稳定,完全可以借鉴指纹识别中细化血管纹路、提取关键特征点信息和匹配判别特征点的成熟算法以提高开发的速度和效率。 手掌静脉识别算法的基本流程如图1所示。 1 手掌静脉预处理算法 通过对手掌静脉识别原型样机所采集到的实际手掌静脉 第30卷增刊2 2010年12月 计算机应用 Journal o f Computer A pp licati ons V o.l 30Supp.l 2 Dec .2010