基于张量和多尺度特征的多视角人体行为识别 智能视觉监控系统能够从视频图像中分辩、识别出关键目标物体,并能对目标物体的行为进行识别理解,从而提高视频监控系统的智能化水平。随着网络技术和信息技术的高速发展,智能监控技术在模式识别领域受到越来越多的关注,成为近年来热门的研究课题之一。本文对人体行为识别的一些理论问题进行了一定的研究和试验,提出了一种基于张量和多尺度特征的多视角行为识别方法。本文主要的研究内容如下:1.对运动目标进行前景检测,采用背景差分的方法,经过形态学去噪、填补空洞等后处理得到较好的二值图像。2.提出了一种人体骨架建模的方法,通过对人体骨架进行链码遍历以及计算曲率值定位各个关键点,建立的模型用作行为识别的输入特征。3.提取出多尺度特征,包括速度、轮廓宽度、骨架模型的关键点坐标等信息,能够更准确地描述了人在各个运动尺度上的速度与精度,同时通过降低维数节省了运行时间,大大提高了执行效率。4.定义了连续帧张量,其特征空间由连续帧图像构成,从而包含了更多的运动信息,更好地描述了行为特性。5.分别在多视角以及不同执行人的前提下,与聚类识别方法进行了比较分析,从识别率以及执行效率方面比较不同方法的优越性。 同主题文章 [1]. 李妍婷,罗予频,唐光荣. 单目视频中的多视角行为识别方法' [J]. 计算机应用. 2006.(07) [2]. 每言. “行为识别”反垃圾' [J]. 微电脑世界. 2004.(13) [3]. 刘相滨,向坚持,王胜春. 人行为识别与理解研究探讨' [J]. 计算机与现代化. 2004.(12) [4]. 赵智敏,肖胜双. 电视台的CIS设计' [J]. 中国有线电视. 2002.(16) [5]. 胡长勃,冯涛,马颂德,卢汉清. 基于主元分析法的行为识别' [J]. 中国图象图形学报. 2000.(10) [6]. 张三元,孙守迁,蒋方炎,潘云鹤. 数字化仿真人体模型的设计方法' [J]. 系统仿真学报. 2000.(01) [7]. 王运武,陈琳. 多视角下的教育信息化透视' [J]. 开放教育研究. 2008.(03) [8].
基于多尺度和多特征融合的面向对象的变化检测方法 王文杰，赵忠明，朱文清 中科院遥感应用研究所图像处理部 邮箱中国，北京100101,9718 wangwenjie@https://www.doczj.com/doc/b416549665.html, 摘要--高分辨率卫星影像为遥感应用提供了丰富的地球表面信息。利用变化检测技术从高分辨率遥感影像中提取目标区域变化并且迅速地更新地图数据库已经成为遥感信息处理研究的焦点。然而传统的变化检测方法并不适用于高分辨率遥感影像。为了克服传统的像素级变化检测方法的局限和高分辨率遥感影像变化检测的困难，本文以面向对象的分析方法为基础呈现了一种新颖的用于检测高分辨率遥感影像变化的多尺度，多特征融合方法。实验结果表明在高分辨率遥感影像变化检测方面这种方法与传统的像素级方法相比有较强的优势。 关键词:面向对象;多尺度分割;光谱特征;纹理特征;形状特征;融合 一简介 由于从环地卫星获取的数据的短间隔重复性覆盖和始终如一的图像质量，变化检测是其主要应用之一[1]。20年来,高分辨率遥感影像变化检测已成为遥感影像处理领域一项重要研究并且已被广泛应用于地理信息系统更新，资源、环境监测，城市规划和国防建设等领域[2]。 目前已经存在各种各样的变化检测方法。图像差分法，主成分分析法，分类后比较法，向量分析法是传统变化检测中最常用的一些方法[3-4]。这些方法被典型地应用于像Landsat TM这样的中等空间分辨
率的卫星影像[5-9]。然而，当涉及高分辨率影像变化检测研究的时候，这些方法就有了一些缺点。 传统的基于像素级的遥感影像变化检测方法主要是建立在光谱信息分析的基础上的。他们共同的特点是仅利用像素值的统计信息而几乎不分析地物的形状特征和结构特征。然而高分辨率遥感影像已经给遥感影像带来了重大变革，它可以清晰地展现景观的结构，纹理和细节信息。除了获得光谱信息之外，它也可以获取表面物体的机构，形状和纹理信息。传统的遥感图像变化检测方法不能真正利用高分辨率遥感影像的优势，因此它不能解决高分辨率遥感影像变化检测的问题。 面向对象的变化检测是变化检测研究新方法的主要内容。面向对象方法的基本特征是分割影像并把对象当做操作的基本单元而不是像传统的面向像素的方法那样把单个像素当做操作的基本单元。通过图像分割获取的对象有一些属性，不仅包含光谱信息还包含纹理，尺寸，形状，密度，环境和其他的从图像中提取的信息。高分辨率遥感影像的面向对象的变化检测方法不再依赖对光谱信息的分析而是靠对对象属性变化的分析来判断变化结果。因此它极大地提高了高分辨率遥感影像变化检测的精度[10-12]。 本文为高分辨率遥感影像提供了一种创新性的基于多尺度和多特征融合的面向对象的变化检测方法。由于对面向对象思维的主要特征的的良好应用，这种新颖的方法能充分利用高分辨率影像的特点并且
第25卷 第4期2006年8月兰州交通大学学报(自然科学版) Journal of Lanzhou Jiaotong University(Natural Sciences) Vol.25No.4 Aug.2006 文章编号:1001Ο4373(2006)04Ο0035Ο04 空间数据的多尺度表达研究 胡 最, 闫浩文 (兰州交通大学数理与软件工程学院,甘肃兰州 730070) 摘 要:多尺度是空间数据的重要特征之一,研究空间数据在不同尺度条件下的表达特征和方式具有极其重要的现实意义.在参考相关资料和同类研究的基础上,阐述了空间数据多尺度表达的特征和数据模型以及表达中可能出现的问题,并给出了试验结果. 关键词:空间数据;多尺度;特征;数据模型 中图分类号:P208 文献标识码:A 0 引言 GIS系统最主要的功能是能够为辅助决策提供依据,而这是建立在GIS的空间分析的基础之上的.所以,提供多种尺度的空间数据是GIS系统的重要功能之一.而要达到这一目的,就涉及到空间数据库的多重表达问题,或者说空间数据的多尺度表达问题.空间数据的多重表达问题由来已久,早在1988年,美国地理信息和分析国家中心(NC GIA)就提出了数据库多重表达的概念.按照NC GIA的定义,数据库多重表达是指“随着在计算机内存储、分析和描述的地理客体的分辨率(比例尺)的不同,所产生和维护的同一地理客体在几何、拓扑结构和属性方面的不同数字表达形式.”就是说,具备“多重表达”机制的GIS能够以不同分辨率或比例尺的“数据集”的方式来表达其数据库内容.因此,又被称为“多重表达数据库(Multiple Representation Data2 base)”.以多重表达数据库为核心的GIS可以被称作“多比例尺(尺度)GIS”. 1 空间数据的多尺度特征 1.1 尺度(Scale)的概念 广义地讲尺度是指在研究某一物体或现象时所采用的空间或时间单位,也可指某一现象或过程在空间和时间上所涉及的范围和发生频率.所以,一般可以将尺度区分为空间尺度和时间尺度.而在地理现象的研究中,通常用到的尺度主要有概念尺度性、量纲多尺度和内容多尺度;在地理信息系统的研究中,又可以将尺度简单地理解为分辨率或者比例尺,或者也可以叫做“粒度”. 1.2 空间数据的多尺度特征 尺度是空间数据的重要特征,是指数据表达的空间范围的相对大小和时间的相对长短.所以,不同尺度所表达的信息密度有很大的差异.一般而言,尺度增大时所表达的信息密度减少,但并不是呈简单的比例变化.根据不同层次和不同领域的用户对GIS的要求和使用的不同,空间数据在不同的尺度条件下展现如下特征: 1)同一地物在不同的尺度条件下可以表现为不同的几何外形.这是因为尺度不同,对地物的抽象和化简的程度也不尽相同.如图1所示,以居民地为例,图1中的地物,在比例尺为1∶500时,是一个复杂的多边形;当比例尺变化为1∶1万时,可以简化为一个简单多边形;而在更小比例尺条件下,当变为1∶50万时,居民地就通常被抽象表示为一个简单的点 . 图1 不同尺度下同一地物的不同外形 Fig.1 S am e objects in different sh ap es at different scales 收稿日期:2005Ο10Ο31 基金项目:国家自然科学基金资助(40301037) 作者简介:胡 最(1977Ο),男,湖南宁乡人,硕士生.
基于多尺度深度特征的视觉显著性 视觉显著性在认知和计算科学是一个基本的问题，包括计算机视觉。在本文中，我们发现一个高质量的视觉显著性模型可以使用深度卷积神经网络抽取多尺度特征来学习，这些在视觉识别工作中已经有很多成功的例子。为了学习显著性模型，我们提出一种为了在三个不同的尺度提取的特征可以和CNN的顶层充分连接的神经网络架构。接着我们提出了一个细化方法来加强显著性结果的空间一致性。最后，融合多个显著图计算为图像分割的不同水平可以更好的促进性能，收益率显著图比从单一分割产生的图像要好。为了促进视觉显著模型的进一步研究和评价，我们也建立一个新的拥有4447张挑战性图片的大型数据库及其注释。实验结果表明,我们提出的方法在所有公共基准能够实现最先进的性能,在MSRA-B数据集和我们的新数据集(HKU-IS)改善F-Measure的效果分别为5.0%和13.2%,降低了这两个数据集平均绝对误差分别为5.7%和35.1%。 1.介绍 总结，这篇文章有以下贡献： 一个新的视觉显著模型被提出用于从一个拥有多个完全连接层的深度神经网络的嵌套的窗口将多尺度CNN特征提取。用于显著性估计的深度神经网络是可以用一组标记的显著图区域来训练的。 一个完整的显著性框架是由进一步整合我们的用空间一致性模型和多级图像分割基于CNN的显著性模型开发而成的。 HKU-IS是用来显著性模型研究和评估而创建的一个新的具有挑战的数据集。这个数据集是对外公开的。我们提出的显著性模型已经成功地验证了这个新数据集和所有现有的数据集。 2.相关工作 视觉显著计算可以分为自底向上和自顶向下的方法或两者的混合。自底向上的模型主要是基于c enter-surround方案,通过低级视觉属性的线性或非线性结合来计算主显著图,如颜色、强度、结构和方向。自上而下的方法通常需要高层知识的整合,如在计算过程中目标和人脸识别检测。最近，设计区别特征和显著先验的工作已经取得了很大成效。大多数方法基本上都遵循区域对比框架,旨在设计更好的描述图像区域与其周边地区的特殊性的特性。在【26】中，三个新奇特征与条件随机场（条件随机场（conditional random field，简称 CRF），是一种鉴别式机率模型，是随机场的一种，常用于标注或分析序列资料，如自然语言文字或是生物序列。条件随机场为无向性之图模型，图中的顶点代表随机变量，顶点间的连线代表随机变量间的相依关系，在条件随机场当中，随机变量 Y 的分布为条件机率，给定的观察值则为随机变量 X。原则上，条件随机场的图模型布局是可以任意给定的，一般常用的布局是链结式的架构，链结式架构不论在训练（training）、推论（inference）、或是解码（decoding）上，都存在有效率的算法可供演算。）结合。在【33】中提出了一个基于低秩矩阵恢复的模型用于整合底层视觉特征与高层次先验。 显著先验和中心先验与边界先验一样被广泛应用于启发结合低级线索的和改善显著估计。这些显著先验直接结合其他显著的线索权重或者用于特征学习算法。虽然这些经验对于很多图像来说可以改变显著结果，但当显著目标偏离中心或明显在图像边界重叠就会失败。我们应该注意到目标位置线索和基于背景的背景模型在我们的框架中并没有被忽视，而是一直通过CNN的多尺度特征提取和神经网络训练含蓄地纳入进我们的模型。 最近，CNNs在视觉识别工作中取得了很多成就，包括图像分类、目标检测和场景解析。Dona hue等在【11】中指出从ImageNet数据集训练的Krizhevsky的CNN提取的特征可以转化成一般的任务。Razavian等在【30】中拓展他们的结果并得出深度学习和CNNs对于所有的视觉识别任务可以成为一个强有力的候选的结论。然而，CNN特征并没有探索视觉显著性研究主要是因为在【11,30】
多尺度方法 1.多尺度方法的意义 很多自然科学和工程的问题都具有多尺度的特征。例如，高雷诺湍流的涡有大小不同的尺度，材料的微损伤有大小不同的尺度，多孔介质的孔径大小存在着不同的尺度等。然而，在实际应用中却常常忽略多尺度特征而采用经验模型。这些模型在应用中取得很大的成功，但经验模型也存在本身的局限性，主要体现在：（1）由于模型的误差大，导致很多问题求解的精度不高； （2）完全忽略细观结构的影响，不能完全反映问题本身的自然特征； （3）缺乏可靠的理论基础。 因此，对于很多问题，需要建立能反映自然属性、精度更高且具有理论基础的多尺度模型。在建立多尺度模型的同时，首先必须考虑问题自身的特征。按照问题的特征可以把多尺度问题分为以下几类： 第一类：这类多尺度问题包含了孤立的瑕点或奇异点，比如裂痕、断层、突变以及接触线。对于这类问题，只需要在孤立的瑕点火奇异点附近建立细观尺度的模型，其它区域满足某个宏观模型即可。这样细观尺度的模型只需在很小的计算区域里求解。 第二类：这类多尺度问题存在相关的宏观模型，但宏观模型不清晰，不能直接用于求解。典型的一个例子是均匀化问题，这时系数aε(x)=a(x,xε?)，其中ε表示细观尺度，虽然与宏观变量x相关的宏观模型确实存在，但宏观模型不明确。 第三类：这类问题是包含第一类和第二类特征的多尺度问题。 第四类：这类多尺度问题的习惯结构具有强烈的不规则性，难以找到相关的宏观模型。 随着多尺度模型的发展，还会出现更多类型的多尺度问题，对各类多尺度问题的求解引起了人们广泛的关注，也推动了多尺度计算方法的发展。很多科学和工程问题都存在多尺度问题，多尺度模拟是一个典型的跨学科问题，它涉及到数学、化学、物理、工程、计算机科学、环境科学等学科，越来越受到科学家的重视。目前为止，已经有一些经典的多尺度计算方法，如多重网格方法、均匀化方