摘要
基于视频图像序列的目标运动轨迹提取技术是已经成为精确制导武器的关键技术之一，能够提高武器打击精度及力度；同时更能体现目标跟踪监控系统的智能化和自动化。而在众多模式下的基于视频图像序列的轨迹提取技术中，基于固定参照物视场变动模式的轨迹测量技术不受相机视野限制，能够有效地扩大目标跟踪范围，更有着重要的研究意义和工程应用价值。
固定参照物视场变动模式的轨迹测量技术要求相邻两帧之间必须具有一定的重复。由于运动目标瞬时空间位置坐标是通过相对前一时刻空间位置坐标的相对变化得到，因此存在轨迹计算的累积误差较大的问题，同时由于目标体运动过程中的姿态变化、参照环境的复杂性等因素，导致轨迹计算的精度很难得到保证。
本论文针对固定参照物视场变动模式下运动目标轨迹提取问题进行深入研究，设计开发了基于视频图像序列的目标运动轨迹提取系统，针对目标在运动过程中的姿态变化导致的相机坐标系变化问题，提出了成像系统外参实时校正方法，通过陀螺仪获取的数据和空间坐标系变换关系对相机姿态角参数实时校正；针对SIFT特征匹配算法中的欧式距离无法自适应调节问题，提出了多目标优化的SIFT特征匹配算法，建立了以相关系数和特征点之间的欧氏距离为目标函数，以置信度为约束条件的多目标优化模型，减少了特征点的误配率；最后通过车载CCD实验对系统功能和精度进行验证，数据表明该系统能够精确的实现运动目标的轨迹测量，并具有较强的适应性和可靠性。
1绪论
1.1课题研究背景及意义
基于视频图像序列的目标运动轨迹提取技术是动态视觉领域中一个具有重要意义和实际价值的研究课题。目标运动轨迹是反映一段时间内目标的运动路线，它的精确提取能够实现测量和分析目标的运动参数、运动行为评估等。在军事领域中，该技术已经成为精确制导武器的一项关键技术，它能够有效地提高武器的打击精度，强化武器的打击力度；同时在民用领域，以该技术为基础建立的人机交互系统，能够实现运动目标的智能跟踪、行为监管等，真正地体现运动目标监控系统的自动化和智能化。因此无论在民用上还是在军事领域中，该技术的研究都具有较强的理论意义和研究价值。
目前基于视频图像序列的目标运动轨迹提取技术根据相机视场和参照物的不同可分为固定视场内参照物运动、变化视场内参照物运动和固定参照物视场变动情况下的运动目标跟踪及轨迹检测。固定视场内参照物运动方式中，相机及其视野固定，对视野内的运动目标进行跟踪检测，具有空间和时间上的区域限制，仅能得到固定区域、固定时间段中的目标运动轨迹；变化视场内参照物运动是对固定视场方式的一种改进，通过云台等多维运动系统实现相机视野的变化，能够拓展运动目标跟踪的范围和时间得到扩展，但是由于镜头等光学器件的限制，当运动目标超出一定范围则无法成像或成像目标体的“点化”现象；固定参照物视场变动模式下，相机视野随运动目标的运动变化，利用相邻两帧图像中的固定参照物的空间位置不变特性实现运动目标的轨迹计算，此类方法不受相机视野的限制，能够有效地提高运动体轨迹提取的作用范围，但是要求相邻两帧之间必须具有一定的重复。由于运动目标瞬时空间位置坐标是通过相对前一时刻空间位置坐标的相对变化得到，因此存在轨迹计算的累积误差较大的问题，同时由于目标体运动过程中的姿态变化、参照环境的复杂性等因素，导致轨迹计算的精度很难得到保证。
本论文针对固定参照物视场变动模式下运动目标轨迹提取问题进行深入研究，设计开发了基于视频图像序列的运动目标轨迹提取系统；提出了成像系统外
参实时校正算法、多目标优化特征提取算法，有效的解决了累积误差较大、坐标计算精度低等问题，实现了运动目标轨迹的精确测算。
1.2课题相关领域研究现状
1.2.1基于卫星定位导航系统的运动目标轨迹提取技术
随着科学技术的不断进步，卫星定位导航系统与计算机视觉技术相结合在目标运动轨迹跟踪提取领域得到了广泛的应用。通过接收至少4颗卫星不间断发送自身星历参数和时间信息，对地面目标进行精确定位，从而可以有效地对目标运动轨迹进行跟踪和定位。目前，可实用的卫星导航系统有美国全球卫星定位导航系统(GPS)、前苏联的全球导航卫星系统(GLONASS)、欧洲“伽利略”以及我国自主研发的“北斗”卫星导航系统。
美国的全球定位系统GPS在20世纪60年代末开始研发。1978年发射第一颗卫星，迄今共经历了在轨验证试验的第一代GPS-1和实用组网的第二代GPS-2、GPS-2A、GPS-2R、GPS-2F等不断改进的型号。二十多年来，经过不断改进，GPS 卫星的寿命得到不断的延长，抗干扰能力和导航精度不断提高，并增强了地面站的保密性能及星间链路安全性。美国的GPS系统无论在军事还是民用方面都对全球产生了重大影响；俄罗斯全球导航系统GLONASS是一个由俄军方控制使用的全球卫星导航系统，1982年开始正式发展，1996年宣布建成。GLONASS的发展大致可分为两个阶段，。第一阶段是1982至1985年的试验阶段，共发射11颗第一代试验卫星；第二阶段是1985年至1995年的部署阶段，共发射57颗三种型号的卫星，使系统达到满星座运行。但GLONASS卫星寿命较短，建成之后又不能及时进行补网卫星发射，导致在轨可用卫星少。GLONASS的应用普及远远不及GPS；1992年2月10日欧盟执行机构欧洲委员会公布了欧洲导航卫星系统Galileo计划。2002年3月26日，欧盟15国交通部长会议一致决定正式启动Galileo计划。2003年5月26日，欧空局15个成员国就联合开发Galileo系统达成协议，解决了阻碍Galileo计划顺利实施的投资与利益分配问题。2003年7月11日，Galileo系统的首批两颗卫星合同授出。
我国在2000年首先建成北斗导航试验系统。2007年4月14日，成功发射了第一颗北斗导航卫星，2009年4月15日，我国在西昌卫星发射中心用“长征
三号丙”运载火箭成功将第二颗北斗导航卫星送入预定轨道。2010年1月17日，成功将第三颗北斗导航卫星送入预定轨道。根据系统建设总体规划，2012年左右，系统将首先具备覆盖亚太地区的定位、导航和授时以及短报文通信服务能力；2020年左右，建成覆盖全球的北斗卫星导航系统。
自从卫星导航定位系统投入运行以来，其应用领域不断扩展，应用潜力也不断得到开发。同时，对定位精度、实时性方面的要求也越来越高。对卫星定位导航系统中定位精度较高的GPS而言，GPS卫星的空间几何分布也会对定位精度产生一定程度的影响。在忽略美国SA政策的情况下，普通GPS接收机定位精度约为30 m左右。消除定位精度带来的影响一般是采用差分GPS，实时差分GPS (DGPS)定位的精度可以达到2 m--5 m。对于普通的定位和导航应用如陆地车辆、海上船舶、空中飞机以及个人等的定位和导航而言，上述的位置精度己经足够了。但是，在一些特殊的应用领域，如目标运动轨迹精确提取、测绘、地震监测、飞机进场着陆以及其他精密测量领域，要求达到分米级、厘米级甚至毫米级的精度，普通差分GPS就不能满足要求了。另一方面，有时由于道路两旁地物特征复杂，又受高大建筑物、隧道、立交桥、树木等地物的反射和遮蔽等影响，卫星定位导航系统将产生盲区，影响目标跟踪及定位的精度。
由于上述原因，使用卫星定位导航系统无法精确地对目标的运动轨迹进行测算和提取，必须增加其他约束条件，但都需要很高的成本。
1.2.2基于图像的运动目标轨迹跟踪技术的研究现状
基于图像的目标运动轨迹提取技术是对摄像机采集的图像序列进行特征提取，并根据这些特征对图像序列中的目标进行关联、匹配，得到运动目标的运动轨迹。目前该技术根据相机视场和参照物的不同可分为固定视场内参照物运动、变化视场内参照物运动和固定参照物视场变动情况下的运动目标跟踪及轨迹检测。
对于固定视场内参照物运动和变化视场内参照物运动两种情况下的运动目标轨迹提取技术，国内外各国学者都已展开了相关研究，并取得了很多优秀成果。目标跟踪的基本概念首先是由Wax在1955年提出的；1964年，Sittler在包括数据关联等内容的多目标跟踪理论方面取得了突破性进展。随着经过多年的研究与
发展，视频监控系统取得了很大的进步和成就，1997年，美国DARPA （Defense Advanced Research projects Agency ）就设立了以卡内基梅隆大学为首的视觉监控重大项目VSAM（Visual Surveillance And Monitoring），其目标是建立一个能在城市或战场等复杂环境下应用多个摄像机对人、车等的行为进行监控的系统，用于实现人力监控费用昂贵、非常危险或者人力无法到达的场合的监控；2000年开始，美国DARPA又资助了HID（Human Identification at a Distance）项目，其任务是开发多模式、大范围的视觉检测技术，实现远距离人的检测、分类和识别。有26个高校公司参与了该项目。Berkelye 分校从上世纪90年代初开始对实时交通监控方面进行研究，在运动物体分割、运动物体跟踪、遮挡处理等技术方面的研究上取得了一定的成果，并发表了多篇相关科学研究论文。
在国内，对于这两种情况的轨迹提取技术的研究研究起步较晚，发展水平相对较低。我国从1986年开始对图像跟踪正式立项研究，图像跟踪算法理论研究取得了很大的发展。2002年刘永信等人探讨了基于Kalman滤波理论的渐消记忆递归最小二乘法在重建图像背景中的应用；同年，张辉等人研究了如何实现出格点检测和聚类自动检测；1999年王栓等介绍了一种基于差分图像的运动目标检测算法，检测结果是符号化了的图像，其中运动目标由外接矩形表示，然后根据连续性约束假设，实现了运动目标的跟踪；2003年隋晔等讲述了交通监控系统中应用视频图像流来跟踪运动目标并对目标进行分类的具体过程和原则，基于目标检测提出了双差分的目标检测算法，目标分类应用到了连续时间限制和最大估计的原则。
而对于固定参照物视场变动情况下的图像分析研究目前还处于目标的检测、跟踪和测量上，还没达到轨迹精确测算的理论高度。如：美国MIT的Lincoln实验室自90年代以来，在航拍图像处理方面做了大量的工作，他们综合利用高分辨率多极化航拍图像的多种特征进行目标的自动识别，因其高分辨率的数据特性，可采用二维匹配的方法确定目标的位置及方位角，最后采用盒维数对目标进行检测、跟踪。同时，西欧各国也投入了大量的人力物力从事航拍目标识别、跟踪的技术研究，如英国学者采用MUM（Mergeusing Moments）算法和最大似然估计对航拍图像的纹理特征进行分类，法国Sheffield University的学者采用模板匹配运用互相关及K-S相关（Kolmogorov-Smirnov）算法提取特征，都得到了很
好的效果。国内发展也较快，已经有很多研究机构投入到航拍图像分析研究中，中北大学、国防科技大学、东南大学以及中国科学院电子学研究所38所等单位一直在积极开展固定参照物视场变动情况下的图像跟踪、检测方面的研究。上述研究成果虽然能够很好地实现固定参照物视场变动情况下的目标识别、跟踪等图像分析工作，但是很难实现运动目标的轨迹测算。这是因为在轨迹测算过程，需要解决相机视场中相对位置精确提取，相机的瞬时姿态校正、轨迹误差累积消除等关键技术。目前这些相关技术还处在理论研究阶段，还未组成应用于实际的成型系统。
1.3课题来源
本课题来源于中北大学申请的山西省自然基金“基于时、空图像信息融合的三维测量技术（基金号2007012003）”。在此基金的支持下，论文主要是利用图像序列的时、空信息实现运动的目标运动轨迹的精确测算。
1.4主要研究内容
本文在深入研究图像的时、空信息的基础上，组建了基于视频图像序列的目标运动轨迹提取系统。在该系统中，研究了成像系统外参实时校正算法、多目标优化特征提取算法，有效的解决了累积误差较大、坐标计算精度低等问题，实现了运动目标轨迹的精确测算。具体研究内容如下：
第一章介绍了课题的研究背景、目的和意义，综述了目标轨迹提取的研究现状，然后对基于GPS 的目标运动轨迹提取技术和基于图像的目标运动轨迹跟踪技术的两种形式分别做了介绍。最后提出了本文的研究内容，确定了本文的研究方向。
第二章在了解了本课题的研究目的和应用背景的基础上，组建了目标运动轨迹提取系统。该系统融合了图像实时采集、图像处理、目标运动轨迹测算和提取以及数据存储的功能。然后分别详述了视频采集子系统、相机姿态实时获取子系统、光照自适应子系统以及详细说明了各个子系统之间的关系和功能，为后面章节中的算法模型建立和实验验证提供了可靠的系统平台。
第三章在分析了系统组成的基础上，研究了相机参数标定及姿态校正技术。
首先分析了相机成像模型和相机参数标定方法，然后利用两步法对相机参数进行标定。其次在对空间坐标系分析的基础上，通过陀螺仪获取的数据和空间坐标系变换关系对相机姿态实时校正。
第四章针对基于多目标优化SIFT特征匹配算法，研究了多目标优化理论及优化模型的构建，建立了以相关系数和特征点之间的欧氏距离为目标函数，以置信度为约束条件的多目标优化模型，并通过实验仿真对本文提出的算法模型进行验证。最后研究了实际运动轨迹提取并进行了实验验证。
第五章对论文的主要研究成果和创新之处进行了总结，分析了论文中存在的问题，为今后进一步的研究指明了方向。
2运动目标轨迹提取系统的设计
2.1系统原理及构成
系统的硬件组成：计算机、陀螺仪、千兆网采集卡以及摄像机。如图2.1所示。
图2.1 系统硬件组成
系统的软件组成主要分为三个软件处理模块：视频采集模块（CCD成像系统和图像采集）、目标姿态实时获取模块、光照调节模块以及图像处理模块（包括图像预处理、特征点提取以及目标匹配）。如图2.2所示。
图2.2 系统软件组成
系统的工作流程如下：摄像机的模拟信号通过千兆网线传送至计算机。计算机通过千兆网卡将模拟视频信号转换为数字信号，该转换输出的数字图像一方面在计算机显示，另一方面千兆网采集卡的输出同时传送至内存进行目标检测和跟踪。通过对图像序列的特征点提取和匹配结果获得相邻帧图像间的距离变化以及角度变化。最后依据陀螺仪实时获取的坐标系角度变化和空间坐标系的转换关系，实现目标运动轨迹的实时跟踪和提取。
2.1.1 视频采集模块
（1）摄像机
摄像机是监控系统的重要部件。工程应用中大量采用的是电荷耦合式CCD(Charge Coupled Devices)，在图像采集领域，CCD传感器是一种新型的固体成像器件。利用这种芯片，借助于必要的光学系统和合适的外围驱动电路，可以将景物图像，经过光敏区上逐点的光电信号转换、储存和传输、在输出端产生系列时序视频信号，从而把一幅按空间域分布的光学图像，变成一列按时间域分布的离散电信号。
作为一种固体成像器件，CCD具有以下特点：体积小、重量轻、电压及功耗低、可靠性高、寿命长等一系列优点；且具有很高的空间分辨力、光敏元间距
的几何尺寸精确、可以获得很高的定位精度和测量精度；具有较高的光电灵敏度和大的动态范围；数据速率可调，可适用于动态与静态等各种条件下的测量。
随着技术的快速发展,使用于各种环境的CCD相机的视频采集系统正在被不断地开发出来。通常, 系统在工作时由CCD相机将采样的数据传输给计算机。然而随着实时获取图像要求的不断提高和图像质量的不断改善, 数据传输速率呈现出显著的增长趋势, 如何保证传输过程的稳定和可靠成为设计中越来越需要重视的问题。常见的数字图像采集系统与计算机的传输接口主要有三种：PCI 总线，USB总线，以太网。
（2）图像数据采集模式
①图像采集卡
图像采集卡是视频采集子系统的重要组成部分，其主要功能是对相机所输出的图像数据进行实时的采集，并提供与PC的高速接口。
图2.3图像采集卡
采集卡与CCD相机间通过点对点物理层接口进行数据传输，高速数据采集卡接收到数据并通过PCI总线将数据写入计算机内存，然后利用采集卡的存储功能将数据通过IDE接口写入计算机硬盘。这种方法虽然简单可靠，但对多通道、高速图像数据的采集在数据传输和存储方面有一定的局限，容易引起数据帧的丢失，并且随着传输通道的增多，引起传输导线数量增加，系统功耗及噪声也随之增大。
②USB视频采集
USB总线即通用串行总线。USB(universal serial bus)是由Intel、ComPaq、Digital、IBM、Microsoft、NEC、Northem Telecom等7家世界著名的计算机和通信公司共同推出的一种新型接口标准。它基于通用连接技术，实现外设的简单快速连接，达到方便用户、降低成本、扩展PC连接外设范围的目的。它可以为外
设提供电源，而不像普通的使用串、并口的设备需要单独的供电系统。另外，快速是USB技术的突出特点之一，USB的最高传输率可达12Mbps，比串口快100倍，比并口快将近10倍，而且USB还能支持多媒体。
在USB系统中，不同类型的USB设备使用相同的接口，因而用户在连接时，不需要考虑连接接口的类型以及接口的硬件电气特性。USB设备具有热插拔、即插即用的特点。用户可以在开机的情况下，对设备进行插拔操作。USB总线带有5V的电源线和地线，USB设备可以从系统总线上获得+5V、小于等于500mA 总线供电，因而，在USB设备设计时可选择采用总线供电或外接电源。根据USB 系统规范，USB总线上总共可以连接127个USB设备，用户只需直接把设备连接到空闲的USB接口上。由于USB接口不占用系统的I/O口、地址总线和中断向量，当总线上的接口不够时，用户只需通过USB集线器来扩展更多的USB接口即可。
通用串行总线USB数据采集：USB 2.0的理论速度可以达到480Mbps/s，采用USB 2.0能够实现CCD相机的数据高速采集，具有连接方便、无需外接电源、即插即用、支持热插拔、高带宽、低功耗、低成本、动态加载驱动程序，级联星型拓扑结构扩充外设数量等特有优点，在主机和数据采集系统之间可以实现简单、快捷、双向、可靠的连接和通讯。
③以太网接口
以太网是目前应用最广泛的计算网络技术，在它上面应用的TCP／IP协议也已经发展的比较成熟并得到了广泛的认可。目前10Mbps的以太网已家喻户晓，lOOMbps的快速以太网已开始广泛应用，1000Mbps以太网技术也已逐渐成熟，10Gbps以太网亦即将投入使用。其速率可以满足对带宽有更高要求的需要。
在图像数据传输方面，以太网可以高速传输和存储图像数据，不容易引起数据帧的丢失，系统功耗小等特点可以完全满足系统的实时图像数据处理的要求，同时，由于几乎所有的编程语言都支持以太网的应用开发，具有很好的发展前景。因此，如果将以太网引入视频图像存储系统，可以保证通过图像实时记录高速运动目标的运动规律，既而为高速运动目标的运动参数测量、跟踪、制导提供可靠的数据支撑。
在本课题中，由于固定参照物视场变动，相机跟目标一起运动，则需采用高帧率的图像采集设备，才能实时记录目标的运动规律；相应地在图像数据传输方
面，对传输效率和图像存储速度也提出了很高要求。为此课题采用以太网技术实时数据获取方案, 将数据接收的任务交由一台通用PC机来实现, 很好地解决了数据传输问题。该方案具有简便、有效、能适用于各种高速运动目标等优点，有助于目标运动轨迹的精确提取。
2.1.2目标姿态实时获取模块
在目标运动轨迹提取过程中，由于外界环境复杂和目标自身运动引起相机的俯仰角、滚动角以及偏航角变化，相机自身的坐标系轴也发生了相应地变化。此时反应到图像坐标系中角度变化并不是实际的角度变化量，从而使得标定后的相机参数及标定坐标系发生紊乱，影响后续轨迹测算的精度，最终导致空间坐标系转换以及轨迹提取产生误差。此时，很难继续对目标运动轨迹进行精确提取。在图像处理过程中如果知道相机在惯性坐标系下的姿态，将为目标运动轨迹跟踪提供辅助定位信息，从而能有效地提高轨迹提取的精度。但是仅仅通过图像序列之间的相互关系无法精确且实时获取相机的运动姿态。
陀螺仪能感应目标的空间姿态变化，是定姿定向应用中的关键器件。它是一个质量分布均匀的、具有轴对称形状的刚体，其几何对称轴就是它的自转轴。在一定的初始条件下，陀螺仪会在不停自传的同时还绕着另一个固定的转轴不停地旋转，旋转轴所指的方向在不受外力影响时，是不会改变的。陀螺仪是一种能够精确地确定运动物体的方位以及运动姿态的仪器。它不仅可以全面地检测到几乎所有的运动参数，而且还有一个极大的优点，陀螺仪是完全自主式的测量方法，它不依赖外部的光线，电磁波，声音，磁场等等的外部信息来测量相机角运动，其工作完全不受自然的和人为的干扰影响。通过陀螺仪能够检测目标运动过程中相对于惯性空间所转动的角度，然后再通过相应的数学模型和空间坐标系的变换得出相机在运动过程中的俯仰角、滚转角以及偏航角，可以避免因为相机坐标系轴的角度变化引起的累积误差，通过陀螺仪实时获取的相机运动位置和姿态，进而提高目标运动轨迹测算的精度。
为此系统在运行过程中，装载陀螺仪，实时获取目标运动姿态的变化，为目标运动轨迹的提取提供可靠的辅助定位。
2.1.3 光照调节模块
在目标运动轨迹提取过程中，外界光线的变化和地面图像本身特征点不明显的各种因素，可能对图像的采集结果产生影响，以至于在后续图像处理过程中的特征点提取、图像匹配以及轨迹提取的精度环节造成较大误差。光照自适应子系统就是借助外光源使得在图像采集过程中获得较为理想的图像。 ①软件调节
曝光是用来计算从景物到达相机光通量大小的物理量，只有使感光芯片CCD 获得正确的曝光，才能获得高质量的照片。曝光过度，照片看起来就太亮，即灰度过大；曝光不足，照片看起来就会太暗，即灰度过小。
在实验过程中，由于受外界环境光线变化的影响，往往无法获得满意的曝光效果，使得相机获得的图像灰度大小不一，继而会影响到后续的特征点提取和图像匹配精度。如果可以根据光线或者图像序列灰度均值的变化情况自动调节相机的曝光量，那么就可以达到较为满意的曝光效果。因此在系统中融入自动曝光控制模型。它通过将整幅图像的某一区域的灰度均值与预先设定的参考值比较，来进行CCD 相机曝光量的自动控制。
根据实验要求建立数学模型如下：
,((,))
(,)(,)x i y j T g f x y f x y u x y M ∈∈?=?
?=
??
∑ （2.1）
其中T 为曝光时间，((,))g f x y 为曝光量调节函数，(,)f x y 为灰度均值，
(,)u x y 为单个像素灰度值，M 为曝光量调节所针对的图像区域像素个数。
具体算法流图如下所示：
图2.3自动曝光流程图
首先对采集获得的图像计算灰度均值，根据图像灰度值与参考值的比较(,)
f x y aε
-<，其中a为预先设置的参考值，ε为阈值。如果满足判断条件，则
曝光时间调整结束；反之，则对曝光时间进行相应地调整。当((
,))
f x y aε
->时，减少曝光时间；反之，增加曝光时间。
②机械辅助调节
由于相机的局限性和外界光线变化的随机性，有时仅仅依靠软件调节曝光量也无法达到较好的效果。此时可以通过安装光源和遮光罩尽量使得光线变化趋于均匀和稳定。光照自适应子系统的机辅助调节部分主要包括光源、可调节型遮光罩、套筒等辅助设备。
镜头
套筒
图2.4总体结构示意图
如上图所示，套筒固定在车体后方两车轮之间上，它也是整个机械辅助调节系统的主体装置，CCD相机装置在套筒的前端，如虚线所示部分。最外层是装置在套筒中部开放性的可调节性遮光罩。可调节型遮光罩安装在相机及辅助光源
的外围。遮光罩可以起到防止成像光、散射光以及干扰光进入镜头，某种程度上还可以为镜头遮挡风沙、雨水等。
镜头
相机
灯
图2.5 LED灯圆环形光源
CCD相机和镜头在整个辅助性设备的中间位置，周围由数个LED灯组成环形光源，套在相机外围且将相机放置在圆环形光源的中心，并通过最外层的可调节性遮光罩使辅助光源的光线可以均匀的补充到相机视场。
2.2成像设备选型分析
摄像机是基于视频图像序列的目标运动轨迹提取系统中的重要部件。它的正确选取对后续的图像采集和目标运动轨迹测算具有重要的影响。下面主要研究分析相机的测量理论以及相机的选取依据。
2.2.1相机理论测量分辨率
图2.6 相机理想线性成像模型
根据图2.6，假设相机的焦距为d，物距为D，视场宽为L，视场中特征提取区域宽度为'L，L所对应的像宽为l，'L所对应的像宽为'l。
由相机理想线性成像模型得：
'
'
L L D l
l
d
=
=
（2.2）
当相机随目标体向前运动x ?时，同时保证图2.6中的特征区域在当前图像中仍存在，则相机的理想成像模型如图..所示。
图2.7相机向前平移后的理想成像模型
由上图可知，当位置沿着光轴垂直方向移动，不改变物体在相机焦平面上像的大小。则可以利用图2.6和图2.7进行对比分析，可以获得当相机前移时，特征区域在相机焦平面上的移动的像素数。
由图 2.7可知，根据A B O ?和''A B O ?的相似关系，可以求得特征区域在相机焦平面上移动的距离l ?为：
d x l D
??=
（2.3）
根据公式（2.2）、（2.3）可以为CCD 相机和镜头的选择，提供一定的理论依据。 2.2.2成像设备选型
在分析了相机理论测量分辨率技术的基础上，根据实验时相机载体的运动速
度、物距以及相机成像速度等因素，确定相机的分辨率、成像范围、帧率等参数，进而实现摄像机的正确选取。 （1）CCD 相机和镜头选择
相机距离地面的高度为100cm ，采用16mm 的镜头。假设车往前行走5cm ，如果测量精度为厘米级，在图像上至少要反应5个像素的变化。根据公式（2.3）计算相机的分辨能力为0.8mm 。而1/2尺寸16mm 镜头的水平视场角为：22.2°，则水平方向视场大小为：392.4mm ，相机水平方向的分辨率至少为491个像素。
为了保证后序车行轨迹提取的可行性，假设两帧图像之间存在1/3的重合区域，那么车在采集两帧图像的时间内车行驶距离为36.67cm 。则如果要满足在50km/h 的速度下，仍能很好地提取车辆行驶轨迹，则需在1s 内采集53帧。
针对上述分析特选择维视的MV-VS030 FM / FC 相机和维视的VS-1614M 镜头，具体参数如表2.1和2.2所示：
表2.1 选择的工业相机的主要性能参数
表2.2 相机镜头主要性能参数
（2）千兆网卡选择
根据MV-VS030 FM / FC 相机参数，每秒采集60帧，图像大小为640×480，位数为8位，则一秒所要进行的传输的字节数为：
640480608147456000140.625n b M b
=???==
为此，选用Intel PWLA8492MT 千兆网卡。
2.3本章小结
本章根据论文的实验要求组建了目标运动轨迹提取系统。然后分别详述了视频采集子系统、相机标定子系统、目标姿态实时获取子系统以及光照自适应子系统。最后针对本课题的实验要求选取了相应地成像设备，从而后面章节中的算法模型建立和实验验证提供了可靠的系统平台。
3、相机参数标定及姿态校正
3.1 相机参数标定
在基于视频图像序列的目标运动轨迹提取系统的研究领域中，相机参数是必不可少的部分。对于该系统而言，系统轨迹的精确测算和提取是在相机经过初始标定的基础上进行的。相机参数的标定精度、标定速度以及标定模型的可移植性直接决定着轨迹提取精度等。为此在本系统研究过程中，初始位置的相机参数标定过程显得尤为重要。
相机标定可以确定相机的几何光学特性(内部参数)包括焦距f、畸变系数
k
1和非确定性标度因子
s以及在特定的世界坐标系中相机的位姿(外部参数)包括
x
括世界坐标系相对于相机坐标系的正交旋转矩阵R和平移矩阵T。从而建立起三维世界坐标和二维计算机图像坐标之间的关系，以实现二维信息和三维信息的相互转换。因此，摄像机标定结果的精度及算法的稳定性直接影响后续处理的准确性。
其标定过程是在确定成像模型的基础上，建立空间坐标系中物体点同它在图像平面上像点之间的函数关系。因此在对相机标定之前，首先要根据CCD相机的成像原理建立CCD相机成像模型
3.1.1相机成像模型分析
（1）透视成像模型
视频图像是成像系统利用摄像机获取的时变三维空间场景的二维投影，从三位空域场景到二维图像平面的不同投影方式。分为透视（perspective）投影和正交（orthographic）投影。
正交投影也称为平行投影（parallel projection）,是实际图像处理的一个近似方法。这种投影模型假设所有从三维场景出发到图像平面的光线走向相互平行。不管相机与三维空域场景之间的距离相距多远，总可以产生相同的图像，当场景与相机之间的距离大大超过场景上的点相对于自身坐标系的深度时，正交投影将提供更好的近似表示，且在这种情况下，由于正交投影为线性投影，可以在图像处理时使数学推导和计算较为简单。但是，正交投影不能很好的描述相机与场景之间的距离、空间角度等一系列透视特性的变化规律。
透视投影是用中心投影法将形体投射到投影面上，从而获得的一种较为接近视觉效果的单面投影图。它具消失感、距离感、相同大小的形体呈现出有规律的变化特性，能逼真地反映形体的空间形象。透视投影符合人们心理习惯，即离视点近的物体大，离视点远的物体小，远到极点即为消失，成为灭点。因此，透视投影更适合本实验的要求。
透视投影使用一种基于几何光学原理的理想小孔（ideal pinhole）成像原理来描述二维图像的形成。多有从三位空域场景中出发的光线均通过称为“投影中
心”的透镜中心，当投影中心位于场景与图像平面之间时，透视投影原理如图3.1所示：
)
3
3
图3.1 透视投影原理图
上图所示，图像平面与全局坐标系的12X X （）平面重合。根据图中的结构，
描述三维空域场景中的点123(X ,X ,X )与二维图像平面上的透视投影对应点
12X ,X （）之间坐标变换关系的数学表达式为：
113
fX x f X =
- 223
fX x f X =
- （3.1）
其中：f 为投影中心与图像平面间的距离。
如果移动投影中心与全局坐标系原点重合，如图3.2所示
1
图3.2投影透视原理图
则公式（3.1）变为：
113
X X f x =
223
fX x X =
（3.2）
（2）目标的空间位置确定
在计算机视觉处理中，我们通常所研究的视频图像序列是由相机对三维空间中的场景经过采样、映射等过程形成的。相机在拍摄三维空间中的场景时，其拍摄范围为位于正对摄像机的某一夹角范围内的空间景物，设拍摄空域范围为Ω。在时刻t 时，对于所拍摄的空间中某目标点(,,,)X Y Z t ，经过一定波长λ的光照，在该点有一定的反射能量，形成某种反射信息，这里我们假设信息模型为
(,,,,)
L X Y X t λ经过摄像机的投影成像，在成像平面上会形成三维空间中
(,,,,)L X Y X t λ的一个二维图像(,,)I x y t 。
沿着时间轴多个这样的投影成像就构成了视频序列图像。因此有必要研究三维空域中摄像机成像模型，即描述场景中物体的三维结构、运动（位移和旋转）和相机机三维运动（缩放、旋转和平移）以及他们相对运动的数学模型。
一个物体的三维空域位置变化可以用以下的仿射变换来表示：
'X R X T =+ （3.3）
其中，X 和'X 分别表示刚体外表面上的一个点在时刻t 和't 相对于坐标中心的坐标矢量。
123X X X X ??
??
=??
????， '1''2'3X X X X ????=??????
（3.4）
R
为代表旋转变换的一个33?的旋转矩阵。T 表示一个三维平移变换矢量，
其为：
123T T T T ??
??
=??????
（3.5）
三维旋转的矩阵R 可以用相对于三个坐标轴123,,X X X 的欧拉（Eulerian ）角
θψφ、、来表示
关于图像特征提取 特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。 特征的定义 至今为止特征没有万能和精确的定义。特征的精确定义往往由问题或者应用类型决定。特征是一个数字图像中“有趣”的部分，它是许多计算机图像分析算法的起点。因此一个算法是否成功往往由它使用和定义的特征决定。因此特征提取最重要的一个特性是“可重复性”：同一场景的不同图像所提取的特征应该是相同的。 特征提取是图象处理中的一个初级运算，也就是说它是对一个图像进行的第一个运算处理。它检查每个像素来确定该像素是否代表一个特征。假如它是一个更大的算法的一部分，那么这个算法一般只检查图像的特征区域。作为特征提取的一个前提运算，输入图像一般通过高斯模糊核在尺度空间中被平滑。此后通过局部导数运算来计算图像的一个或多个特征。 有时，假如特征提取需要许多的计算时间，而可以使用的时间有限制，一个高层次算法可以用来控制特征提取阶层，这样仅图像的部分被用来寻找特征。 由于许多计算机图像算法使用特征提取作为其初级计算步骤，因此有大量特征提取算法被发展，其提取的特征各种各样，它们的计算复杂性和可重复性也非常不同。 边缘 边缘是组成两个图像区域之间边界（或边缘）的像素。一般一个边缘的形状可以是任意的，还可能包括交叉点。在实践中边缘一般被定义为图像中拥有大的梯度的点组成的子集。一些常用的算法还会把梯度高的点联系起来来构成一个更完善的边缘的描写。这些算法也可能对边缘提出一些限制。 局部地看边缘是一维结构。 角 角是图像中点似的特征，在局部它有两维结构。早期的算法首先进行边缘检测，然后分析边缘的走向来寻找边缘突然转向（角）。后来发展的算法不再需要边缘检测这个步骤，而是可以直接在图像梯度中寻找高度曲率。后来发现这样有时可以在图像中本来没有角的地方发现具有同角一样的特征的区域。 区域 与角不同的是区域描写一个图像中的一个区域性的结构，但是区域也可能仅由一个像素组成，因此许多区域检测也可以用来监测角。一个区域监测器检测图像中一个对于角监测器来说太平滑的区域。区域检测可以被想象为把一张图像缩小，然后在缩小的图像上进行角检测。 脊 长条形的物体被称为脊。在实践中脊可以被看作是代表对称轴的一维曲线，此外局部针对于每个脊像素有一个脊宽度。从灰梯度图像中提取脊要比提取边缘、角和区域困难。在空中摄影中往往使用脊检测来分辨道路，在医学图像中它被用来分辨血管。 特征抽取 特征被检测后它可以从图像中被抽取出来。这个过程可能需要许多图像处理的计算机。其结果被称为特征描述或者特征向量。 常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。 一颜色特征 （一）特点：颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。另外，仅使用颜色特
摘要 运动目标检测方法是研究如何完成对视频图像序列中感兴趣的运动目标区域的“准确定位”问题。光流场指图像灰度模式的表面运动，它可以反映视频相邻帧之间的运动信息，因而可以用于运动目标的检测。MATLAB这种语言可移植性好、可扩展性强，再加上其中有丰富的图像处理函数，所以利用MATLAB 软件来用光流法对运动目标的检测中具有很大的优势。本设计主要可以借助matlab软件编写程序，运用Horn-Schunck算法对图像前后两帧进行处理，画出图像的光流场。而图像的光流场每个像素都有一个运动矢量，因此可以反映相邻帧之间的运动，分析图像的光流场就可以得出图像中的运动目标的运动情况。 关键字：光流法；Horn-Schunck算法；matlab
目录 1光流法的设计目的 (1) 2光流法的原理 (1) 2.1光流法的介绍 (1) 2.1.1光流与光流场的概念 (1) 2.1光流法检测运动目标的原理 (2) 2.1.1光流场计算的基本原理 (2) 2.2.2基于梯度的光流场算法 (2) 2.2.3Horn-Schunck算法 (3) 2.2.4光流法检测运动目标物体的基本原理概述 (5) 3光流法的程序具体实现 (6) 3.1源代码 (6) 3.1.1求解光流场函数 (6) 3.1.2求导函数 (9) 3.1.3高斯滤波函数 (9) 3.1.4平滑性约束条件函数 (10) 3.1.5画图函数 (10) 4仿真图及分析 (12) 结论 (13) 参考文献 (14)
1 光流法的设计目的 数字图像处理，就是用数字计算机及其他有关数字技术，对图像进行处理，以达到预期的目的。随着计算机的发展，图像处理技术在许多领域得到了广泛应用，数字图像处理已成为电子信息、通信、计算机、自动化、信号处理等专业的重要课程。 数字图像处理课程设计是在学习完数字图像处理的相关理论后，进行的综合性训练课程，其目的是：使学生进一步巩固数字图像处理的基本概念、理论、分析方法和实现方法；增强学生应用Matlab编写数字图像处理的应用程序及分析、解决实际问题的能力；尝试所学的内容解决实际工程问题，培养学生的工程实践能力。 运动目标检测是数字图像处理技术的一个主要部分，近些年来，随着多媒体技术的迅猛发展和计算机性能的不断提高，动态图像处理技术日益受到人们的青睞，并且取得了丰硕的成果，广泛应用于交通管理、军事目标跟踪、生物医学等领域。 因此，基于光流法，实现运动目标的检测是本文的研究对象。结合图书馆书籍、网上资料以及现有期刊杂志，初步建立起运动目标检测的整体思路和方法。 2 光流法的原理 2.1 光流法的介绍 2.1.1 光流与光流场的概念 光流是指空间运动物体在观测成像面上的像素运动的瞬时速度，它利用图像序列像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即反映图像灰度在时间上的变化与景物中物体结构及其运动的关系。将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量。视觉心理学认为人与被观察物体
数字图像目标分割与提取研究背景意义目的与现状 1 背景 数字图像目标分割与提取是数字图像处理和计算机视觉领域中一个备受关注的研究分支。因为在目标分割与提取过程中可以利用大量的数字图像处理的方法，加上其在计算机视觉、模式识别等领域中的广泛应用，都吸引了众多研究者的注意。相信对这一问题的深入研究不仅会不断完善对这一问题的解决，而且必将推动模式识别、计算机视觉、人工智能等计算机科学分支的发展。图像分割和边缘检测的问题在近二十年中得到了广泛的关注和长足的发展，国内外很多研究人士提出了很多方法，在不同的领域取得了一定的成果。但是对于寻找一种能够普遍适用于各种复杂情况的准确率很高的分割和检测算法，还有很大的探索空间。边缘提取和分割是图像分析的经典研究课题之一，目前的理论和方法仍存在许多不足之处，仍在不断改进和发展。 由于图像的多义性和复杂性，许多分割的工作无法依靠计算机自动完成，而手工分割又存在工作量大，定位不准确的难题，因此，人们提出了一些人工交互和计算机自动定位相结合的方法，利用各自的优势，实现目标轮廓的快速定位。相信这些交互式方法的应用，必将推动图像目标分割与提取这一既具有广阔的应用前景又具有重要的学术价值的课题的进一步研究，也必将成为一个更为独立和活跃的研究领域[1]。近年来，DSP技术的发展不断将数字信号处理领域的理论研究成果应用到实际系统中，并且推动了新的理论和应用领域的发展，对图像处理等领域的技术发展也起到了十分重要的推动作用。基于DSP的图像处理系统也被广泛的应用于各种领域。 从图像处理技术的发展来看，实时性在实际中有着广泛的应用。实时图像处理系统设计的难点是如何在有限的时间内完成大量图像数据的处理。因为要对图像进行实时处理,所以为了实现实时和快速,高效的处理,在这个系统中要求我们的图像处理速度要达到一定的速度，而图像处理的速度是由算法的执行时间、视频输入输出延迟以及外部数据存储器与DSP的数据交换效率等因素决定。算法执行时间与CPU 速度有关;图像处理的速度既图像处理所要用的时间，它主要是由算法决定的。算法执行的指令的多少决定了处理速度。而图像的处理的算法包含有大量的算法指令，为了快速的处理大数据量的多媒体信息，特别是活动图像信息，同时又能灵活的支持多种不同的应用，DSP的应用势在必行。相比于通用的DSP，用于多媒体应用的专用DSP集成了许多专用模块，这些模块用硬件加速很多通用的多媒体方面的大量算法明晰的处理、实时性强等要求.由于图像处理的数据量大，数据处理相关性高，实时的应用环境决定严格的帧、场时间限制，因此实时图像处理系统必须具有强大的运算能力。各种高性能DSP不仅
第1章图像视觉特征的提取和表示 1.1引言 图像视觉特征的提取和表示是将图像的视觉信息转化成计算机能够识别和处理的定量形式的过程，是基于视觉内容的图像分类与检索的关键技术，因此，图像视觉特征的提取和表示一直是图像内容分析领域中一个非常活跃的课题。 图像底层视觉特征一定程度上能够反映图像的内容，可以描述图像所表达的意义，因此，研究图像底层视觉特征是实现图像分类与检索的第一步。一般来说，随着具体应用的不同，选用的底层特征也应有所不同，在特定的具体应用中，不同底层视觉特征的选取及不同的描述方式，对图像分类与检索的性能有很大的影响。通常认为，一种良好的图像视觉特征的提取和表示应满足以下几个要求： (1)提取简单，时间和空间复杂度低。 (2)区分能力强，对图像视觉内容相似的图像其特征描述之间也应相近，反之，对于视觉内容不相似的图像其特征描述之间应有一定的差别。 (3)与人的视觉感知相近，对人的视觉感觉相近的图像其特征描述之间也相近，对人的视觉感知有差别的图像其特征描述之间也有一定的差别。 (4)抗干扰能力强，鲁棒性好，对图像大小，方向不敏感，具有几何平移，旋转不变性。 本章重点讨论当前比较成熟的特征提取方法，在此基础上选取合适的特征提取方法，用于图像分类与检索系统的特征提取模块。接下来，将依次介绍颜色，纹理，形状等特征的提取和表示方法，最后对各种特征的特点加以比较。 1.2颜色特征的提取和表示 颜色是图像视觉信息的一个重要特征，是图像分类与检索中最为广泛应用的特征之一。一般来说同一类别的图像之间颜色信息具有一定的相似性，不同类别的图像，其颜色信息具有一定的差异。相对几何特征而言，颜色特征稳定性好，有对大小、方向不敏感等特点。因此，颜色特征的提取受到极大重视并得到深入研究。本章首先介绍几种常用的颜色空间模型，然后介绍各种颜色特征提取和表示方法。 1.2.1颜色空间模型 为了正确地使用颜色这一特征，需要建立颜色空间模型，通常的颜色空间模型可用三个基本量来描述，所以建立颜色空间模型就是建立一个3-D坐标系，其中每个空间点都代表某一种颜色。通常来说，对于不同的应用，应该选取不同的颜色空间模型。常用的颜色空间模型主要有：RGB、HIS、HSV、YUV、YIQ、Munsell、Lu*v*和La*b*等。颜色空间模型的选取需要符合一定的标准，下面就这一标准和最常用的颜色空间模型作一些介绍。 文献[错误！未找到引用源。]中介绍了选择颜色空间模型的标准主要有以下几个： (1)观察角度的鲁棒性
图像常见特征提取方法简介 常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。 一、颜色特征 （一）特点：颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。另外，仅使用颜色特征查询时，如果数据库很大，常会将许多不需要的图像也检索出来。颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，基缺点是没有表达出颜色空间分布的信息。 （二）常用的特征提取与匹配方法 （1）颜色直方图 其优点在于：它能简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。其缺点在于：它无法描述图像中颜色的局部分布及每种色彩所处的空间位置，即无法描述图像中的某一具体的对象或物体。 最常用的颜色空间：RGB颜色空间、HSV颜色空间。 颜色直方图特征匹配方法：直方图相交法、距离法、中心距法、参考颜色表法、累加颜色直方图法。 （2）颜色集 颜色直方图法是一种全局颜色特征提取与匹配方法，无法区分局部颜色信息。颜色集是对颜色直方图的一种近似首先将图像从RGB颜色空间转化成视觉均衡的颜色空间（如HSV 空间），并将颜色空间量化成若干个柄。然后，用色彩自动分割技术将图像分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达为一个二进制的颜色索引集。在图像匹配中，比较不同图像颜色集之间的距离和色彩区域的空间关系 （3）颜色矩 这种方法的数学基础在于：图像中任何的颜色分布均可以用它的矩来表示。此外，由于颜色分布信息主要集中在低阶矩中，因此，仅采用颜色的一阶矩（mean）、二阶矩（variance）和三阶矩（skewness）就足以表达图像的颜色分布。 （4）颜色聚合向量 其核心思想是：将属于直方图每一个柄的像素分成两部分，如果该柄内的某些像素所占据的连续区域的面积大于给定的阈值，则该区域内的像素作为聚合像素，否则作为非聚合像素。（5）颜色相关图 二纹理特征 （一）特点：纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。作为一种统计特征，纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。但是，纹理特征也有其缺点，一个很明显的缺点是当图像的分辨率变化的时候，所计算出来的纹理可能会有较大偏差。另外，由于有可能受到光照、反射情况的影响，从2-D图像中反映出来的纹理不一定是3-D物体表面真实
图像特征提取方法 摘要 特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。 至今为止特征没有万能和精确的图像特征定义。特征的精确定义往往由问题或者应用类型决定。特征是一个数字图像中“有趣”的部分，它是许多计算机图像分析算法的起点。因此一个算法是否成功往往由它使用和定义的特征决定。因此特征提取最重要的一个特性是“可重复性”：同一场景的不同图像所提取的特征应该是相同的。 特征提取是图象处理中的一个初级运算，也就是说它是对一个图像进行的第一个运算处理。它检查每个像素来确定该像素是否代表一个特征。假如它是一个更大的算法的一部分，那么这个算法一般只检查图像的特征区域。作为特征提取的一个前提运算，输入图像一般通过高斯模糊核在尺度空间中被平滑。此后通过局部导数运算来计算图像的一个或多个特征。 常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。当光差图像时，常 常看到的是连续的纹理与灰度级相似的区域，他们相结合形成物体。但如果物体的尺寸很小 或者对比度不高，通常要采用较高的分辨率观察：如果物体的尺寸很大或对比度很强，只需 要降低分辨率。如果物体尺寸有大有小，或对比有强有弱的情况下同事存在，这时提取图像 的特征对进行图像研究有优势。 常用的特征提取方法有：Fourier变换法、窗口Fourier变换（Gabor)、小波变换法、最 小二乘法、边界方向直方图法、基于Tamura纹理特征的纹理特征提取等。
设计内容 课程设计的内容与要求（包括原始数据、技术参数、条件、设计要求等）：一、课程设计的内容 本设计采用边界方向直方图法、基于PCA的图像数据特征提取、基于Tamura纹理特征的纹理特征提取、颜色直方图提取颜色特征等等四种方法设计。 （1）边界方向直方图法 由于单一特征不足以准确地描述图像特征,提出了一种结合颜色特征和边界方向特征的图像检索方法.针对传统颜色直方图中图像对所有像素具有相同重要性的问题进行了改进,提出了像素加权的改进颜色直方图方法;然后采用非分割图像的边界方向直方图方法提取图像的形状特征,该方法相对分割方法具有简单、有效等特点,并对图像的缩放、旋转以及视角具有不变性.为进一步提高图像检索的质量引入相关反馈机制,动态调整两幅图像相似度中颜色特征和方向特征的权值系数,并给出了相应的权值调整算法.实验结果表明,上述方法明显地优于其它方法.小波理论和几个其他课题相关。所有小波变换可以视为时域频域的形式，所以和调和分析相关。所有实际有用的离散小波变换使用包含有限脉冲响应滤波器的滤波器段(filterbank)。构成CWT的小波受海森堡的测不准原理制约，或者说，离散小波基可以在测不准原理的其他形式的上下文中考虑。 通过边缘检测，把图像分为边缘区域和非边缘区域，然后在边缘区域内进行边缘定位．根据局部区域内边缘的直线特性，求得小邻域内直线段的高精度位置；再根据边缘区域内边缘的全局直线特性，用线段的中点来拟合整个直线边缘，得到亚像素精度的图像边缘．在拟合的过程中，根据直线段转角的变化剔除了噪声点，提高了定位精度．并且，根据角度和距离区分出不同直线和它们的交点，给出了图像精确的矢量化结果 图像的边界是指其周围像素灰度有阶跃变化或屋顶变化的那些像素的集合，边界广泛的存在于物体和背 景之间、物体和物体之间，它是图像分割所依赖的重要特征．边界方向直方图具有尺度不变性，能够比较好的 描述图像的大体形状．边界直方图一般是通过边界算子提取边界，得到边界信息后，需要表征这些图像的边 界，对于每一个边界点，根据图像中该点的梯度方向计算出该边界点处法向量的方向角，将空间量化为M级， 计算每个边界点处法向量的方向角落在M级中的频率，这样便得到了边界方向直方图． 图像中像素的梯度向量可以表示为[ ( ，)，)，( ，)，)] ，其中Gx( ，)，)，G ( ，)，)可以用下面的
西安理工大学 研究生课程论文 课程名称：数字图像分析 课程代号： 任课教师： 论文题目：单目标图像的目标区域提取完成日期：2015 年 1 月13 日学科： 姓名：
单目标图像的目标区域提取 摘要：图像分割的目的是将图像划分为不同的区域，区域增长是一种根据事先定义的准则将像素或子区域聚合成为更大的区域的过程，分裂合并是根据一致性准则处理目标和背景之间灰度渐变图像的典型算法。本文以单目标图像为对象，通过区域增长和分裂合并的方法实现了对目标区域的提取，并对实验结果进行了分析。 关键字：图像分割；区域增长；分裂合并；二值化 Abstract：The purpose of image segmentation is to divide the image into different areas, regional growth is a kind of according to predefined criteria will become more pixels or subdomain polymerization process of large area, split the merger is processed according to the consistency criterion between target and background gray gradient image of typical algorithm. Based on the single target image as the object, through regional growth and division merge method to extract the target area is achieved, and the experiment results are analyzed. Key words：Image segmentation;Regional growth;Split the merger;binarization 1引言 数字图像处理的目的之一是图像识别, 而图像分割与测量是图像识别工作的基础。图像分割是将图像分成一些有意义的区域, 然后对这些区域进行描述, 相当于提取出某些目标区域图像的特征, 判断图像中是否有感兴趣的目标。图像分割是图像处理到图像分析的关键步骤,在图像工程中占据重要的位置。一方面,它是目标表达的基础,对特征测量有重要的影响。另一方面,因为图像分割及其基于分割的目标表达、特征提取和参数测量等将原始图像转化为更抽象更紧凑的形式,使得更高层的图像分析和理解成为可能。 2技术分析 2.1图像分割 图像分割就是将待处理的图像表示为物理上有意义的连通区域的集合，一般是通过对图像的不同特征如纹理、颜色、边缘、亮度等特征的分析，来达到图像
图像特征提取的定位是计算机视觉和图像处理里的一个概念，表征图像的特性。输入是一张图像（二维的数据矩阵），输出是一个值、一个向量、一个分布、一个函数或者是信号。提取特征的方法千差万别，下面是图像特征的一些特性： 边缘 边缘是两个区域边界的像素集合，本质上是图像像素的子集，能将区域分开。边缘形状是任意的，实践中定义为大的梯度的像素点的集合，同时为了平滑，还需要一些算法进行处理。角 顾名思义，有个突然较大的弧度。早起算法是在边缘检测的基础上，分析边缘的走向，如果突然转向则被认为是角。后来的算法不再需要边缘检测，直接计算图像梯度的高度曲率（合情合理）。但会出现没有角的地方也检测到角的存在。 区域 区域性的结构，很多区域检测用来检测角。区域检测可以看作是图像缩小后的角检测。 脊 长形的物体，例如道路、血管。脊可以看成是代表对称轴的一维曲线，每个脊像素都有脊宽度，从灰梯度图像中提取要比边缘、角和区域都难。 特征提取 检测到特征后提取出来，表示成特征描述或者特征向量。 常用的图像特征：颜色特征、 纹理特征 形状特征 空间关系特征。 1.颜色特征 1.1特点：颜色特征是全局特征，对区域的方向、大小不敏感，但是不能很好捕捉局部特征。 优点：不受旋转和平移变化的影响，如果归一化不受尺度变化的影响。 缺点：不能表达颜色空间分布的信息。 1.2特征提取与匹配方法 （1）颜色直方图 适用于难以自动分割的图像，最常用的颜色空间：RGB和HSV。 匹配方法：直方图相交法（相交即交集）、距离法、中心距法、参考颜色表法、累加颜色直方图法。 对颜色特征的表达方式有许多种，我们采用直方图进行特征描述。常见的直方图有两种：统计直方图，累积直方图。我们将分别实验两种直方图在图像聚类和检索中的性能。 统计直方图 为利用图像的特征描述图像，可借助特征的统计直方图。图像特征的统计直方图实际是一个1-D的离散函数，即： 上式中k代表图像的特征取值，L是特征可取值个数，是图像中具有特征值为k的像素的个数，N是图像像素的总数，一个示例如下图：其中有8个直方条，对应图像中的8种灰度像素在总像素中的比例。
视频图像中运动目标检测方法研究
毕业论文 题目视频图像中运动目标检测 方法研究
摘要 在很多现代化领域，运动目标检测都显示出了其重要的作用。尤其是近二十年的社会经济的飞速发展，运动目标检测都彰显了其重要性，在航空、通信、航海等各个方面都有关键性的作用，从而使运动目标检测方法的研究成为各国的研究热门课题。 通过阅读大量的相关论文、期刊及其网络资源，了解了高斯背景建模及背景更新的基本原理及思想。在本文中，首先介绍了运动目标检测方法的相关基础知识，如图像的二值化、图像的形态学处理、颜色空间模型。然后重点说明了三种常用的运动目标检测方法的研究，简要阐述了三种研究方法的基本思想。在老师的帮助下进行了相应的实验，最终得出了三种运动目标检测方法的优点和缺点，着重探究了高斯背景建模及其背景更新基本原理及思想。 最后，通过相关的程序及软件对混合高斯背景模型进行了相关的实验，进而发现了混合高斯背景建模算法存在的不足之处，如：高斯背景建模的计算量大、运动目标较大时检测效果差等问题，并对对这些问题提出了相关设想及改进。 关键词：运动目标检测；二值化；图像的形态学处理；高斯背景建模；背景更新 I
ABSTRACT In many modern fields, moving target detection are showing its important role. Especially nearly twenty years of rapid development of social economy, the moving target detection has shown its importance, in various aviation, communication, navigation and so on have a key role, so the study of moving target detection method has become a research hot topic in countries. By reading relevant papers, a large number of journals and cyber source, understand the basic principle and thought of Gauss background modeling and updating the background. In this paper, firstly introduces the basic knowledge of moving target detection method, such as the two values image, morphological image processing, color space model. Then focus on the study of three methods used for moving object detection, a brief description of the basic ideas of the three kinds of research methods. By the experiment, the results of three kinds of method of moving target detection has advantages and disadvantages, this paper emphatically explores Gauss background modeling and background updating basic principle and thought. Finally, through the program and software related to mixed Gauss background model for the relevant experiments, and found the shortcomings, the presence of mixed Gauss background modeling algorithm such as: the problem of computing Gauss background modeling, moving target volume larger detection effect is poor, and on these problems put forward relevant ideas and improvement. Keywords: moving object detection; two values; I I
摘要 对图像进行研究和应用时，人们往往对图像中的某些部分感兴趣，这些部分常被称为目标或对象 目标或对象特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。 本课设需要解决的问题是，利用阈值分割方法，对该图像进行分割，得到提取那个目标后的二值图像，计算该目标的面积、周长、中心坐标等三个参数。阈值分割采用的是全局阈值分割方法，而面积、周长的计算则是先通过将图像转换成二值图像，在通过计算二值图像像素点的方式求取。 关键词：阈值分割，边缘检测，像素点
1 绪论 目标的特征提取是图像处理和自动目标识别(ATR)中的一个重要的研究课题，是解决图像识别问题的难点和关键。 特征提取是图象处理中的一个初级运算，也就是说它是对一个图像进行的第一个运算处理。它检查每个像素来确定该像素是否代表一个特征。假如它是一个更大的算法的一部分，那么这个算法一般只检查图像的特征区域。作为特征提取的一个前提运算，输入图像一般通过高斯模糊核在尺度空间中被平滑。此后通过局部导数运算来计算图像的一个或多个特征。 有时，假如特征提取需要许多的计算时间，而可以使用的时间有限制，一个高层次算法可以用来控制特征提取阶层，这样仅图像的部分被用来寻找特征。 由于许多计算机图像算法使用特征提取作为其初级计算步骤，因此有大量特征提取算法被发展，其提取的特征各种各样，它们的计算复杂性和可重复性也非常不同。
2 设计原理 2.1 常用的特征提取的方法 提取图像空间关系特征可以有两种方法：一种方法是首先对图像进行自动分割，划分出图像中所包含的对象或颜色区域，然后根据这些区域提取图像特征，并建立索引；另一种方法则简单地将图像均匀地划分为若干规则子块，然后对每个图像子块提取特征，并建立索引。 本课程设计是采用的第一种方法，即先对该图像进行分割，得到提取那个目标后的二值图像，计算该目标的面积、周长、中心坐标等三个参数。阈值分割采用的是全局阈值分割方法，而面积、周长的计算则是先通过将图像转换成二值图像，在通过计算二值图像像素点的方式求取。其中计算周长时，先需要对二值图像进行边缘检测，然后再统计其像素点。 2.2 阈值分割原理 图像阈值化分割是一种最常用，同时也是最简单的图像分割方法，它特别适用于目标和背景占据不同灰度级范围的图像[1]。它不仅可以极大的压缩数据量，而且也大大简化了分析和处理步骤，因此在很多情况下，是进行图像分析、特征提取与模式识别之前的必要的图像预处理过程。图像阈值化的目的是要按照灰度级，对像素集合进行一个划分，得到的每个子集形成一个与现实景物相对应的区域，各个区域内部具有一致的属性，而相邻区域布局有这种一致属性。这样的划分可以通过从灰度级出发选取一个或多个阈值来实现。 2.2.1 阈值分割思想和原理 阈值分割法是一种基于区域的图像分割技术，其基本原理是：通过设定不同的特征阈值，把图像象素点分为若干类。常用的特征包括：直接来自原始图像的灰度或彩色特征；由原始灰度或彩色值变换得到的特征。设原始图像为f(x，y)，按照一定的准则f(x，y)中找到特征值T，将图像分割为两个部分，分割后的图
视频图像中运动目标检测
毕业论文 题目视频图像中运动目标检测 方法研究 专业电气工程及其自动化 班级电气1003 学生曹文 学号20113024543 指导教师赵哥君 二〇一二年六月八日
摘要 在很多现代化领域，运动目标检测都显示出了其重要的作用。尤其是近二十年的社会经济的飞速发展，运动目标检测都彰显了其重要性，在航空、通信、航海等各个方面都有关键性的作用，从而使运动目标检测方法的研究成为各国的研究热门课题。 通过阅读大量的相关论文、期刊及其网络资源，了解了高斯背景建模及背景更新的基本原理及思想。在本文中，首先介绍了运动目标检测方法的相关基础知识，如图像的二值化、图像的形态学处理、颜色空间模型。然后重点说明了三种常用的运动目标检测方法的研究，简要阐述了三种研究方法的基本思想。在老师的帮助下进行了相应的实验，最终得出了三种运动目标检测方法的优点和缺点，着重探究了高斯背景建模及其背景更新基本原理及思想。 最后，通过相关的程序及软件对混合高斯背景模型进行了相关的实验，进而发现了混合高斯背景建模算法存在的不足之处，如：高斯背景建模的计算量大、运动目标较大时检测效果差等问题，并对对这些问题提出了相关设想及改进。 关键词：运动目标检测；二值化；图像的形态学处理；高斯背景建模；背景更新 I
ABSTRACT In many modern fields, moving target detection are showing its important role. Especially nearly twenty years of rapid development of social economy, the moving target detection has shown its importance, in various aviation, communication, navigation and so on have a key role, so the study of moving target detection method has become a research hot topic in countries. By reading relevant papers, a large number of journals and cyber source, understand the basic principle and thought of Gauss background modeling and updating the background. In this paper, firstly introduces the basic knowledge of moving target detection method, such as the two values image, morphological image processing, color space model. Then focus on the study of three methods used for moving object detection, a brief description of the basic ideas of the three kinds of research methods. By the experiment, the results of three kinds of method of moving target detection has advantages and disadvantages, this paper emphatically explores Gauss background modeling and background updating basic principle and thought. Finally, through the program and software related to mixed Gauss background model for the relevant experiments, and found the shortcomings, the presence of mixed Gauss background modeling algorithm such as: the problem of computing Gauss background modeling, moving target volume larger detection effect is poor, and on these problems put forward relevant ideas and improvement. Keywords: moving object detection; two values; I I
%直接帧间差分，计算阈值并进行二值化处理（效果不好） clc; clear; Im1 = double(imread('lena.TIF')); %读取背景图片 Im2 = double(imread('lena.TIF'); %读取当前图片 [X Y Z] = size(Im2); %当前图片的各维度值 DIma = zeros(X,Y); for i = 1:X for j = 1:Y DIma(i,j) =Im1(i,j) - Im2(i,j); %计算过帧间差分值 end end figure,imshow(uint8(DIma)) %显示差分图像 title('DIma') med = median(DIma); %计算二值化阈值：差值图像中值 mad = abs(mean(DIma) - med); %中值绝对差 T = mean(med + 3*1.4826*mad) %初始阈值 Th =5*T; %调整阈值 BW = DIma <= Th; %根据阈值对图像进行二值化处理 figure,imshow(BW) %se = strel('disk',2); %膨胀处理 %BW = imopen(BW,se); %figure,imshow(BW) %title('BW') [XX YY] = find(BW==0); %寻找有效像素点的最大边框 handle = rectangle('Position',[min(YY),min(XX) ,max(YY)-min(YY),max(XX)-min(XX)]); set(handle,'EdgeColor',[0 0 0]); hei = max(XX)-min(XX); %边框高度 mark = min(YY)+1; while mark < max(YY)-1 %从边框左边开始到右边物质循环，寻找各个人体边缘 left = 0;right = 0; for j = mark:max(YY)-1 ynum = 0; for i = min(XX)+1 : max(XX)-1 if BW(i,j) == 0; ynum = ynum + 1;
图像特征特点及常用的特征提取与匹配方法 常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。 一颜色特征 （一）特点：颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。另外，仅使用颜色特征查询时，如果数据库很大，常会将许多不需要的图像也检索出来。颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，基缺点是没有表达出颜色空间分布的信息。 （二）常用的特征提取与匹配方法 （1） 颜色直方图 其优点在于：它能简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。其缺点在于：它无法描述图像中颜色的局部分布及每种色彩所处的空间位置，即无法描述图像中的某一具体的对象或物体。 最常用的颜色空间：RGB颜色空间、HSV颜色空间。 颜色直方图特征匹配方法：直方图相交法、距离法、中心距法、参考颜色表法、累加颜色直方图法。 （2） 颜色集 颜色直方图法是一种全局颜色特征提取与匹配方法，无法区分局部颜色信息。颜色集是对颜色直方图的一种近似首先将图像从RGB颜色空间转化成视觉均衡 的颜色空间（如HSV 空间），并将颜色空间量化成若干个柄。然后，用色彩自动分割技术将图像分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达为一个二进制的颜色索引集。在图像匹配中，比较不同图像颜色集之间的距离和色彩区域的空间关系 （3） 颜色矩
SAR图像自动目标提取方法研究 合成孔径雷达(Synthetic Aperture Radar,SAR),由于具有全天时、全天候的工作特点,成为目前一种不可或缺的遥感观测手段,在军事和民用领域得到了广泛的发展。SAR图像自动目标提取是其应用的重要方向之一,该技术的研究近年来受到国内外学者的广泛关注。 本论文以发展实用化的SAR图像自动目标提取技术为目的,结合自动目标提取相关理论和应用背景,针对其中的复杂场景SAR图像目标检测、复杂场景SAR 图像目标鉴别和面向鉴别特征提取的目标切片图像分割问题,展开系统的分析和研究,具体内容如下:第一部分,研究了多目标和杂波边界等复杂场景SAR图像中的目标检测问题。对于复杂场景中的目标检测问题,背景参考窗内均匀同质杂波像素的筛选是问题解决的关键,通常采用像素筛选或半窗筛选的策略实现。 通过比较传统像素筛选类和半窗筛选类检测算法的各自优势,在背景杂波服从G~0分布模型假设下,提出了一种基于自动区域筛选的恒虚警率(Constant False Alarm Rate,CFAR)目标检测算法。该算法首先将局部参考窗均匀划分成若干个区域块;然后利用变化指数统计量对局部参考窗内的参考区域进行筛选,以剔除其中具有异质像素干扰的非均匀区域;接着利用均值比统计量对参考窗内的同质均匀区域进行合并,以解决杂波边界处的背景杂波筛选问题;最后利用筛选获得的均匀同质区域内的杂波像素对背景杂波的统计模型进行参数估计,进而实现待检测区域内像素的目标检测。 第二部分,从图像超像素分割角度出发,进一步研究了复杂场景SAR图像中的目标检测问题。随着SAR图像分辨率的逐渐提高,目标在图像上的形状结构越来越清晰。
%-------------------------------------------------------------------------- % 基于中位数算法的运动目标检测 % 第1种实现方法 %-------------------------------------------------------------------------- %*******************************读取视频数据******************************** % 调用aviread函数读取视频文件 vid = aviread('WalkingMan.avi') size(vid(1).cdata) % 查看第1帧的大小，也是每一帧的大小 vid(1).colormap % 查看第1帧的colormap值 %*****************************数据类型的转换******************************** % 把vid的cdata字段的取值转换成一个240×360×3×80的四维数组IM IM = cat(4,vid.cdata); size(IM) % 查看IM的大小 [m,n,k,h] = size(IM); % 把IM的大小赋给四个变量 % 把IM转换成一个80行，240×360×3列的矩阵 I = reshape(IM,[m*n*k,h])'; %********************调用median函数求中位数，进行视频图像分割**************** I = median(I); % 求I矩阵中各列元素的中位数 I = reshape(I,[m,n,k]); % 将向量I转成240×360×3的三维数组，得到背景图像 figure; % 新建一个图形窗口 imshow(I); % 显示背景图像 figure; % 新建一个图形窗口 imshow(IM(:,:,:,1) - I); % 显示第1帧中的目标图像 %-------------------------------------------------------------------------- % 基于中位数算法的运动目标检测 % 第1种实现方法 %-------------------------------------------------------------------------- % 调用mmreader函数创建读取视频文件的多媒体阅读对象WalkManObj WalkManObj = mmreader('WalkingMan.avi'); % 根据多媒体阅读对象WalkManObj，读取视频的各帧图像数据 IM = read(WalkManObj, [1, inf]); [m,n,k,h] = size(IM); % 把IM的大小赋给四个变量