电视跟踪系统仿真
- 格式:pdf
- 大小:1009.99 KB
- 文档页数:7
第一章课题背景和研究意义近年来,视频监控系统在各行业得到了广泛应用,生活中有小区、超市等的安全监控,银行系统有柜台监控,交通方面有违章监控等。
这些监控系统是由一个或多个摄像机以及与之相连的一套电视监视器组成的,它们的用途主要是对场景的记录和保存,当异常情况,比如盗窃行为发生后,保安人员才通过记录的结果察看发生的事情,但往往为时已晚。
视觉监视是指在一个繁忙环境中对人和车辆等进行实时的观察,并给出对它们行为和动作的描述。
这一技术包括了运动目标的检测、跟踪、目标分类和行为理解等方面,涉及到计算机视觉、模式识别和人工智能领域的许多核心课题,是一个具有挑战性的困难问题。
近年来随着集成电路和计算机技术的迅猛发展,视觉监视系统所要求的硬件设备成本大大降低,因此它获得了日益广泛的研究与应用。
许多关于视觉监视的大规模研究项目已经在美国、欧洲和日本展开,同时它也成为许多国际学术会议关注的重要主题。
运动目标检测与跟踪处于整个视觉监视系统的最底层,是各种后续高级处理如目标分类、行为理解等的基础。
运动目标检测系指从视频流中实时提取目标,一般是确定目标所在区域和颜色特征等。
目标检测的结果是一种“静态”目标——前景目标,由一些静态特征所描述。
运动目标跟踪则指对目标进行连续的跟踪以确定其运动轨迹。
我们通过为静止背景建模来检测前景点。
具体的背景模型以 Stauffer 等提出的自适应混合高斯模型为蓝本,并对其作了部分改进以更好地处理实际背景发生变化的情形。
算法中采用一种可靠的连通区域检测算法完成前景目标的分割。
目标跟踪时则通过匹配目标的位置、大小、形状和颜色等特征,建立运动目标与前景目标间的对应关系。
算法中考虑了跟踪中多个目标相互遮挡的问题,分析了几种可能结果并分别加以处理。
我们还为运动目标引入了可靠性度量以使目标跟踪过程更加稳定和可靠。
在实际应用中,不包括运动物体的纯背景图像通常无法得到。
而且,由于场景光照变化、摄像机抖动等因素,背景不可能完全静止。
FPGA在某电视跟踪系统中的应用付强1,姚智刚1,吴博茂2(1. 军械工程学院光学与电子工程系, 河北 石家庄 050003; 2. 76321部队)摘要: 介绍了一种以DSP为核心的数字式电视跟踪系统, 主要研究了利用FPGA控制、处理数字视频信号的方法,实现了实时的视频叠加。
详细讨论了FPGA的控制逻辑及其相关部分结构。
采用FPGA实现视频显示信息的叠加,可有效减轻DSP的速度压力,提高系统性能。
关键词: FPGA 电视跟踪 DSPThe Application of FPGA in a TV Tracking SystemFuQiang1,YaoZhigang1,Wu Bomao2(1. Ordnance Engineering College, ShiJiaZhuang, 050003, china; 2. 76321 military group)Abstract : In TV Tracking system based on DSP, FPGA is used as a OSD(on_screen_display)unit. It appends the date embedded to video date came form DSP video-port. The over-all TV tracing system structure ,the software and hardwarepart referred to video output is introduced . The method using FPGA for OSD can ease the DSP and improve the facilityand capability of the system.Key words : FPGA TV tracking DSP1 引言电视跟踪系统是一种利用视场信号实现目标跟踪的火控装备,它通过控制台引导(也可由雷达引导),利用摄像机获得目标空域的视频信号,分离目标和背景之后,对目标进行实时的捕获和检测,最终计算出目标相对于光轴的俯仰和方位误差,送给控制台。
高 勇NCAM 虚拟跟踪服务器顺利完成由中央广播电视总台承办的《我们都是追梦人——2019“五月的鲜花”全国大中学生文艺会演》虚拟跟踪技术工作。
视频工作人员应对晚会剧组4K 虚拟场景拍摄求新、创新的制作要求,首次将NCAM 架设在演播厅内飞猫空中摄像机上,利用NCAM 虚拟跟踪服务器不受固定位置和空间限制的灵动特点,制作4K 虚拟场景跟踪技术工作。
本文将针对NCAM 虚拟跟踪设备在此次晚会的制作经验进行梳理总结。
NCAM 虚拟跟踪系统 4K 虚拟场景跟踪技术 飞猫空中机位一 NCAM 虚拟跟踪系统搭建1. 集联设备根据剧组设备技术需求和机位设置:NCAM 虚拟跟踪服务器主机,Camera Bar 以及Canon 全伺服镜头传感器将集联在Sony 4300 4K 摄像机,镜头使用Canon CJ12ex4.3B 4K 全伺服广角镜头,三维飞猫索道摄像系统。
(1)NCAM 虚拟跟踪系统组成将Camera Bar 通过设备附件安装在摄像机上,Camera Bar 上的“双目”摄像头拍摄空间位置信息点。
同时,通过Canon 4K 广角镜头编码器“virtual ”接口,将摄像机镜头的zoom 、focus 等参数实时输出。
经数据接口盒后,用千兆以太网转至光纤到达NCAM 虚拟跟踪服务器工位后,光纤链路转至Cat6以太网口。
将Camera Bar 的拍摄视频及位置关系、镜头编码参数等输入至NCAM 虚拟跟踪服务器进行(2)NCAM 虚拟跟踪服务器的现场机位设置根据晚会的机位设置需求,NCAM 的Camera bar 安装在飞猫空中机位(半径40m )。
通常我们使用Camera Bar 捕捉摄像头通过Cat6网线连接到NCAM 虚拟跟踪服务器。
但本次由于使用飞猫空中机位NCAM 传统连接网线对飞猫机位的运动和拍摄动作均会产生影响。
我们经过技术改造,让Camera Bar 的数据经以太网口转光纤后,并入飞猫系统的光纤接口输出,落地后光纤传输再转以太网口进入NCAM 服务器。
EL-IVOT智能视频目标跟踪系统一、适用范围:EL-IVOT主要适用于从事嵌入式图象处理软硬系统研究、数字图像处理算法研究、智能视觉算法研究、目标跟踪算法研究等相关领域的大学老师、研究生、高年级本科生,及研究所的科研人员等。
二、系统资源:系统硬件资源:DM6437图像处理平台一台,(内含EL-DM6437图像处理子系统和TDS560仿真器一台)高速球一个(内含索尼摄像头一台,18倍彩转黑,480线)26寸液晶电视一台遥控汽车一部系统软件资源:EL-DM6437EVM视频开发包EL-DM6437EVM达芬奇视频开发板完整DSP示例程序及实验指导书VLIB(视频处理算法库)完整DSP示例程序及实验指导书EL-IVOT(智能视频目标跟踪样例算法)完整DSP工程文件及实验指导书三、产品功能:系统主要功能:第一部分功能是EL-DM6437EVM图像处理开发硬件平台基础学习功能。
它包括了板卡硬件资源实验,包括DSP的基础实验和一些基本的图像算法实验,实验提供了完整的DSP示例程序及实验指导书,为了加快数字图象研究人员的开发流程,我公司还开发了DM6437_USBTool图象软件包,通过图像处理开发套件,用户可以了解到DSP 的基本原理和基础数字图像处理算法在DSP上的实现过程。
第二部分功能是VLIB(视频处理算法库)算法学习功能。
它包括了对VLIB视频处理算法库的讲解,内涵二十多种算法共五十多个函数的详细介绍,内容涉及背景建模与背景抽取、目标特征提取、跟踪与识别、低级别像素处理等,可广泛应用于视频分析、计算机视觉、汽车视觉、嵌入式视觉系统、游戏视觉系统、机器视觉系统、消费类电子产品视觉系统等领域,使用户可以快速了解这些流行的视频算法。
在讲解算法的基础上,该套件以数字图像和视频为实验素材,提供了20个实验,这些实验向用户展示了VLIB函数的使用方法,使用户可以快速了解这些函数的接口,进而提高代码移植的效率,缩短工程项目开发的时间。
基于广播电视无源雷达系统目标定位仿真唐小明宋杰何友海军航空工程学院电子工程系,烟台2640011i旦坌虫!旦g』!坚!曼!:!!堂}摘要本文舟绍了无舜雪适系统的组戚与基丰厚理,并以一种简他的呆统构造模型结合具体应用进行无番相干定位仿真,讨论了影响系统定位精度和分辩率的三个重要目紊.对一些改善系统性镌的方j圭提出了合理建议,计算机仿真结果验证了该秉统在一定条件下的可行性.关键词无舜茁遮相关接收系统仿真1引言无源雷达系统采用的是基于无线电通信和传播的以多基地雷达体制.这种古老而义特殊的雷达体制早在雷达最初诞生的实验阶段就已被采朋.后来由丁无线收发开关的发明,收发在一起的单基地雷达逐渐发展起来且性能日臻完善井被广泛返瑚,但般多基地雷达却没有多大发展.而今单基地雷达日益面临电子干扰、反辐射导弹、隐身兵器及低空突防的严重威胁.如何既做刮自身隐蔽.又能探测隐身目标对雷达体制提出了新的挑战,其中隐蔽探测的一种可行方式就是采用舣多基地体制,而探洲聪身目鼯的一种较蚶方法就是利用较低频段的信号。
于是人删提出了直接利用广。
播、电视等外辐射豫进行目标探洲的思路。
这样,雷达的发展义将重折转向这种基于外辐射源的烈多基地雷哒体制。
这种雷达体制由于具有潜在的隐般和反隐身等特性.近年来备受媒体关注.各国都相继进行了一系列试验研究:如澳大利亚Ringer、Frazer年|IAnderson嫦人Il’研究分析了一些广播频段的机会发射信号用于无源雷达目标检测的可f?性:英国How'land。
‘研究试验了基下电视的般基地雷达对空中目标的探测;而美国洛克希德公司历时lj年研制的一种新型多基地监视系统“SilentSentry”(沉默哨兵)”利用FMJ播和电视宾正使系统达到了实用化、商业化程度.并以事实向世人证明了基丁J1播电视无源雷达系统的可行性.然而.从雷达波形理论分析可知,r播、电视信号波形井不是最佳的目标探铡波形,且利用厂。
手蔷、电视信号进行目标探测乖幔R踪时.其所面临的信号环境是异常恶劣的。
基于虚拟仪器的电视机自动检测系统摘要:基于虚拟仪器的电视机自动检测系统对电视机自动检测进行了研究,检测系统实现了视频信号的自动化检测并且满足不同厂商的要求。
本系统能够很好的完成检测任务,同时还具有扩展性强,用户界面友好等特点。
关键字:虚拟仪器LabVIEW 电视机自动检测中图分类号:TM93文献标识码:ATV automatic detection system based on virtual instrumentAbstract: The TV automatic detection system based on virtual instrument is well researched for TV automatic detection. This system achieves automatic detection for the different TV manufacturers, and particularly, can achieve automatic detection for video. This system can finish the TV detection tasks perfectly. And also, it has the characteristics with high expansibility and user-friendly.Key words: Virtual Instrument, LabVIEW, TV, Automatic Detection0引言随着工业生产的节拍越来越快,目前电视机整机的生产装配通常采用流水线的操作方法,电视机出厂前需要进行严格的整机检测。
目前电视机整机检测,主要是检测A V、VGA、HDMI、DVI、HDTV等众多通道信号输入是否正常、测试这些通道之间的切换是否正常、检测各通道下电视机视频和音频输出是否正常。
光电跟踪仪目标仿真系统设计罗静玲;杜娟【摘要】舰载光电跟踪仪需全天候工作,具有信息量大、可视性强、分辨率高等特点,是舰船情报系统的重要组成部分.设计了一种针对舰船和空中目标进行光电跟踪的仿真系统,介绍了该系统的组成和仿真软件的功能模块,通过对该系统的静态和动态目标跟踪能力分析与测试,证实该系统可以对舰载光电跟踪仪跟踪能力进行全面的测试.【期刊名称】《光学仪器》【年(卷),期】2015(037)002【总页数】4页(P151-153,164)【关键词】动态目标;目标仿真;模拟场景【作者】罗静玲;杜娟【作者单位】中船重工第七一七研究所武汉光电国家实验室,湖北武汉430020;中船重工第七一七研究所武汉光电国家实验室,湖北武汉430020【正文语种】中文【中图分类】TN2引言舰载光电跟踪仪是舰炮武器系统中跟踪海空目标的跟踪设备,采用光电成像方式,将自然景物的光信息转变为视频图像。
它是舰载近程反导武器系统中最适合的跟踪设备,目标的跟踪能力是光电跟踪仪的重要性能指标之一[1]。
因此在光电跟踪仪的跟踪能力测试中,目标的选取至关重要。
光电跟踪仪对目标进行可靠提取并跟踪通常要同时满足3个条件:目标表面光或热辐射能量经大气传输达到接收光学系统最小接收范围;目标经光学系统在靶面上成像的尺寸应满足跟踪提取目标的要求;目标和背景在探测器像面对比度应大于信号检测所需要的最小对比度要求[2-3]。
目前,在光电跟踪仪试验和测试过程中,目标的选取主要还是依赖于实体目标。
本文介绍了一种舰载光电跟踪仪的目标仿真系统,通过软件对目标进行仿真,可对海上和空中两种目标进行仿真,从而达到对舰载光电跟踪仪跟踪能力的全面测试。
1 系统组成及基本原理光电跟踪仪目标仿真系统的原理是通过计算机模拟真实场景的变换,通过视频叠加技术,在海天背景上叠加海上和空中目标,配合光电跟踪仪进行工作,达到了真实仪器和虚拟现实系统的实时同步,从而完成对光电跟踪仪跟踪能力的测试[4-5]。
收稿日期:2008-03-05作者简介:方水平(1970-),男,北京工业大学电子与通信工程专业毕业,工程硕士,讲师。
电视跟踪系统仿真方水平(北京工业职业技术学院,北京100042)摘 要:针对一具体被跟踪对象,建立仿真模型,利用VC ++6.0编程来实现将数字图像处理与视频跟踪相结合,采用合适的跟踪算法提取跟踪误差,从而达到跟踪目标并处理目标图像计算机仿真的目的。
关键词:电视跟踪;计算机仿真;数字图像处理中图分类号:TP391.9 文献标识码:A 文章编号:1671-6588(2008)02-35-06TV Track i n g Syste m S im ul a ti on TechnologyFang Shui p ing(Beijing Polytechnic College,Beijing 100042,China )Ab s trac t:Thr ough tracking a s pecific target,this paper establishes a si m ulati on model,uses VC ++6.0Pr o 2gra mm ing t o achieve digital i m age p r ocessing and video tracking combinati on of the use of app r op riate tracking algo 2rithm extracts the tracking err or,and finally achieves target tracking and i m age p r ocessing computer si m ulati on of the target objective .Key wo rd s:T V tracking;computer si m ulati on;digital i m age p r ocessing 电视跟踪系统是具有一定智能的图像跟踪装置,它能在比较复杂的背景下按照标准电视制式,逐场提取与分离视场内的运动目标,提取目标亮度与结构特征,测定目标中心相对转台视轴的方位与俯仰角误差,该跟踪角误差信息经变换后传送到转台的伺服系统,驱动转台运动以保证被跟踪目标始终处于成像传感器的视场中心,实现对指定目标的实时自动跟踪。
本文对电视跟踪系统进行仿真、分析与研究,针对一具体被跟踪对象,利用VC ++6.0编程来实现计算机仿真。
限于篇幅,只列出了部分仿真程序。
1建立仿真模型仿真系统模型采取集中控制、模块化处理的构架。
所有系统信息的管理、数据交换以及处理由综合处理板负责完成;各种图像处理模块的算法由各自不同的软件算法完成。
这种清晰的功能划分非常有利于系统功能的扩展,为今后进一步的算法研究提供了平台。
如图1所示。
图1 电视跟踪系统仿真模型第7卷 第2期2008年4月 北京工业职业技术学院学报JOURNAL OF BEI J I N G POLYTECHN I C COLLEGE №12Vol .7Ap r .2008 在电视跟踪视景的建模仿真过程中,三个关键问题是图像的采集、图像的处理和目标的识别与跟踪模拟。
2图像的采集图像数据采集是图像实时处理系统的重要组成部分,是以后进行图像处理和图像分析的基础。
采集的图像是否清晰、是否符合图像处理的要求,直接影响图像分析的结果。
视频图像捕获一般来讲有两种方法,一种是利用视频捕获卡所附带的S DK 开发工具,这种捕获方法的实现是与设备有关的,依赖于视频捕获卡与摄像头的类型,不利于灵活应用;另外一种捕获方法是V ideo f or W indows (简称VF W ),这给视频捕获编程带来了很大的方便,利用VF W 技术的可以提高视频捕获的灵活性,减少了对视频设备的依赖。
在VC ++6.0中,含有MC I A V I 、DRAWD I B 、AV I F I L E 和AV I CAP 等组件。
通过它们之间的协调工作,可以完成播放、编辑、文件管理和视频捕获等功能,为视频图像处理和分析带来非常大的便利。
直接利用capGrabFra meNoSt op ()捕获一帧图像,然后将数据拷贝拷贝到剪贴板上,再通过D I B (Device I ndepend 2ent B it m ap )操作获取内存中图像数据首地址,进行后续的图像数据处理。
捕捉界面如图2所示,处理结果如图3所示。
图2 运行屏幕捕捉后的界面 图3 屏幕捕捉的结果3图象处理对于一个图像处理系统来说,可以将流程分为三个阶段,在获取原始图像后,首先是图像预处理阶段、第二是特征抽取阶段、第三是识别分析阶段。
图像预处理阶段尤为重要,如果这阶段处理不好,后面的工作根本无法展开。
对于系统获取的原始图像,由于噪声、光照等原因,图像的质量不高,所以需要进行预处理,以有利于提取我们感兴趣的信息。
3.1灰度直方图图像直方图是图像处理中一种十分重要的图像分析工具,它描述了一幅图像的灰度级内容,任何一幅图像的直方图都包含了丰富的信息,它主要用在图象分割,图像灰度变换等处理过程中。
在本次实验中,灰度直方图主要用来确定二值化处理的阈值。
对图4(a )采用手动设定阈值的二值化处理,其灰度直方图如图4(b )所示。
a 原图像b 其灰度直方图图4 灰度直方图63 北京工业职业技术学院学报 第7卷3.2灰度的阈值变换一幅图像包括目标物体、背景还有噪声,怎样从多值的数字图像中只取出目标物体,最常用的方法就是设定某一阈值T,用T 将图像的数据分成两大部分:大于T 的像素群和小于T 的像素群。
这是研究灰度变换最特殊的方法,称为图像的二值化(灰度的阈值变换)。
灰度阈值变换可以将一幅灰度图像转换成黑白二值图像,把图像分成目标物体和背景两个领域。
灰度阈值分割法是一种简单的基于区域的技术,这种方法是把每一个像素的灰度值与一个阈值T 进行比较,根据它是否超过该阈值而将该像素归于两类中的一类,即将图像分成目标物体和背景两类。
二值化是数字图像处理中一项最基本的变换方法,通过非零取一、固定阈值、双固定阈值等不同的阈值化变换方法,使一幅灰度图像变成了黑白二值图像,将我们所需的目标部分从复杂的图像背景中脱离出来,以利于后续的图像处理。
本次实验中由用户指定一个阈值,如果图像中某像素的灰度值小于该阈值,则将该像素的灰度值设为0,否则灰度值设置为255。
图5采用的分割阈值为78。
3.3图像锐化a 原图像b 二值化处理后的图像图5 灰度阈值变换 物体的边缘是以图像局部特征不连续性的形式出现的。
本质上边缘意味着一个区域的终结和另一个区域的开始。
图像边缘信息在图像分析和人的视觉中都是十分重要的,是图像识别中提取图像特征的一个重要特性。
图像的边缘有方向和幅度两个特性。
通常,沿边缘走向的像素变化平缓,而垂直于边缘走向的像素变化剧烈。
图像锐化处理的目的是使模糊的图像变得更加清晰起来。
通常针对引起图像模糊的原因而进行相应的锐化操作属于图像复原的内容,图像的模糊实质就是图像受到平均或积分运算造成的,因此可以对图像进行逆运算如微分运算来使图像清晰化。
从频谱角度来分析,图像模糊的实质是其高频分量被衰减,因而可以通过高通滤波操作来清晰图像。
但是,能搞进行锐化处理的图像必须要有较高的信噪比,否则锐化后图像信噪比反而更低,从而使噪声增加得比信号还多,因此一般是先去除或减轻噪声后再进行锐化处理。
实现梯度锐化的程序为:Void Ti D uRui Hua D ib::Menxianruihua (){ LP BYTE p_data; I nt wide,height; P_data =this ->Get D ata (); wide =this ->Get W idth (); height =this ->Get Height (); LP BYTE p _te mp =ne w BYTE [wide 3height]; Me m set (p_te mp,255,wide 3height ); I nt te mp; f or (int j =1;j <height -1;j ++) f or (int i =1;i <wide -1;i ++) {Te mp =(int )sqrt ((p _data [wide 3j +i ]-p _data [wide 3j +(i -1)])3(p _data [wide 3j +i ]-p _data[wide 3j +(i -1)])+(p_data[wide 3j +i]-p _data[wide 3(j -1)+i])3(p_data[wide 3j +i ]-p_data[wide 3(j -1)+i]));I f (te mp >=30) { I f ((te mp +100)>255) P_te mp [wide 3j +i]=255; else73第2期 方水平:电视跟踪系统仿真 P_te mp [wide 3j +i]=te mp +100; } I f (te mp <30) P_te mp [wide 3j +i ]=P_te mp [wide3j +i]; } Me mcpy (p_data,p_te mp,wide 3height ); Delete p_te mp}进行梯度锐化后的图像如图6所示。
a 原图像b 梯度锐化后的图像图6 梯度锐化Void CD ib V ie w::On Menuite m32785(){CClient D C pDC (this );HDC h DC =pDC .GetSafeHdc ();SetStretch B lt M ode (hDC,COLORONCOLOR );CD ibDoc 3pDoc =Get D ocument ();HD I B hdib;hdib =pDoc ->Get HD I B ();B I T MAP I N F OHE ADER 3l pD I B Hdr;BYTE 3l pD I B B its;l pD I B Hdr =(B I T MAP I N F OHEADER 3)Gl obal 2Lock (hdib );l pD I B B its =(BYTE 3)l pD I B Hdr +sizeof (B I T M 2AP I N F OHEADER )+2563sizeof (RG BQUAD );BYTE 3pData1;static int a [3][3]={{1,4,1},{4,-20,4},{1,4,1}};int m ,n,i,j,su m;intW idth =l pD I B Hdr ->bi W idth;int Height =l pD I B Hdr ->bi Height;pData1=(BYTE 3)ne w char [W I D T HBYTES (W idth 38)3Height];f or (i =1;i <HE I GHT -1;I ++)f or (j =1;j <W I D TH -1;J ++){su m =0;f or (m =-1;m <2;m ++)f or (n =-1;n <2;n ++)su m +=3(l pD I B B its +W I D THBYTES (W idth38)3(i +m )+j +n )3a[1+m ][1+n ];if (sum <0)sum =0;if (sum >255)sum =255;3(pData1+W I D T HBYTES (W idth 38)3i +j )=su m;}f or (i =0;i <HE I GHT;I ++)f or (j =0;j <W I D TH;J ++){su m =(int )(3(l pD I B B its +W I D THBYTES (W idth 38)3i +j )-43(3(pData1+W I D TH 2BYTES (W idth 38)3i +j )));if (sum <0)sum =0;if (sum >255)sum =255;3(l pD I B B its +W I D THBYTES (W idth 38)3i +j )=sum;}StretchD I B its (hDC,0,0,l pD I B Hdr ->bi W idth,l pD I B Hdr ->bi Height,0,0,l pD I B Hdr ->bi W idth,l pD I B Hdr ->bi Height,l pD I B B its,(LP B I T MAP I N F O )l pD I B Hdr,D I B _RG B _COLORS,SRCCOPY );}图像的拉普拉斯锐化如图7所示。