基于梯度投影法的电子稳像算法

27卷 第10期2010年10月微电子学与计算机M ICROELECTRONICS &COM PUTERVo l.27 N o.10October 2010收稿日期:2009-07-24;修回日期:2009-09-24基金项目:山西省青年科技研究基金(2009021019-2)基于灰度投影算法的实时电子稳像研究张国栋,王明泉,郭 栋(中北大学仪器科学与动态测试教育部重点实验室,山西太原030051)摘 要:实时电子稳像的目的是除去视频图像序列中因摄像机无意抖动而造成的图像扰动,从而保证修正后输出的视频图像序列是平滑、稳定的.灰度投影算法将初始的二维图像信息映射成两个独立的一维信息后,只对图像行列的投影曲线做一次相关运算便可较准确地检测出图像序列的帧间运动矢量,具有图像信息利用充分、算法稳定性好等优点.同时由于该算法对灰度图像进行直接处理,能够反映出图像的整体特征并有效地抑制了噪声,具有较高的稳像精度.实验结果表明,该算法具有较好的稳像效果.关键词:灰度投影;电子稳像;投影曲线;图像运动矢量中图分类号:T P391 文献标识码:A 文章编号:1000-7180(2010)10-0053-04Research on Real Time Electronic Image StabilizationBased on Gray Projection AlgorithmZHANG Guo dong,WANG M ing quan,GU O Dong(T he M inistry Education Key L ab for Instrumentation Science and Dynamic T est,No rth U niversity of China,T aiyuan 030051,China)Abstract:Real time electronic image stabilizatio n is a method to timely stabilize image sequences in imag e stabilizat ion al gor ithm,which r emove the unw anted movements of image.So as to ensure that the output of the v ideo image sequence is smoo th and stable.A fast digital image stabilization algorithm based on gray pr ojction is proposed in this paper :firstly,t he image is projected into one dimensional curves;then calculating movement vector by one dimensional cor relation.A nd adopting the g radation projection alg orithm to detect the inter fr ames mot ion vector of image sequence has many adv an tages,such as richly using the image information and good algorithm stability.Because t he alg orithm processes gr ay infor mation directly and could r estr ain the noises,it can acquir e high accur ate image stabilizatio n.And the simulatio n ex peri ments validate the performance of the algor ithm.Key words:g ray projection;image stabilizatio n;projection cur ves;movement vector1 引言随着摄像设备应用的日益广泛,摄像平台变得越来越多样化.通过车载摄像系统、手持摄影设备、飞机或者舰船摄影平台等得到的视频信号往往会因为摄像机的运动而发生抖动,导致图像显示序列模糊和抖动,使观察者产生疲劳感,进而容易产生误判、漏判,并且给进一步的图像处理带来困难.如何将这些视频信号转化为高质量的稳定视频显得尤为重要.由于电子稳像具有稳像精度高、体积小、重量轻、功耗低以及具有实时处理功能等优点,得到了广泛的研究和应用.目前实现电子稳像的算法有很多种,例如块匹配法、位平面匹配法、特征点匹配法等等.块匹配法和位平面匹配法都需要大量的计算时间,因此占用系统资源大,特征点匹配法简单、计算量小,但由于代表点是由坐标确定的,因此对图像变化不敏感,图像对比度不明显时,准确度将受到很大的影响.本文基于灰度投影的数字电子稳像算法在计算量较小的同时保持较高的准确度,能够满足实时稳像系统的需求.2 电子稳像基本原理电子稳像技术利用电子设备和数字图像处理技术来检测图像序列的帧间偏移并进行补偿,从而获得清晰而稳定的图像序列.电子稳像[1]不同于图像恢复,图像恢复是针对每一帧模糊的图像,而电子稳像稳定的是一个图像序列,图像序列的不稳定是由于帧与帧之间图像变化在图像显视器上显示出的不稳定,而图像序列中的每一帧图像是清晰的.基于这种分析,电子稳像所要处理的就是通过求出视频序列中各帧之间的变化,然后以运动补偿的方法来去除这个变化,达到整个视频序列稳定的目的.2.1 电子稳像原理电子稳像技术中最基本的是像移补偿技术[2],其原理如图1所示.图1 电子稳像原理图图1(a)和图1(b)分别表示参考帧和当前帧的图像,每一格代表一个像素.此时,参考帧图像中的五角星block 在00、01、10、11像素上成像.图像序列没有抖动时,当前帧图像上的五角星Block1和参考帧上的五角星Block 匹配,成像时由于载体的振动,使得载体上的摄像机产生了突然晃动,使当前帧中五角星block1移动到了如图1(b)所示的实五角星block2位置.从视频显示器看,由于振动的影响,block 与block2位置不一样,使图像变得模糊.电子稳像的目的就是消除这种模糊,也就是将当前帧中的实五角星block2移动到虚五角星block1位置,使得当前帧图像与参考帧图像在同一位置.运动估计算法就是计算当前帧中实五角星block2相对于参考帧中五角星block 即相对于block1在x ,y 轴方向的移动距离,运动补偿就是根据计算出的距离将当前帧的实五角星block2向相反的方向移动到虚五角星block1位置,使得两帧图像位置一样,这样就达到了图像序列的稳定.2.2 电子稳像系统基本结构电子稳像系统基本结构如图2所示,主要包括运动矢量检测单元、补偿量输出单元和图像补偿单元.其中运动矢量的检测单元通过运动检测算法计算图像序列帧间运动矢量,是实现电子稳像的关键环节;补偿量输出单元输出补偿运动参数;图像补偿单元通过图像像元重组完成对图像运动的补偿功能.图2 电子稳像系统基本结构3 灰度投影算法视频图像序列变化的实质就是图像灰度发生变化的连续过程.灰度投影算法(PA)[3-4]充分利用了图像总体灰度分布的变化规律,只需要对图像行列的投影曲线做一次相关运算,就能较准确地获取当前帧相对于参考帧的运动矢量,大大降低计了算量,而且保证了较高的计算精度.灰度投影算法(PA)可分解成三个主要的步骤:图像灰度映射、投影滤波和相关计算.3.1 图像灰度映射输入图像序列中的每一帧图像经过预处理后,可采取行投影和列投影的方式,将初始的二维图像[5]信息映射成两个独立的一维信息.下式是以行投影计算为例说明图像映射的方法:Row (i)= Cur k (i,j )Row Tot k =[ Row k (i)]/MRRow proi k (i)=Row k (i)-Row Tot k(1)54微电子学与计算机2010年式中,Row(i)为第k帧图像第i行的灰度值;C是第k帧图像上(i,j)位置处的像素的值;MR是行数;Row proi k(i)是第k帧图像的第i行修正后的投影值.列投影Col(j)与之类似.3.2 投影滤波当图像有移动时,图像的边缘信息会发生变化,在互相关计算时对互相关的峰值将产生不利的影响.可通过滤波器进行滤波,去除图像边界信息的波形而完全保留中心区域的波段,从而减小了边界信息对互相关峰值形成的不利影响.3.3 相关计算一般情况下,把待处理图像的行、列投影与参考帧图像的行、列投影分别作互相关运算,根据两条相关曲线的谷值即可确定当前帧图像相对于参考帧图像的行、列位移矢量值[6].进行相关运算计算公式为R(w)= MR i=1[Row k(i+w-1)-Row r(m+i)]21 w 2m+1(2)式中,Row k(i)为第k帧图像第i行的灰度投影值, M R是行的长度,m为位移矢量相对于参考帧在一侧的搜索宽度.设w m i n为R(w)最小时w的值,则第k帧图像相对于参考帧图像在垂直方向的运动矢量为y=m+1-w min(3)y为正时表明当前帧相对参考帧向上运动了| y|像素,为负时则表明向下运动了| y|像素,同样的方法可求得水平方向的运动位移矢量.得到了水平和垂直方向的运动位移矢量后,就可以把当前帧图像向位移矢量的反方向运动相应大小的像素距离,从而实现图像序列的稳定.4 仿真结果与稳像效果分析为验证算法的有效性,在PC机上应用MAT LAB软件进行仿真实验.本次仿真实验视频为数码相机获取的抖动视频,分辨率为320 240像素,再对其进行预处理后,得到240 180范围内的像素.首先对参考帧和当前帧图像预处理后,分别做行、列投影.其次,取出当前帧的行投影(21 160)共140单位的灰度投影值与参考帧的行投影作相关运算;再取出当前帧的列投影中的(21 220)共200单位的灰度投影值与参考帧的列投影作相关运算,得到图3.最后,可由式(2)、(3)分别得到垂直方向和水平方向的运动矢量,进而可进行运动补偿,得到了稳定的图像.图3 两帧图像的行、列投影数据相关曲线为了进一步验证灰度投影算法在电子稳像中的效果,我们对连续的六帧图像进行单子稳像仿真实验,图4和图5分别反映的是稳像前后连续六帧图像的列投影值曲线.从图中,我们可以清楚地看到稳像前各帧图像的列投影值曲线形状接近,但位置在横坐标方向上有较大的波动差异,而稳像后的列投影值曲线形状和位置基本一致.图4 稳像前的列投影5 结束语本文介绍了灰度投影稳像算法和电子稳像的基本原理,并对该算法在电子稳像中的应用进行了仿真实验.由于灰度投影算法只是对图像的灰度投影55第10期张国栋,等:基于灰度投影算法的实时电子稳像研究图5 稳像后的列投影曲线做一次互相关运算来求其图像序列帧间的运动矢量,因此计算量小,速度快,能够满足连续图像的实时性要求.仿真试验证明,该算法具有较好的稳像效果,是实现平移运动或旋转运动较小的图像序列电子稳像的较理想算法,但对剧烈旋转运动条件下的稳像应用存在一定的局限性.参考文献:[1]Engelsberg A,Schmidt G.A comparative review of digitalimag e stabilising algorithms for mobile v ideo communica tions [J].I EEE T ransact ions on Consumer Electro nics,1999,45(3):591-597.[2]K o S J,Lee S H,Jeon S W,et al.F ast digital image stabilizer based on g ray -co ded bit -plane matching [J].I EEE T r ansaction on Consumer Electronics,1999,45(3):598-603.[3]赵天云,郭雷,余博.基于灰度投影的快速电子稳像算法[J].微电子学与计算机,2008,25(11):233-236.[4]张永祥,赵晓旭,张伟功,等.一种基于灰度投影的电子稳像改进算法[J].微电子学与计算机,2008,25(11):212-215.[5]王明佳,金光,钟平,等.实用电子稳像技术原理及方法[J].光机电信息,2003(2):29-31.[6]刘明,赵跃进.周渝斌.电子稳像中的运动补偿矢量处理方法的研究[J].光学技术,2005,31(3):457-462.作者简介:张国栋 男,(1983-),硕士研究生.研究方向为信号与信息处理.王明泉 男,(1970-),硕士研究生,教授,博士生导师.研究方向为一维和多维信号与信息处理、分析与重构、现代无损检测技术、测控技术和工业内视技术.(上接第52页)图3 网络节能性比较点的情况;(2)Sink 不需要完整的被传输数据就能重构信息,允许系统存在部分数据丢失;(3)该方案能在存在妥协节点的情况下有效地抵御偷听、数据篡改和DoS 攻击.下一步工作要讨论在节点被意外攻陷的情况下,进行一些安全模型的建立,并将这些方案应用到各种类型的传感器网络中.参考文献:[1]殷新春,徐力杰.W SN 中一种基于数据融合的能量高效分簇路由协议[J].微电子学与计算机,2007,24(9):116-119.[2]Przydatek B,Song D,Perrig A.SIA:secure information aggregation i n sensor networks[J].SenSys,2003(3):255-265.[3]Y ang Y ,W ang X ,Zhu S.SDAP:a secure hop-by-hopdata aggregation protocol for sensor networks[J].M obi Hoc,2006(6):356-367.[4]Hu L ,Ev ans D.Secure aggregation for wireless netwo rks[J].SAIN T -W ,2003(3):384.[5]G anesan D.Highly-resilient,ener gy-efficient multipathrouting in w ireless sensor netw orks [J].M obiHoc,2001(1):251-254.[6]Estrin D T utorial.W ireless sensor netw orks par t I V:sensornetwork protocols [EB/OL ].[2009-10-11]./tutorials/mobicom02/.作者简介:刘 宁 男,(1971-),硕士研究生,讲师.研究方向为网络技术、信息安全.56微电子学与计算机2010年。

电子稳像计算方法1概述在目标跟踪过程中，摄像机载体的随机振动和姿态变化产生的不平稳运动会导致视频图像序列的不稳定甚至模糊，这种不平稳运动不仅影响系统的成像质量、造成观测者的视觉疲劳，还会给运动目标检测带来困难。

电子稳像(ElectronicImageStabilization,EIS)是指利用图像处理手段从输入的视频图像序列中去除由摄像机的随机运动造成的图像扰动，使输出图像序列保持稳定的技术手段。

帧间运动估计是实现电子稳像的关键环节，目前应用于稳像的运动估计方法有很多，灰度投影法[1-5]是其中的一种重要方法。

它能充分利用图像灰度总体分布的变化规律，较准确地估计图像的运动矢量，具有计算量小、精度高的特点[1]。

美国ARL研究实验室采用此方法在Demo1号自控目标跟踪系统中实现了图像的实时稳定。

但是投影算法有一定的应用条件，图像的灰度变化应较丰富，具有一定的对比度，否则灰度投影曲线变化不明显，难以精确地求出运动矢量，容易造成误差。

通过对图像进行直方图均衡化处理，能在一定程度上处理对比度较差的图像，增强算法的鲁棒性，但是不能从根本上解决此问题[2]。

为此，本文提出一种基于梯度投影法的电子稳像算法。

2灰度投影法灰度投影法是一种基于投影算法的稳像方法，利用图像灰度分布变化的特点求取图像帧间运动向量，分为灰度映射和相关计算2个步骤。

2.1灰度映射对输入的二维图像进行预处理后，将其灰度信息映射成2个独立的一维投影序列。

设(,)kGij为第k帧图像点(i,j)处的像素灰度值，M、N分别为图像投影区域的行、列数。

图像第i行的灰度投影值为：()(,)NkkisGrayYiGij(1)图像第j 列的灰度投影值为：()(,)MkkisGrayXjGij(2)投影曲线反映了图像灰度分布的特点，为方便描述，将图像行方向的投影曲线记为水平投影曲线，将图像列方向的投影曲线记为垂直投影曲线。

2.2投影滤波处理当图像的位移量大时，由于每一幅图像的边缘信息是唯一的，因此会导致投影的波形在边缘处的差异性。

基于TMS320C642电子稳像的实现 电子稳像集合了计算机、数字图像处理和数字信号处理等技术为一体的新一代实现图像序列稳定的综合性技术。

实时性和准确性是衡量电子稳像系统的两个重要指标。

因此，电子稳像算法要体现其优越性，就要满足实时性和准确性。

1 基于灰度投影的电子稳像算法 1.1 电子稳像基本原理 电子稳像(Electronic Image StabilizaTIon，EIS)是集电子技术、计算机、数字信号处理、视频图像处理等为一体的实现数字图像序列稳定的技术。

电子稳像技术中最基本的是像移补偿技术是直接从像面上通过检测参考图像和被比较图像的运动矢量，然后利用算法进行补偿的技术。

稳像的基本原理：(1)根据图像序列或视频的各种信息进行局部运动估计。

(2)进行全局运动估计。

(3)经过运动估计后取得运动参数，然后进行综合评价。

(4)根据综合评价的结果进行运动补偿，并最终取得稳定的输出序列。

由此可知，获得图像的全局运动矢量是电子稳像的前提条件。

基本流程如图1所示。

对于全局运动矢量可以通过灰度投影算法获得。

1.2 灰度投影算法 灰度投影算法(ProjecTIon Algorithm，PA)是利用图像灰度分布变化的特点得到图像帧间运动矢量。

对于灰度细节丰富、直方图无明显特征、对比度差的图像难以识别特征量，寻找特征量不仅无法保证所需的稳像精度，更难以满足稳像的实时性要求。

针对此种图像序列，用灰度投影法来实现图像运动矢量的准确获取，从而达到稳定图像序列的目的。

视频图像序列是图像的灰度发生变化的图像序列，各种运动矢量估计算法均是以灰度变化为依据。

投影算法能充分利用图像的灰度变化这一特点，较准确地估计出图像的运动矢量。

此算法的优点是：灰度曲线匹配速度快，从而提高了稳像速度，适用于图像照度变化导致的灰度变化的情况。

灰度投影算法是实现只含平移运动或旋转运动较小的图像序列电子稳像的较理想算法。

(1)灰度映射。

灰度映射就是把每一帧输入的初始的二维图像信息映射成为两个独立的一维波形，如下为列投影的映射方法 式(1)～式(3)中，Colk(j)为第k帧图像第j列的灰度值;Curk(i，j)是第k帧图像上(i，j)位置上的像素值;NC是列数，ColProjk(j)是第k帧图像第j列修正后的投影值。

一种基于灰度投影算法的电子稳像方法
朱娟娟;郭宝龙;冯宗哲
【期刊名称】《光子学报》
【年(卷),期】2005(34)8
【摘要】针对图像序列的抖动,研究了摄像机的抖动和正常扫描这两种运动的特点,提出了一种带运动修正的投影稳像算法PMCA.该算法首先利用灰度投影算法求出原始序列运动矢量,然后采用平均值滤波对这些运动矢量进行了处理,为了防止由前一稳定帧补偿带来的错误传播,又做了运动修正,使用原始帧代替稳定帧作为待补偿帧.实验结果表明PMCA算法可以明显减轻序列抖动现象,而且能实时跟随真实扫描场景.
【总页数】4页(P1266-1269)
【关键词】电子稳像;投影算法;运动估计;运动修正;运动补偿
【作者】朱娟娟;郭宝龙;冯宗哲
【作者单位】西安电子科技大学机电工程学院ICIE研究所
【正文语种】中文
【中图分类】TP391.4
【相关文献】
1.一种基于灰度投影算法的车载电子稳像方法 [J], 李计添;何永强;陈财森;王立邦
2.一种基于灰度投影块匹配算法的电子稳像方法 [J], 王均波;孙幸福;朱磊;林晓志;张健
3.一种基于灰度投影的电子稳像改进方法 [J], 齐红;任洪娥;田少卿;胡鸿
4.提高用于电子稳像的灰度投影算法精度的方法 [J], 钟平;于前洋;王明佳;金光
5.一种基于灰度投影的电子稳像改进算法 [J], 张永祥;赵晓旭;张伟功;袁慧梅;程岩因版权原因，仅展示原文概要，查看原文内容请购买。

电子稳像算法和视觉跟踪算法研究电子稳像算法和视觉跟踪算法研究摘要：随着科技的飞速发展，电子稳像算法和视觉跟踪算法在图像处理领域的应用越来越广泛。

本文将详细介绍电子稳像算法和视觉跟踪算法的原理、方法以及在图像处理中的应用。

电子稳像算法主要通过图像处理技术实现消除图像模糊和抖动的效果，视觉跟踪算法则可以用于目标检测、追踪等方面。

本文将以此为主线，通过实验和案例研究，探讨电子稳像算法和视觉跟踪算法在实际应用中的优势和挑战。

一、引言电子稳像算法和视觉跟踪算法是近年来图像处理领域的热门研究方向。

随着数码相机、智能手机等设备的普及，用户对于摄影、拍照的要求也越来越高。

电子稳像算法可以有效减少因为手持拍摄导致的图像模糊和抖动问题，提升图像质量。

视觉跟踪算法则可以实现目标检测和追踪等功能，为安防监控、自动驾驶等领域提供了强大的技术支持。

本文将围绕电子稳像算法和视觉跟踪算法展开详细探讨。

二、电子稳像算法的原理与方法1. 图像稳定原理图像稳定是通过计算机算法对图像进行处理，使其消除由于手持拍摄导致的图像模糊和抖动。

图像稳定算法主要分为基于光学流的稳定算法和基于特征点的稳定算法。

基于光学流的算法通过计算图像中每个像素在连续帧之间的位移来实现图像的稳定，而基于特征点的算法则通过计算关键点的位置和方向变化来达到稳定的效果。

2. 常见的电子稳像算法（1）均值滤波算法：通过计算像素周围邻域像素的均值，进而更新当前像素的值，达到降噪和图像平滑的效果。

（2）运动补偿算法：通过分析连续帧之间物体的位移信息，计算出对应位移的运动矢量，从而实现图像的稳定。

三、视觉跟踪算法的原理与方法1. 目标检测与跟踪目标检测和跟踪是视觉跟踪算法的重要应用领域。

目标检测主要通过人工智能和机器学习算法实现，包括卷积神经网络（CNN）、支持向量机（SVM）等。

跟踪算法则基于目标的特征提取和特征匹配等技术，实现对于目标在连续帧之间的追踪。

2. 常见的视觉跟踪算法（1）基于颜色特征的视觉跟踪算法：通过提取目标的颜色特征，计算目标和背景之间的颜色差异，进而实现目标的跟踪。

Vol.37 No.182舰船电子工程Ship Electronic Engineering总第271期2017年第1期一种基于灰度投影差值的稳像算法$李大成杨晓东(海军潜艇学院青岛266100)摘要针对图像序列的平移抖动，提出了一种基于灰度投影差值的灰度投影稳像算法。

详细地阐述了实现此算法关键步骤:计算当前帧和参考帧的灰度映射,以灰度映射差值作为特征量，确定图像运动矢量和补偿当前帧图像等。

在实验室条件下应用此算法，采用图像差值对算法进行评价。

实验表明，该方法有效解决了前景局部物体运动和图像部分区域灰度变化大带来的干扰，能够达到实时电子稳像的目的。

关键词平移抖动；灰度投影；运动矢量；电子稳像中图分类号TP391 DOI：10. 3969/j. issa 1672-9730. 2017. 01. 021Electronic Image Stabilization AlgorithmBased on Gray Projection DifferenceLI Dacheng YANG Xiaodong(Naval Submarine Academy, Qingdao 266100)Abstract In allusion to the translational jitter of image sequences? an improved gray projection algorithm is proposed. The key steps to realize the algorithm are set forth in details. Gray projection of the current frame and reference frame is cal­culated, gray mapping difference is chosen as the characteristic and the image motion vector and compensation current frame image are determined. In order to evaluate this algorithm, image difference algorithm is applied under lab conditions. Experi­ments show that this method is effective to solve the prospects for local object motion and change of parts of image gray level and can achieve the goal of electronic image stabilizationKey Words translational jitter, gray projection, motion vector, electronic image stabilizationClass Number TP391i引言随着摄像机等图像采集设备在测量系统、导航 系统、监控系统等方面的广泛使用，对采集的图像 和视频的质量要求也越来越高。