下载文档原格式
视觉心理学认为人与被观察物体发生相对运动时，被观察物体表面带光学特征的部位的移动给人们提供了运动和结构的信息。
当相机与场景目标间有相对运动时所观察到的亮度模式运动称之为光流(optical flow)，或者说物体带光学特征部位的移动投影到视网膜平面(也即图像平面)上就形成了光流。
光流场的计算一般分为四类：基于梯度的方法(Horn-Schunck 和Lucas-Kanade 算法都是基于梯度的算法)；基于匹配的方法；基于能量的方法；基于相位的方法。
基于梯度的方法利用图像灰度的梯度来计算光流，是研究最多的方法。
基于梯度的方法根据运动前后图像灰度保持不变这个基本假设，导出光流约束方程。
由于光流约束方程并不能唯一的确定光流，因此需要导入其他的约束。
根据引入的约束不同，基于梯度的方法又可以分为全局约束方法和局部约束方法。
全局约束的方法假定光流在整个图像范围内满足一定的约束条件；而局部约束的方法假定在给定点周围的一个小区域内，光流满足一定的约束条件。
基于匹配的方法，这类方法是将速度m v 定义为视差(,)T dx dy =d ，使得两个时刻的图像区域的匹配最佳。
为了找到最佳匹配，我们可以对定义在d 上的相似度量，如规一化的互相关系数，进行最大化，也可以对某一距离度量，如光强度差的平方和，进行最小化。
基于梯度的光流场算法介绍梯度光流法又分为全局约束方法和局部约束方法。
全局约束方法假定光流在整个图像范围内满足一定的约束条件，而局部约束的方法假定在给定点周围的一个小区域内，光流满足于一定的约束条件。
下面先导出光流约束方程。
然后给出两种比较典型的基于梯度的方法。
1、光流约束方程假定图像上点(,)T x y =m 在时刻t 的灰度值为(,,)I x y t ，经过时间间隔dt 后，对应点的灰度为(,,)I x dx y dy t dt +++，当0dt →时，可以认为两点的灰度不变，也就是：(,,)(,,)I x dx y dy t dt I x y t +++= (1)如果图像灰度随,,x y t 缓慢变化，可以将(1)式左边泰勒级数展开：(,,)(,,)I I II x dx y dy t dt I x y t dx dy dt x y tε∂∂∂+++=++++∂∂∂ (2) 其中ε代表二阶无穷小项。
收稿日期：2019-11-18；修回日期：2020-01-13作者简介：陈勇（1980-），男，江苏南京人，高级工程师，硕士，主要研究方向为电力工程；王昊（1982-），男，江苏常熟人，高级工程师，硕士，主要研究方向为图像处理与分析；诸雅琴（1987-），女，江苏南京人，工程师，硕士，主要研究方向为机器识别；贾浩亮（1996-），男（通信作者），河北邢台人，硕士研究生，主要研究方向为模式识别技术（220184588@seu．edu．cn ）；吴威（1975-），男，江苏徐州人，高级工程师，硕士，主要研究方向为电气技术．基于改进Deep Sort 算法的多目标跟踪算法陈勇1，王昊2，诸雅琴3，贾浩亮4，吴威2（1．国网江苏省电力工程咨询有限公司，南京210024；2．国网江苏省电力有限公司，南京211106；3．金卯新能源集团有限公司，南京210000；4．东南大学网络空间安全学院，南京210096）摘要：目标跟踪作为近几年的一个热门研究方向，在视频监控、无人驾驶和机器人导航等领域得到了广泛的应用。
而在电力工程施工场所应用多目标跟踪算法，有助于实时、智能地掌握相关人员活动情况，及时地对危险情况作出预测。
对此，提出了一种基于改进Deep Sort 算法的多目标跟踪算法，在算法中引入了加速度参数分量和全局轨迹生成机制，使其在基本满足实时跟踪的要求下，尽可能地提高算法的跟踪精度，并提供场景中人员的全局移动轨迹信息。
为了验证改进算法的有效性，设计了改进算法与原算法的对比实验。
实验结果表明，与原算法相比，改进算法在基本保证实时性的使用要求下，提升了多目标跟踪的精度，取得了良好的跟踪效果。
关键词：多目标跟踪；Deep Sort 算法；加速度参数分量；全局轨迹生成机制0引言目标跟踪是计算机视觉领域的重要研究方向之一，在精确制导、智能视频监控、人机交互、机器人导航、公共安全等领域有着重要的作用［1］。
本文将改进的目标跟踪技术运用在电力工程工地场景的视频监控中，实时跟踪监控施工人员的位置信息，有助于极大地解放人力，提高生产效率，并能有效地对施工危险行为作出预测。
3D视觉中的立体匹配算法研究与改进在3D视觉领域中，立体匹配算法是一项重要的技术，用于处理立体图像的深度信息。
立体匹配算法旨在通过对图像中的对应点进行匹配，确定它们之间的距离，从而重构场景的三维结构。
本文将对3D视觉中的立体匹配算法进行研究与改进。
一、立体匹配算法的基本原理立体匹配算法的基本原理是通过比较左右两幅立体图像的像素信息，找到它们之间的对应点，并计算出距离或深度信息。
常用的立体匹配算法包括视差法、基于特征的立体匹配、图割算法等。
视差法是最传统的立体匹配算法之一。
它通过比较左右图像中像素的灰度值差异来确定对应点的视差值，再通过一定的几何关系计算出深度信息。
视差法简单易实现，但对于纹理丰富、边缘模糊等情况下的图像匹配效果不佳。
基于特征的立体匹配算法利用图像中的特征点（如角点、边缘等）进行匹配，以获得更准确的结果。
该算法通常包括特征提取、特征匹配和深度计算等步骤。
特征点的选择和匹配精度对立体匹配结果的准确性有着重要影响。
图割算法是一种基于图论的立体匹配算法，它将立体匹配问题转化为图割问题。
通过构建能量函数，利用图割算法来计算最小代价的匹配结果。
图割算法具有较高的准确性和鲁棒性，但计算复杂度较高，不适用于实时系统。
二、立体匹配算法的常见问题在实际应用中，立体匹配算法仍然存在一些问题，限制了其性能和应用范围。
主要问题包括视差失真、运动物体处理、低纹理区域匹配等。
视差失真是指由于视角变化或透视变换等原因导致匹配误差增大。
特别是在远处或大角度情况下，视差估计会出现积累误差，使得深度信息不准确。
解决视差失真问题的方法包括视角校正、立体图像重建等。
运动物体处理是指当场景中存在运动物体时，立体匹配算法难以准确地匹配对应点。
运动物体造成图像中的对应点轻微偏移，导致匹配错误。
针对这个问题，可以采用背景建模、光流估计等方法来提高立体匹配的稳定性。
低纹理区域匹配是立体匹配中的一个挑战性问题。
在低纹理区域，图像中的对应点很少或没有，难以准确匹配。
主要基于两种思路：a)不依赖于先验知识，直接从图像序列中检测到运动目标，并进行目标识别，最终跟踪感兴趣的运动目标；b)依赖于目标的先验知识，首先为运动目标建模，然后在图像序列中实时找到相匹配的运动目标。
一．运动目标检测对于不依赖先验知识的目标跟踪来讲，运动检测是实现跟踪的第一步。
运动检测即为从序列图像中将变化区域从背景图像中提取出来。
运动目标检测的算法依照目标与摄像机之间的关系可以分为静态背景下运动检测和动态背景下运动检测〔一〕静态背景1.背景差2.帧差3.GMM4.光流背景减算法可以对背景的光照变化、噪声干扰以及周期性运动等进行建模，在各种不同情况下它都可以准确地检测出运动目标。
因此对于固定摄像头的情形，目前大多数的跟踪算法中都采用背景减算法来进行目标检测。
背景减算法的局限性在于它需要一个静态的固定摄像头。
〔二〕运动场通常情况下，摄像机的运动形式可以分为两种：a)摄像机的支架固定，但摄像机可以偏转、俯仰以及缩放; b)将摄像机装在某个移动的载体上。
由于以上两种情况下的背景及前景图像都在做全局运动，要准确检测运动目标的首要任务是进行图像的全局运动估计与补偿。
考虑到图像帧上各点的全局运动矢量虽不尽相同(摄像机做平移运动除外)，但它们均是在同一摄像机模型下的运动，因而应遵循相同的运动模型，可以用同一模型参数来表示。
全局运动的估计问题就被归结为全局运动模型参数的估计问题，通常使用块匹配法或光流估计法来进行运动参数的估计。
块匹配基于块的运动估算和补偿可算是最通用的算法。
可以将图像分割成不同的图像块，假定同一图像小块上的运动矢量是相同的，通过像素域搜索得到最正确的运动矢量估算。
块匹配法主要有如下三个关键技术：a)匹配法则，如最大相关、最小误差等b)搜索方法，如三步搜索法、交叉搜索法等。
c) 块大小确实定，如分级、自适应等。
光流法光流估计的方法都是基于以下假设：图像灰度分布的变化完全是目标或者场景的运动引起的，也就是说，目标与场景的灰度不随时间变化。
farneback光流法Farneback光流法是一种基于像素领域的运动估计算法，也是一种基于区域的光流法。
它是Gunnar Farneback于2003年提出的一种计算稠密场光流的方法，通过求解局部小区域内的灰度变化来计算像素点的位移向量，从而实现对两幅连续图像中物体的动态运动变化的观测与跟踪。
Farneback光流法的基本原理是在一个像素窗口内假设灰度的变化符合一个二次函数的模型，然后通过对灰度两张图像的积分计算来求得相邻帧之间每个像素点的光流位移向量，进而计算场的梯度幅值和角度，以分析物体运动的速度和方向。
Farneback光流法是一种高效、准确和实用的光流估计方法，具有较好的鲁棒性，广泛应用于计算机视觉领域的运动恢复、运动估计、视频稳定化、物体跟踪等任务中。
接下来，本文将详细介绍Farneback光流法的实现步骤：1. 图像预处理。
在使用Farneback光流法之前，需要先对输入的两幅图像进行预处理，例如可对图像进行灰度化、归一化、降噪等操作，以提高算法的稳定性和精度。
2. 对图像进行金字塔分层。
Farneback光流法的核心思想是通过金字塔分层处理来适应图像尺度的变化，在不同层上求解光流向量。
图像金字塔是一种分层存储的数据结构，可以将大尺寸的图片分成多级小尺寸的子图像，不断缩小图像尺寸，以适应不同光流尺度。
3. 计算光流场。
在金字塔分层完成后，可以通过Farneback光流法估计相邻帧之间的光流场。
方法的基本步骤包括：(1) 在每个金字塔层上，设定像素窗口大小和线性函数的相关参数；(2) 通过对灰度两张图像的积分计算来求得相邻帧之间每个像素点的光流位移向量，其中，方程的解由光流的平滑先验和光度约束共同得到；(3) 计算场的梯度幅值和角度，以分析物体运动的速度和方向。
4. 可视化光流向量。
最后，可以将得到的光流向量通过可视化方法进行展示，例如可以采用光流场的箭头表示，箭头长度和方向表示物体在二维平面上的运动状态。
第 38 卷第 10 期2023 年 10 月Vol.38 No.10Oct. 2023液晶与显示Chinese Journal of Liquid Crystals and Displays融合序列影像相关区域信息的光流估计网络安彤1，贾迪1，2*，张家宝1，蔡鹏1（1.辽宁工程技术大学电子与信息工程学院，辽宁葫芦岛 125105；2.辽宁工程技术大学电气与控制工程学院，辽宁葫芦岛 125105）摘要：针对现有光流估计方法在目标轮廓分割不清晰、缺乏细粒度的问题，本文提出融合序列影像相关区域信息的光流估计网络。
通过特征编码器和全局编码器分别提取图像的编码特征和上下文特征，并通过下采样处理缩减特征尺寸。
在构建4D相关体前，对输入的连续两帧特征图进行分区处理，以强弱相关的方式计算稠密的视觉相似度，建立更为精细的4D 相关体积。
在迭代更新阶段，提出残差卷积滤波器和细粒度模块，分别应用于处理相关体和光流传递，使得在融合相关体信息和光流信息前保留更多的局部小位移信息。
在KITTI-2015数据集和MPI-Sintel数据集上与其他方法进行对比，光流估计评价指标分别提升了8.2%和6.15%。
本文给出的网络模型可以更好地提高光流估计的准确性，有效解决了光流场过于平滑、缺乏细粒度和忽略小物体运动等问题。
关键词：计算机视觉；深度学习；光流；区域匹配；迭代更新中图分类号：TP391.4 文献标识码：A doi：10.37188/CJLCD.2022-0384Optical flow estimation via fusing sequence image intensitycorrelation informationAN Tong1，JIA Di1，2*，ZHANG Jia-bao1，CAI Peng1（1.College of Electronic and Information Engineering， Liaoning Technical University， Huludao 125105， China；2.College of Electrical and Control Engineering， Liaoning Technical University， Huludao 125105， China）Abstract： Aiming at the problems of unclear target contour segmentation and poor granularity in existing optical flow estimation methods，an optical flow estimation via fusing sequence image intensity correlation information is proposed. First， The coding features and contextual features of the images are extracted by the feature encoder and the global encoder， respectively， and the feature sizes are reduced by downsampling processing. Then， before constructing 4D correlation volume， the input two consecutive frames of feature maps are divided into regions to calculate dense visual similarity in the form of strong and weak correlation to build a more refined 4D correlation volume.Finally，in the iterative update stage，the residual 文章编号：1007-2780（2023）10-1434-11收稿日期：2022-11-18；修订日期：2023-01-18.基金项目：国家自然科学基金（No.61601213）；辽宁省自然科学基金（No.LJ2020FWL004）；中国博士后科学基金（No.2017M61125）Supported by National Natural Science Foundation of China（No.61601213）；National Natural ScienceFoundation of Liaoning Province（No.LJ2020FWL004）；China Postdoctoral Science Foundation（No.2017M61125）*通信联系人，E-mail：1319423118@第 10 期安彤，等：融合序列影像相关区域信息的光流估计网络convolution filter and the fine-grained module are proposed to be applied to process the correlation volume and optical flow transmission，respectively，which allows to retain more local small displacement information before fusing the correlation volume information and optical flow information. In comparison with other methods on the KITTI-2015 and MPI-Sintel， the optical flow estimation evaluation metric （Endpoint error， EPE） is improved by 8.2% and 6.15%， respectively. The network model given in this paper can better improve the accuracy of optical flow estimation and effectively solve the problems of the optical flow prediction field being over smooth， lacking of fine granularity and ignoring of small object motion.Key words： computer vision； deep learning； optical flow； region matching； iterative update1 引言光流估计是计算机视觉的核心问题之一，在视频理解［1］、动作识别［2］、目标跟踪［3］、全景拼接［4］等领域具有重要的应用，在各类视频分析任务中可以更好地反映目标的运动信息，被认为是一种重要的视觉线索。
基于事件相机的连续光流估计付婧祎 1余 磊 1杨 文 1卢 昕1摘 要 事件相机对场景的亮度变化进行成像, 输出异步事件流, 具有极低的延时, 受运动模糊问题影响较少. 因此, 可以利用事件相机解决高速运动场景下的光流(Optical flow, OF)估计问题. 基于亮度恒定假设和事件产生模型, 利用事件相机输出事件流的低延时性质, 融合存在运动模糊的亮度图像帧, 提出基于事件相机的连续光流估计算法, 提升了高速运动场景下的光流估计精度. 实验结果表明, 相比于现有的基于事件相机的光流估计算法, 该算法在平均端点误差、平均角度误差和均方误差3个指标上, 分别提升11%、45% 和8%. 在高速运动场景下, 该算法能够准确重建出高速运动目标的连续光流,保证了存在运动模糊情况时, 光流估计的精度.关键词 运动模糊, 事件相机, 连续光流估计, 异步事件流引用格式 付婧祎, 余磊, 杨文, 卢昕. 基于事件相机的连续光流估计. 自动化学报, 2023, 49(9): 1845−1856DOI 10.16383/j.aas.c210242Event-based Continuous Optical Flow EstimationFU Jing-Yi 1 YU Lei 1 YANG Wen 1 LU Xin 1Abstract Event camera encodes the brightness change of the scene and outputs asynchronous event data, with ex-tremely low delay and few motion blur problem. Therefore, event camera can be used to solve the problem of optic-al flow (OF) estimation in high-speed motion scenes. In this paper, based on the assumption of constant brightness and event generation model, continuous optical flow estimation algorithm based on event camera is proposed by utilizing the low-delay property of event stream and fusing the brightness images with motion blur, which greatly improves the optical flow estimation accuracy in high-speed motion scenes. Experimental results show that the pro-posed algorithm improves the average endpoint error, the average angular error and the mean square error by 11%,45% and 8%, respectively, comparing with the existing event-based optical flow estimation algorithms. In high-speed motion scenes, the proposed algorithm can accurately reconstruct the continuous optical flow of the high-speed mov-ing target, thus guaranteeing the accuracy of optical flow estimation in the presence of motion blur.Key words Motion blur, event camera, continuous optical flow estimation, asynchronous event streamCitation Fu Jing-Yi, Yu Lei, Yang Wen, Lu Xin. Event-based continuous optical flow estimation. Acta Automat-ica Sinica , 2023, 49(9): 1845−1856光流(Optical flow, OF)估计一直是图像处理与计算机视觉领域中一个核心的研究课题. 近年来,随着计算机软硬件水平的提高, 各类光流估计算法层出不穷, 光流技术在跟踪[1−2]、运动分割[3−4]、导航[5−6]和图像配准[7−8]等应用领域凸显出了越来越重要的作用. 特别是在高速运动场景中, 由于空间物体运动位置的快速变化, 对运动数据的获取和光流的计算提出了更高要求, 连续且高精度的光流估计算法[9]更是被国内外学者广泛研究, 其获得的光流估计结果也能为后续各类视觉任务打下良好基础.然而, 由于相机自身较低的时间分辨率, 传统光学相机在高速运动场景下, 难以连续捕捉到物体在成像平面中位置的快速变化, 导致输出图像帧存在运动模糊, 因此低帧率的数据使得基于传统相机的光流估计算法无法有效地进行连续的光流估计.如图1(a)所示, 向右做高速运动的棋盘格由传统光学相机成像, 由于传统相机曝光时间较长, 棋盘格在亮度图像帧中出现了运动模糊. 通过传统Horn-Schunck 算法[10]获得的光流结果如图1(b)所示, 随着棋盘格运动速度加快, 受到亮度图像运动模糊的影响, 传统算法所估计的光流精度逐渐降低, 甚至输出与实际运动反向的光流结果.收稿日期 2021-03-26 录用日期 2021-09-17Manuscript received March 26, 2021; accepted September 17,2021国家自然科学基金 (62271354, 61871297), 中央高校基本科研业务费专项资金 (2042020kf0019), 测绘遥感信息工程国家重点实验室项目资助Supported by National Natural Science Foundation of China (62271354, 61871297), Fundamental Research Funds for the Central Universities of China (2042020kf0019), and Project of State Key Laboratory Information Engineering in Surveying,Mapping and Remote Sensing 本文责任编委 陈龙Recommended by Associate Editor CHEN Long 1. 武汉大学电子信息学院 武汉 4300721. School of Electronic Information, Wuhan University, Wuhan 430072第 49 卷 第 9 期自 动 化 学 报Vol. 49, No. 92023 年 9 月ACTA AUTOMATICA SINICASeptember, 2023近年来, 针对基于传统光学相机的光流估计算法易受运动模糊影响的问题, 基于事件相机[11−12]的光流估计算法受到了广泛关注. 事件相机是一种新型的仿生传感器, 不同于传统相机通过固定时间间隔采样获取图像帧, 该相机具有独立的像素, 这些像素只在场景的亮度变化超过一定阈值时异步地进行成像. 此外, 事件相机具有高时间分辨率的特性,受运动模糊问题影响较少[13], 因此能够对空间物体的运动进行连续捕捉, 获取瞬时的运动数据有利于进行连续的光流估计. 图1(c)展示了棋盘格高速运动生成的事件点, 红色表示亮度增强, 蓝色表示亮度减弱. 可以看出, 事件相机捕捉到的运动信息在时间上具有连续性, 基于此估计出的如图1(d)所示的光流结果, 不仅在时间上具有连续性特征, 而且更加精确.目前, 基于事件相机的光流估计算法主要分为单纯基于事件流算法和联合事件流与亮度图像算法两种. 由于事件流数据不能如图像帧一样完整地反映场景的纹理信息, 因此单纯基于事件流的光流估计算法[14−16]仅能反映事件点触发位置的光流信息,无法得到完整的场景运动信息. 此外, 由于事件数据存在大量噪声[17], 也降低了光流估计的准确性.动态和主动像素视觉传感器(Dynamic and active-pixel vision sensor, DAVIS)相机由Berner等[18]开发. 该传感器结合了动态视觉传感器(Dynamic vis-ion sensor, DVS)[19−20] 和传统的主动像素传感器(Active pixel sensor, APS), 不仅输出异步事件流,还可以输出固定帧率的亮度图像. 基于此, Almat-rafi等[21]提出了联合DVS和APS数据的光流估计方法,提高了事件相机光流估计的准确性和鲁棒性. 然而,由于APS传感器输出的亮度图像依然不可避免地受到运动模糊影响且该算法由于依赖亮度图像获取空间梯度, 只能估计出建帧时刻的非连续光流,因此并不能保证高速运动场景下光流的精度和连续性.针对上述问题, 本文基于亮度恒定假设和事件产生模型利用事件相机输出事件流的低延时性质,融合存在运动模糊的亮度图像帧, 提出基于事件相机的连续光流估计算法. 通过研究模糊图像帧与曝光时间内生成事件点之间的关系, 可以重建出连续的清晰亮度图像, 从而使算法受运动模糊的影响较少. 最后在计算光流时, 添加平滑约束获得更具鲁棒性的稠密光流, 最终实现高速运动场景下受运动模糊影响较小的连续光流估计.本文的主要贡献如下:1)针对基于传统光学相机的光流估计算法易受运动模糊影响问题, 本文通过研究模糊图像帧与曝光时间内生成事件点之间的关系, 理论上推导了联合事件和图像的连续光流模型, 建立了任意时刻光流、图像和事件之间的关系.2)基于联合事件和图像的连续光流模型, 提出HS (Horn-Schunck)和结合局部与全局(Combin-ing local and global, CLG)平滑约束的光流估计方法, 提升了重建光流的精度和平滑性.3)通过实验表明, 本文方法不仅能够较大提升基于事件相机光流估计的精度, 同时还能解决目标高速运动条件下如何进行连续且稳定的光流估计问题. 因此, 对于高速运动的极端场景, 本文方法具有一定优势.1 相关算法概述1.1 基于传统相机的光流估计在基于传统相机的光流估计方法中, 光流可以通过连续图像帧间的相关性以及图像上特定像素在(a) y(b) y(c) y(d) yx timex timex timex time图 1 基于传统相机和基于事件相机的光流估计效果对比((a)传统相机输出图像帧序列; (b)传统Horn-Schunck算法的光流估计结果; (c)事件相机输出事件流;(d)本文EDI-CLG算法光流估计结果)Fig. 1 Comparison of traditional camera and eventcamera based optical flow ((a) The samples of imagesacquired by traditional camera; (b) The results usingHorn-Schunck algorithm; (c) The event data generatedby event camera; (d) The results using the proposedEDI-CLG algorithm)1846自 动 化 学 报49 卷(x,y )t I (x,y,t )I t (x,y )∆t (x +∆x,y +∆y )空间和时间上的变化得到. 一般地, 坐标 上的像素在 时刻的亮度值可以表示为 , 为简便起见, 有时将 的坐标变量默认省略. 在环境不变时, 用同一相机拍摄的图像序列之间有很强关联性, 因此可以引入光流的“亮度恒定”假设[10, 22]即随着时间的变化, 在图像平面移动的像素点亮度值不变. 对于 时刻在坐标 上的像素点, 经过 时间, 移动到 , 则:基于这一假设, 将式(1)按一阶泰勒展开后, 再忽略高阶项, 可以得到光流约束方程:v =(v 1,v 2)v 1=∆x /∆t v 2=∆y /∆t x y ∇I =(I x ,I y )I x =∂I∂x I y =∂I∂y x y 令光流矢量 , 其中 , 分别表示像素在 和 轴上的运动速度即光流.再令图像的空间梯度 , 其中 ,分别表示图像在和 方向上的梯度. 则可以得到式(2)的矩阵形式:但仅有光流约束方程不足以估计出二维运动场. 因此, Horn 等[10]通过正则化方式提高全局空间的一致性, 提出速度平滑假设, 将问题转化为可求解的凸函数, 也就是HS 光流法. Lucas 等[22]提出基于光流场局部空间一致性的Lucas-Kanade 光流,提高算法的准确性和鲁棒性. 随后, Black 等[23]提出分段平滑的假设来改进全局平滑, 黄波等[24]通过引入二维标号场改进了HS 光流. Fortun 等[25]则通过最小化光流的大小来引入额外的约束, 进一步提升了算法的精度.然而, 由于传统相机的时间分辨率较低, 在某些高速运动的极端场景下, 容易出现运动模糊, 导致光流估计算法的性能急剧下降. 因此基于传统相机的光流估计算法无法有效地保证高速运动场景下光流估计的准确性和稳定性. 针对运动模糊问题,现有方法大多数基于线性运动的假设, 在此基础上,通过求解模糊问题得到相应的光流估计[26−27]. 但是,由于场景运动较为复杂, 无法满足线性运动假设,从而影响光流估计的精度[28].1.2 事件相机成像原理事件相机是受生物视觉系统启发的一类新型视觉传感器, 与传统相机存在一定区别. 传统相机基于帧进行成像, 输出同步图像帧, 像素点代表场景u =(x,y )T t C e :=⟨u ,t,p ⟩的绝对亮度; 事件相机基于像素点独立成像, 输出包含大量事件点的异步事件流, 事件流表示场景在对数域的亮度变化. 事件点数据包含了亮度变化事件的像素坐标、触发时间和极性三类信息. 在像素平面上, 若像素 在 时刻上的对数光强值与上一时刻的对数光强值之差超过一定的阈值,则激发事件 :V :=lg I C >0∆t p ∈{1,−1}p 式中, 表示图像对数域的亮度值; 阈值; 是距离该像素上一次激发事件经过的时间; 表示事件的极性, 为正表示光强增强, 为负表示光强减弱.与逐帧成像的传统相机相比, 逐像素点独立成像的事件相机延时极低, 能够及时响应像素的亮度变化并输出事件流, 从而记录任意时刻的亮度变化情况. 事件相机的低延时性质, 使其特别适用于高速和高动态范围场景的视觉任务, 例如自动驾驶[29]、高速同时定位与地图构建[30]、光流估计等.1.3 基于事件相机的光流估计针对基于事件相机的光流估计问题, 目前常见方法是将恢复图像像素强度作为预处理步骤, 以适应传统算法. 如Benosman 等[14]利用短时间内事件的逐像素直方图来代替像素值, Bodo 等[31]使用中心差分来改善空间梯度的质量, Tobias 等[32]则利用空间梯度和时间梯度之间的耦合来提高鲁棒性. 但由于从事件到强度转换过程中信息的丢失, 这些算法与基于帧的光流估计算法相比, 精度较差.另一种常见方法是利用事件相机的特性来估计光流. Gallego 等[15]通过图像对比度最大化, 以产生运动补偿的图像来同时估计光流和深度. Lagorce 等[16]开发算法来拟合时空流形以估计平滑的边缘运动. Liu 等[33]提出一种基于事件的块匹配算法来估计光流的方向, 并在文献[34]中融合了速度的计算. Barranco 等[35]提出一种基于相位的方法来计算高频纹理区域的光流, 并尝试重建强度信号, 以避免纹理边缘处可能存在的问题. Bardow 等[36]通过建立窗口, 将亮度恒定和平滑先验组合为代价函数,并通过变分法进行优化, 实现光流和亮度的估计.这些算法在一定程度上提高了光流估计的精度, 但由于事件流数据不能如图像帧一样完整地反映场景的纹理信息, 因此基于事件相机的光流估计算法仅能反映事件点触发位置的光流信息, 无法得到完整的场景运动信息.近年来, 联合事件生成模型和“亮度恒定”假设9 期付婧祎等: 基于事件相机的连续光流估计1847进行光流估计的方法[37]得到了广泛关注. 其中, 部分方法基于事件的二重积分(Event-based dou-ble integral, EDI)模型[38], 如Pan 等[39]利用该模型提出了联合光流估计和亮度图像去模糊算法, 实验结果表明, 利用EDI 模型可以降低运动模糊的影响,有利于提升光流估计的精度. 因此, 本文算法同样基于EDI 模型, 并通过结合事件流和亮度图像各自的优势, 提出基于事件相机的连续光流估计算法,以解决现有的传统光流估计算法易受运动模糊的影响, 以及单纯基于事件流的光流估计算法空间信息不足的问题.2 基于事件相机的连续光流估计本节研究基于事件相机的连续光流估计方法,结构安排如下: 第2.1节简要介绍EDI 模型, 第2.2节推导联合EDI 模型和“亮度恒定”假设的连续稀疏光流估计方法, 第2.3节分别添加两种平滑约束, 最终求得对噪声具有鲁棒性的连续稠密光流场.2.1 EDI 模型i Y [i ]∈R M ×N T t i EDI 模型[38]利用事件点的高时间分辨率优势,可以重建出受运动模糊影响较少的连续清晰亮度图像. 相机APS 模块具有曝光时间, 因此其输出的亮度图像在相机或场景内运动目标做高速运动的情况下, 会产生运动模糊. 假定第 帧亮度图像为 , 曝光时间为 , 曝光起始时刻用 表示, 则图像生成模型可以表示为:I (t )t ∈R I (t )T Y [i ](x,y )e xy (t )t 式中, 表示在 时刻的瞬时清晰亮度图像,这个生成模型可以解释为由于亮度图像 在 时间内的快速变化, 导致输出图像 模糊. 为了更直观地表示事件, 用连续时间信号来定义离散事件序列, 对于像素平面上的每一个像素 ,定义 为连续时间 的函数:δ(·)t e I (f )f 式中, 表示狄拉克函数, 表示事件被激发的时刻. 定义 是 时刻的瞬时清晰亮度图像, 结合式(4)和式(6), 可得:f 将式(7)代入亮度图像生成模型式(5), 可以得到曝光时间内的模糊图像与事件点, 以及时刻 的瞬时清晰亮度图像之间的关系:∫{∫}然后, 可以定义:最终, 可将式(8)写为:E i (f )i I (f )f式中, 表示第 帧亮度图像曝光时间内生成事件点的二重积分, 表示任意时刻 的瞬时清晰亮度图像, 两者均在时间上具有连续性特征. 式(10)将模糊图像、瞬时清晰亮度图像和事件点之间建立了联系. 而模糊图像和事件点是已知的, 就可以通过式(10)计算出任意时刻的瞬时清晰亮度图像.2.2 基于EDI 模型的连续光流估计EDI 模型仅仅考虑了模糊图像的去模糊问题,本节进一步结合光流约束方程研究基于EDI 模型的连续光流估计问题.I 若将EDI 模型重建出的瞬时清晰亮度图像看作式(3)中的亮度图像 , 即:I f则亮度图像 对时间 求导得:可以结合式(3)和式(10), 推导出联合事件流和亮度图像的连续光流估计方法:v (f )f f d E id f 式中, 表示 时刻的光流场, 且关于 连续. 另外, 根据式(9)可以求出导数 :1848自 动 化 学 报49 卷则式(12)可更新为:最终, 将式(14)代入式(13), 求得基于连续清晰亮度图像重建的光流计算公式:f v (f )Y [i ]E i (f )上式给出了任意时刻 的连续光流 与模糊图像 和事件流数据 之间的关系. 第2.3节中, 将利用这个关系并结合平滑约束, 进一步得到优化的光流估计.2.3 平滑约束的连续光流估计2.3.1 HS 平滑约束的连续光流估计I I (f )v =(v 1,v 2)HS 光流法是一种基于全局的方法[40], 它除了需要满足Lucas-Kanade 光流法的亮度恒定、时间连续和运动位移小的假设外, 还需要满足图像光流场全局平滑的假设. 使用 简化表示 , 令光流矢量 , 定义一个能量函数:I x I y I f I x y ∇(I x v 1+I y v 2+I f )2α(|∇v 1|2+|∇v 2|2)α式中, 、 和 分别表示图像 在 、 方向上的导数和对时间的导数, 表示求梯度, 该能量函数的 是灰度变化因子, 是平滑因子, 为正则化参数, 调节光流场的平滑程度,理想的光流场应该使得灰度变化因子和平滑因子之和最小, 即亮度恒定且运动平滑. 为了便于推导, 令:L v 1v 2将 对 和 分别进行求导, 得:∆式中, 是拉普拉斯算子操作, 可表示为:本文用以下公式代替:¯m(x,y )m (x,y )式中, 为 的拉普拉斯估计值:进行拉普拉斯操作替换后, 将式(19)更新为:使用Gauss-Seidel 迭代方法[40], 利用估计的空间梯度、时间导数和上一次迭代的速度估计结果来计算一组新的速度估计值, 得到迭代式:¯v k 1¯v k2v 1v 2k λk :=I x v k 1+I y v k 2+I f λθ式中, 和 表示上一次迭代结果的拉普拉斯估计值. 将式(11)和式(15)代入迭代式(24), 计算 和 在第 步迭代的估计值. 通过多次迭代收敛,最终得到光流的估计结果. 本文设定迭代终止条件为光度一致性误差 的变化小于某个阈值 :λθ=1×10−6∆f T T /∆f T 本文实验中选取 . 具体算法见算法1. 其中, 时间间隔将每一帧亮度图像的曝光时间 进行 等分, 决定了 时间内的连续光流估计次数.2.3.2 CLG 平滑约束的连续光流估计通常情况下, 基于局部的光流估计方法对噪声更具鲁棒性, 而基于全局的光流估计方法则产生更加精确的稠密光流场. CLG 光流法[41]结合了局部方法和全局方法各自的优势, 产生对噪声具有鲁棒性的稠密光流场, 其最小化能量函数可以表示为:式(26)中各个参数的定义如下:9 期付婧祎等: 基于事件相机的连续光流估计1849K ρρ∗α式中, 是高斯核, 表示高斯核的邻域窗口大小,“ ”表示卷积操作, 参数 调节平滑程度. 使用类似第2.3.1节中HS 平滑约束迭代公式的推导过程, 可得CLG 平滑约束的光流迭代公式:v 1v 2k 将式(11)和(15)代入迭代式(31), 计算 和 在第 步迭代的估计值. 迭代收敛条件与第2.3.1节相同, 经过多次迭代, 最终得到连续稠密光流的估计结果. 与Pan 等[39]方法不同的是, 本文方法利用EDI 模型重建连续清晰亮度图像的优势, 推导出同样在时间上具有连续性的光流估计方法, 因此在高速运动的极端场景下具有一定的优势, 而文献[39]则基于曝光时间内光流恒定的假设, 对亮度图像进行去模糊操作. 算法1. 基于事件相机的连续光流估计算法{Y [i ]}l i =1{e k }m k =1∆f v 1=0v 2=0αλθ输入. 亮度图像序列 , 事件流数据 ,时间间隔 , 迭代初始值 、 , 参数 、 .v (f )输出. 连续光流估计结果 .Y [i ]1) for 每一帧亮度图像 do;[t i ,t i +T ]2)提取时间 内对应的事件流;f =t i :∆f :(t i +T )3) for do;f E i (f )4)根据式(9)计算 时刻的事件点二重积分 ;f I ;5)根据式(11)重建 时刻的清晰亮度图像 f I f 6)根据式(15)计算 时刻的清晰亮度图像时间导数 ;|λk −λk −1|>λθ7) while do;v (f )8)根据式(24) (HS)或式(31) (CLG)计算连续光流;9) end while;10) end for;11) end for.3 实验结果及分析本文使用两组数据集对算法进行测试. 第1组来自Bodo 等[31]提供的数据集, 由DAVIS240相机[18]录制且带有光流真实值. 该数据集场景简单, 所有事件点均由相机低速运动生成. 图2展示了该数据集中TranslBoxes 、RotDisk 和TranslSin 三个数据的亮度图像和对应事件帧, 对应结果如图3、图4所示. 第2组是运动模糊数据集, 图5(a)展示了该数据集中三个数据的亮度图像, 前两行数据来自Pan等[38]提供的真实模糊事件数据集, 第3行数据为使用DAVIS346相机录制的真实模糊事件数据. 第2组数据集包含高速运动导致亮度图像模糊的更具挑战性的情况, 可以用于验证本文算法在极端场景下的鲁棒性, 但不带有光流真实值. 在实验中, 将本文提出的引入HS 约束和CLG 约束的连续光流估计模型分别命名为EDI-HS 和EDI-CLG.3.1 参数选取α算法1中待设定的参数为平滑约束的正则化参数 . 本文主要通过实验方式对该参数进行设置, 选择带有标准偏差的平均端点误差(Average end point error, AEE)和平均角度误差(Average an-gular error, AAE)以及均方误差(Mean square er-ror, MSE)来作为光流精度的衡量指标. AEE 表示光流大小与真实值的误差, 单位为%:AAE 表示光流方向与真实值的误差, 单位为(°):MSE 可用如下公式表示:v i =(v x ,v y )i i u i =(u x ,u y )i 式中, 表示第 个光流测量值, 表示相应的光流真实值.采用第1组DAVIS240数据集进行实验, 通过(a)(b)(c)图 2 DAVIS240数据集的亮度图像和对应事件帧((a) TranslBoxes 数据; (b) RotDisk 数据;(c) TranslSin 数据)Fig. 2 Brightness image and corresponding event frameof DAVIS240 datasets ((a) TranslBoxes dataset;(b) RotDisk dataset; (c) TranslSin dataset)1850自 动 化 学 报49 卷αα>2ααα观察不同的正则化参数对所计算光流的平均端点误差和平均角度误差的影响, 对参数进行选取. 在 取值为[0, 3 000]范围内进行了大量实验, 通过实验发现, 在各数据集上, 当 时, 两种误差都随 的增大而升高, 光流质量变差. 因此, 图3展示了 取值在区间[0, 2]上对所得光流的平均端点误差和平均角度误差的影响曲线. 可以发现, 相较于平均角度误差, 平均端点误差受参数 的影响更小且平ααα=0.75α=0.75均端点误差随 的增大而缓慢升高, 平均角度误差随 的增大呈现先降低后升高趋势. 当 左右时, 可以同时保证两种误差均为较低, 因此在后续实验中设置 .3.2 连续光流估计结果为验证本文算法的精度, 将它们与现有的基于事件相机的光流估计算法进行比较, 分别为Almat-(a)a(b)(c)8213461831407141528163068140.250.25A A E /(°)0.500.751.001.251.501.752.00a 0.500.751.001.251.501.752.00a0.250.250.500.751.001.251.501.752.00a 0.500.751.001.251.501.752.00a0.250.250.500.751.001.251.501.752.00a 0.500.751.001.251.501.752.00α图 3 正则化参数 与光流误差的关系曲线 ((a) TranslBoxes 数据; (b) RotDisk 数据; (c) TranslSin 数据)αFig. 3 Relationship between optical flow error and regularization parameter ((a) TranslBoxes dataset;(b) RotDisk dataset; (c) TranslSin dataset)(a)(b)(c)(d)(e)(f)图 4 DAVIS240数据集光流结果对比图 ((a)光流真实值; (b)本文EDI-HS 方法; (c)本文EDI-CLG 方法;(d) DAVIS-OF 方法; (e) DVS-CM 方法; (f) DVS-LP 方法)Fig. 4 Comparison of optical flow results on DAVIS240 datasets ((a) Ground truth; (b) The proposed EDI-HS method;(c) The proposed EDI-CLG method; (d) The DAVIS-OF method; (e) The DVS-CM method; (f) The DVS-LP method)9 期付婧祎等: 基于事件相机的连续光流估计1851rafi等[21]提出的联合DVS和APS数据的光流估计方法、图像对比度最大化光流估计法[15]和局部平面拟合光流估计法[16]. 将它们分别命名为DAVIS-OF、DVS-CM 和DVS-LP. 其中, DAVIS-OF光流估计算法在添加CLG平滑约束时取得了最好的效果,因此本文在进行对比实验时, 也对其添加了CLG 平滑约束.首先, 使用第1组DAVIS240数据集对算法进行实验测试. 表1展示了各个算法在这3个数据上的光流估计结果与真实值之间的误差, 精度排名第1和第2的算法分别使用加粗和下划线标注. 总体上, EDI-CLG的结果最好, 在3个数据上的误差都比较小, EDI-HS在TranslBoxes和TranslSin两个数据上的结果比另外3种现有算法更优, 且EDI-CLG光流结果的标准差在3个数据上都较小, 说明EDI-CLG的光流结果较为稳定, 很少有异常值,具有良好的抗噪性能. 实验结果表明, 在DAVIS-240数据集上, 本文算法相比于其他3种对比算法,在精度和稳定性上具有一定优势.表2展示了各个算法在3个数据上的运行时间对比, 其中运行速度排名第1和第2的算法分别使用加粗和下划线标注. 使用Matlab2014a进行光流估计的平均每帧运行时间作为衡量指标, 其中, DAVIS-OF的运行时间最短, EDI-HS的运行时间也相对较短, 而EDI-CLG的迭代过程相比于EDI-HS较为复杂, 因此运行时间略长, DVS-CM则由于逐像素迭代计算光流, 平均每帧运行时间为最长.实验结果表明, 在DAVIS240数据集上, 本文算法表 1 DAVIS240数据集光流误差表Table 1 Optical flow error on DAVIS240 datasets数据算法%AEE ()AAE (°)MSE TranslBoxesDVS-CM43.65 ± 27.1521.46 ± 32.8639.94DVS-LP124.78 ± 92.0519.66 ± 13.7181.03DAVIS-OF31.20 ± 3.1817.29 ± 7.1815.57EDI-HS18.65 ± 2.92 5.13 ± 4.7217.86EDI-CLG18.01 ± 2.65 4.79 ± 3.0516.77 RotDiskDVS-CM54.26 ± 28.3034.39 ± 25.8840.75DVS-LP104.63 ± 97.1520.76 ± 14.1777.25DAVIS-OF33.94 ± 17.0213.07 ± 8.5814.30EDI-HS42.93 ± 20.9114.87 ± 12.8333.10EDI-CLG42.44 ± 20.8613.79 ± 10.5233.02 TranslSinDVS-CM91.96 ± 9.9543.16 ± 39.0985.41DVS-LP107.68 ± 70.0469.53 ± 30.8294.53DAVIS-OF84.78 ± 61.2256.75 ± 41.5362.61EDI-HS75.74 ± 51.6930.14 ± 9.9872.96EDI-CLG72.45 ± 44.1228.53 ± 4.9735.28表 2 运行时间对比Table 2 Comparison of running time算法平均每帧运行时间(s)DVS-CM206.85DVS-LP 5.29DAVIS-OF0.52EDI-HS0.61EDI-CLG0.63(a)(b)(c)(d)(e)(f)图 5 运动模糊数据集光流结果对比图 ((a)运动模糊亮度图像; (b) 使用EDI方法重建的清晰亮度图像;(c)本文EDI-HS 方法; (d)本文EDI-CLG方法; (e) DVS-CM方法; (f) DVS-LP方法)Fig. 5 Comparison of optical flow results on motion blur datasets ((a) Brightness image with motion blur;(b) Reconstructed clear brightness image using EDI method; (c) The proposed EDI-HS method;(d) The proposed EDI-CLG method; (e) The DVS-CM method; (f) The DVS-LP method)1852自 动 化 学 报49 卷。
文章编号:1673-9965(2011)02-115-05全局运动多分辨率光流估计算法的改进与实现*韩军,张东(西安工业大学光电工程学院,西安710032)摘要:为了提高低分辨率图像之间的位移估计精度,在传统光流算法的基础上,提出了全局运动的多分辨率光流估计算法.实验结果表明:该算法能够快速实现小位移和准确的实现大位移的运动估计,通过对互有亚像素位移的多帧低分辨率图像对比相位相关法进行运动估计,改进的多分辨率光流估计算法实现的高精度亚像素位移误差精度为0.05pi.关键词:光流估计算法;多分辨率;亚像素估计;相位相关法中图号:T P391.4文献标志码:A图像超分辨率重构技术是提高现有光电观瞄系统的探测距离和分辨率的重要方法,近年来是研究的热门课题[1].为了重建高分辨率图像,首先必须确定所有低分辨率图像间的运动信息,然后将它们配准到同一个参考帧上.在很多其他应用中,这些运动参数是事先不可知的,因此运动估计是超分辨率重建算法中非常关键的步骤,而且估计的准确性比其密集性更重要,如果估计精度达不到亚像素级,将会极大地影响重建图像的质量[2].现有运动补偿和运动估计的算法很多,主要如基于插值的算法、基于抛物面预测算法、基于频率域方法的相位相关法等[3-4].通过插值算法达到亚像素的精度是运用最为广泛的方法,但其随着精度的提高,运算的复杂性大大提高.另一类亚像素运动估计方法是基于抛物面预测的亚像素运动估计算法,这类方法虽然所需时间少,但是由于最佳亚像素点周围的实际函数并不是和预测的函数完全一致,会导致最佳运动矢量与实际选取的运动矢量之间的误差.光流估计算法是运动估计中的重要算法之一[5].光流是空间运动物体在观测成像面上的象素运动的瞬时速度;光流场是指图像灰度模式的表面运动.光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的运动.研究光流场的目的就是为了从序列图像中近似计算出不能直接得到的运动场[7-8].文中改进了基于全局运动多分辨率的光流估计方法,将待估计图像降采样形成分辨率逐步降低的图像集合,对其由低到高逐级进行光流法运动估计.并通过实验证明了多分辨率的光流估计方法提高了估计的精确性.1传统的光流估算方法光流场的计算最初是由H orn和Schunck提出[7].如果t时刻图像的点(x,y)处灰度值为I(x, y,t),在时刻t+$t时,这一点运动到((x+$x,y+ $y,t+$t),对应的灰度值为I(x+$x,y+$y,t+ $t),假定它与I(x,y,t)相等,即I(x+$x,y+$y,t+$t)=I(x,y,t)(1)利用泰勒公式对其展开,忽略二阶及其以上的项可得到5I5x$x$t+5I5y$y$t+5I5t=0(2)令u,v分别为该点光流矢量沿x和y方向的两个分量,且有u=d xd t,v=d yd t则可得到基本光流约束方程I x u+I y v+I t=0(3)第31卷第2期2011年04月西安工业大学学报Jour nal of X i.an T echno log ical U niversityV ol.31N o.2A pr.2011*收稿日期:2010-11-23作者简介:韩军(1966-),男,西安工业大学教授,主要研究方向为光电测试技术、光学薄膜.E-mail:hanjun512@.写成矢量形式¨I #v +I t =0(4)在式(3)和式(4)中,I x ,I y ,I t 分别为参考像素点的灰度值沿x ,y ,t 三个方向的偏导数;¨I =(I x ,I y )T 为图像灰度的空间梯度;v =(u,v)T 即为光流矢量.基本光流中有两个未知数u 和v ,但只有一个方程,因此,只使用一个点上的信息是不能确定光流的.人们将这种不确定问题称为孔径问题(apertur e pro blem).各国的研究者均在探索求解该不适定问题的方法,其间出现了许多克服不适定问题的算法,H o rn 和Schunck 使用光流在整个图像上光滑变化的假设来求解光流,即运动场既满足光流约束方程又满足全局平滑性.Lucas 和Kanade 假设在一个小的空间邻域8上运动矢量保持恒定,然后使用加权最小二乘方(weighted least -squares)估计光流.Nagel 使用二阶导数(second -o rder derivatives)来估计光流.光流场计算基本公式的导出过程中,应用了泰勒级数展开,因此这实际隐含着认为灰度变化以及速度场的变化都是连续的.但在实际情况中,图像中的灰度变化以及速度场都可能出现不连续.日本学者M ukaw a 引入一个修正因子对光流场计算基本等式修正,其中修正因子可以有物体的运动和投影模型求出,解决了光流基本等式的不连续问题.2 全局运动光流估计法文中考虑基本的全局平移运动情形.假定图像f 1,f 2,存在全局平移运动变换,则有下式成立 f 1(x ,y )=f 2(x c ,y c )=f 2(x +$x ,y +$y )(5)对上式右边进行二元泰勒展开,略去高阶项得到f 1(x ,y )U f 2(x ,y )+$xf2x(x ,y )+$yf2y(x ,y )(6)其中f 2x (x,y )=5f 2(x ,y )5x,f 2y (x ,y)=5f 2(x ,y )5y .为了估计运动参数($x ,$y ),建立如下误差函数I ($x ,$y )=[f 2(x ,y )+$xf2x(x ,y )+$yf 2y (x ,y )-f 1(x ,y )]2(7)当I ($x,$y)去最小值时,即I ($x ,$y)对两个待求参数的偏导数为零,即2[f 2(x ,y )-f 1(x ,y )]f 2x (x ,y )+ $x [f 2x (x ,y )]2+$yf 2x(x ,y )f2y(x ,y )=02[f 2(x ,y )-f 1(x ,y )]f 2(x ,y )+$xf2x(x ,y )+$yf2y(x ,y )[f 2y (x ,y )]2=0(8)式(8)可写为矩阵形式为AP =b(9)其中A =f 22x f 2x f 2y f 2x f2yf22y,P =$x $y,b =f 2x (f 1-f 2)f 2y (f 1-f 2).通过计算A 和b ,最终可求得全局运动参数P =A -1b .3 多分辨率原理光流估计算法的优点是配准精度比较高,抗噪声能力强,但只适合于对小位移量的配准,当图像间的位移量比较大时,往往不能准确配准.另外算法的计算量也比较大,而且随图像像素数的增加而增加.文中采用多分辨的方法应用于光流,可以弥补这个缺点.采用高斯金字塔分解,将高斯算子与原图像进行卷积,然后下采样,得到图像在较低分辨率上的近似,分辨率是原图的1/2,再将采样后的图像与高斯算子卷积下采样,如此反复进行上述操作,就得到了高斯金字塔如图1所示.图1 图像的多分辨率示意图F ig.1 Schematic diag ram of mult-i reso lution imag e多分辩算法步骤与算法为设原图像为P 0,以P 0作为高斯金字塔的第0层,第k 层的计算是先将k -1层图像P k-1和一个具有低通特性的5@5的窗口函数S(m,n)进行卷积,在把卷积结果作隔行隔列的降采样,即116西安工业大学学报 第31卷P k(i,j)=E2m=-2E2n=-2S(m,n)P k-1(2i+m,2j+n)(10)其中0[k[N,0<i[P k,0<j[L k,按照一定约束条件可以计算得到窗口函数的值,将S代入式(10)计算,即构成的高斯金字塔.金字塔的高层图像分辨率比较低,图像像素数比较少,因此可减小算法的计算量.另外低分辨率图像间的相对位移量也比高分辨率图像间的位移量减小了相应的倍数,因此可使算法实现大位移量的运动估计.4实验及分析为验证上述结论,我们采用步进电机对双光楔进行控制,使其绕轴旋转所成特定的夹角来实现不同的光线偏转角[9-11].当两光楔绕光轴相对旋转,其夹角为U时,偏向角D随夹角U的变化而变,CCD 探测器作为图像接收传感器.通过对该微扫描装置设计分析,可实现[0.03nm的精度.文中主要针对全局平移运动,用文中所述光流法对拍摄图像进行运动估计,并用相位相关法进行对比.微扫描装置原理如图2所示.图2微扫描装置原理图F ig.2Schematic diag ram of m icro scanning dev ice图3为拍摄的一帧图像,分辨率为512@512.计算光流场时,首先要对图像进行预处理,以消除噪声和PSF模糊.再利用高斯滤波对图像进行平滑,采用Lucy-Richardson对图像消除PSF模糊.处理结果图像如图4所示.根据所述方法,选取实验序列图像的四帧图像进行了算法测试,如图5、图6、图7、图8所示.其中图5与图6之间相差0.5个像素,图7、图8之间相差2.5个像素.图3实验室一帧图片F ig.3T he image o f labor atory图4预处理后图片Fig.4T he prepro cessedimage图5第一帧图像F ig.5T he first frame图6第二帧图像Fig.6T he seco nd frame文中位移估计算法步骤为¹将参考图像与待估计图像分别进行高斯下采样,获得图像的多分辨率表示,初始化第n层的运动参数为(0,0);117第2期韩军等:全局运动多分辨率光流估计算法的改进与实现º计算f2x,f2y,由式(8)可求的A;»计算f1-f2,b,P;¼由n层计算n-1层的光流.将第三步得到的值作为L-1层计算的迭代初始值,更新运动估计参数P(i)n=P(i+1)n+A-1b,利用式(2)和式(3)进行运算;½重复第¼步,直到计算到第0层为止.第0层的值即为最终运动参数值.文中方法用Matlab7.0开发语言实现.样本测试结果:水平位移$x=0.5876,$y=0.0258;$x =2.5,$y=0.0275;运算时间20s.图9,图10显示了光流矢量图,由于第二帧图像相对第一帧图像只有水平位移,从图中可以看出,光流真实反映了图像像素强度变化情况,由于噪声的处理不理想以及坏像素的存在,有部分像素矢量估计不准确.为了进一步说明文中光流算法的准确性,用大部分超分辨率图像重建中使用的相位相关亚像素估计法进行对比.通过表1中的数据可知,这一方法能够较好的估计两幅图像间的亚像素级运动量.图7第三帧图像Fig.7T he thir d frame图8第四帧图像F ig.8T he fourth frame图9光流矢量图Fig.9T he o ptica l flo w v ector图10光流矢量图F ig.10T he optical f low vecto r表1不同方法的图像运动估计实验结果比较(像素)T ab.1T he co mpar ison of ex per imental r esults of imag e motion estimation w ith different methods(pixels)算法真实值水平方向垂直方向估计值水平方向垂直方向误差值水平方向垂直方向相位相关法0.500.64230.04670.14230.0467文中算法0.500.58760.02580.08760.0258相位相关法 2.50 2.73260.05780.23260.0578文中算法 2.50 2.67540.03470.17540.03475结论1)文中结合实际应用要求,引入多分辨率技术,改进了光流估计算法对于大位移的不能准确性估计,扩展了光流估计的应用场合,同时使光流估计的运算速度和鲁棒性有了较大的提高.2)对双光楔微扫描装置拍摄的多帧亚像素图像进行误差估计,对于高精度亚像素小位移误差精118西安工业大学学报第31卷度0.03pi,对于高精度亚像素大位移的误差精度为0.05pi.3)改进的光流算法虽在文中取得了较好的应用效果,但随着应用场合的不同,对该算法的抗噪声和快速的计算能力提出了更高的要求.4)在今后的研究中将继续围绕光流算法的实时性和良好的鲁棒性进行深入探索,使其能在特殊的硬件支持下实现实时动态检测,并将其研究成果扩展到其他研究领域.参考文献:[1] P ark S C,Park M K,Kang M G.Super -resolution Im -age Reconstructio n -a T echnical Over view [J ].I EEE Sig nal P rocessing M ag azine,2003,20(3):21.[2] N g M K,Bose N K.M athemat ical A naly sis of Super -r eso lutio n M etho do log y [J].IEEE Sig nal Pr ocessing M ag azine,2003,20(3):62.[3] I rani M ,Peleg S.Impro ving R eso lutio n by I mag eR egistr atio n [C ]//CV GI P:G raphical M o dels and I mage,1991,53(3):231.[4] H uang Y ,M a S,Shen C.P redictive L ine Sear ch:AnEfficient M otion Est imatio n Algo rithm for M PEG -4Encoding Systems on M ultimedia P ro cessor s [J ].I EEE T rans o n Cir cuit s and Sy stems fo r V ideo T echnolog y,2003,13(1):111.[5] HORN B,SCH UCK B.Determining Optical Flow [J].Ar tificial Intellig ence,1981,17(4):185.[6] Ba rro n J,Fleet D,Beauchemin S.Per for mance o f O p -t ical Flow T echniques [J].I nter nat ional Journal of Co mputer V ision,1994,12(1):42.[7] Black M J,Y aco ob Y,Jepson A D,et al.L earning P a -rameter ized M o dels of Image M otion [C ]//IEEE Computer So ciety Co nfer ence on Com puter V isio n and Pattern Recog nitio n(CVP R'97),1997:561.[8] ZU CCHEL LI M.O ptical F lo w Based Structure fr omM o tio n[M /O L].CV A P L ab.Ro yal Institute of T ech -nolog y,Stockho lm,2002[2007-09-23].http://citese /view do c/do wnload?doi=10.1.1.12.5862&rep=r ep1&ty pe=pdf.[9] 段智勇,王庆康.新型纳米分辨率位移定位平移台的研制[J].纳米技术与精密工程,2005,3(3):176.DU AN Zh-i yong ,W A NG Q ing -kang.Development of a Displacement Positioning P latfo rm of N ov el N ano -meter Reso lution [J].Nanotechnolo gy and P recisio n Engineer ing ,2005,3(3):176.(in Chinese)[10] H aussecker H,Fleet puting Optical Flow w ithP hysical Mo dels of Brightness Variation [J].IEEE T PA M I,2001,23(6):661.[11] 王碧波,岳金福,周泽斌,等.基于二维精密电容微位移传感器的二维纳米定位系统[J].纳米技术与精密工程,2005,3(2):137.W A NG B-i bo,Y U E Jin -fu,Z HO U Z e -bing ,et al.T w o -dimensio na l N ano -positioning System Co m -bined with T w o -dimensio na l Capacitive Displace -ment Senso r[J].N anotechno log y and P recisio n En -g ineering ,2005,3(2):137.(in Chinese)Improvement and Implementation of Global MotionMult-i resolution Optical Flow Estimation AlgorithmH AN J un,ZH A N G Dong(School of O pto electr ic Eng ineer ing,Xi .an T echnolog ical U niv ersity ,X i .an 710032,China)Abstract: In or der to improve the estimation precisio n o f displacement among low resolution im ag es,the paper pr opo ses an optical flow estim ation algor ithm o f g lobal motion w ith mult-i resolution,based o n the traditional optical flow alg orithm.T he ex perimental results sho w s that the algo rithm can realize fast small displacem ent motion estimatio n and accurate big displacem ent motion estimatio n.The estim ation is implemented for im ages of low reso lution w ith sub -pix el displacement,com pared w ith correlatio n phase estim ation.T he results show that this impr oved algo rithm achieves hig h precisio n pix el displacement estim ation and the precisio n reaches 0.05pi.Key words: optical flow estim ation alg orithm ;mult-i reso lution;sub -pixel estim ation;phase cor relation m ethod(责任编辑、校对 张立新)119第2期 韩军等:全局运动多分辨率光流估计算法的改进与实现。
