当前位置：文档之家 › 一种基于图像金字塔光流的特征跟踪方法_江志军

一种基于图像金字塔光流的特征跟踪方法_江志军

  • 格式：pdf
  • 大小：274.56 KB
  • 文档页数：4

下载文档原格式

  / 4

合集下载

一种基于图像金字塔的图像去噪方法、计算机装置及计算机可读存储

一种基于图像金字塔的图像去噪方法、计算机装置及计算机可读存储

专利名称：一种基于图像金字塔的图像去噪方法、计算机装置及计算机可读存储介质
专利类型：发明专利
发明人：杨帆,彭刚
申请号：CN202010051403.4
申请日：20200117
公开号：CN111260580A
公开日：
20200609
专利内容由知识产权出版社提供
摘要：本发明提供一种基于图像金字塔的图像去噪方法、计算机装置及计算机可读存储介质，该方法包括获取初始图像，计算每一像素的输出色度值：获取待去噪像素的分层搜索区域，对分层搜索区域进行下采样，每次下采样后获得一层下采样图像，多层下采样图像形成第一图像金字塔；将每一下采样图像进行上采样，将上采样后的图像与该下采样图像的下一层图像相减后获得一层相减图像，多层相减图像形成第二图像金字塔；将第二图像金字塔的每一层相减图像与第一图像金字塔的最高层下采样图像进行均值去噪，获得去噪色度值；使用初始色度值与去噪色度值计算输出色度值。

本发明还提供实现上述方法的计算机装置及计算机可读存储介质。

本发明可以减少图像去噪的计算量以及硬件实现难度，并且提高去噪的质量。

申请人：珠海全志科技股份有限公司
地址：519080 广东省珠海市高新区唐家湾镇科技二路9号
国籍：CN
代理机构：珠海智专专利商标代理有限公司
代理人：林永协
更多信息请下载全文后查看。

《2024年基于光流法的运动目标检测与跟踪技术》范文

《2024年基于光流法的运动目标检测与跟踪技术》范文

《基于光流法的运动目标检测与跟踪技术》篇一一、引言在计算机视觉和智能监控领域，运动目标检测与跟踪技术是研究热点之一。

其中，基于光流法的运动目标检测与跟踪技术因其高效、实时和准确的特性而备受关注。

本文将详细介绍基于光流法的运动目标检测与跟踪技术的原理、方法及其应用。

二、光流法的基本原理光流是一种描述图像序列中像素点强度变化的技术。

在运动场景中，光流反映了像素点在时间维度上的运动轨迹。

基于光流法的运动目标检测与跟踪技术，主要是通过计算图像序列中像素点的光流信息，进而确定运动目标的轨迹和位置。

三、光流法的计算方法光流法计算的基本思想是假设在相邻两帧图像中，像素点的运动速度是连续的。

根据这个假设，可以计算出每个像素点的速度矢量，即光流。

常用的光流计算方法包括稀疏光流法和稠密光流法。

稀疏光流法主要关注图像中的特征点，通过匹配特征点来计算光流；而稠密光流法则计算图像中每个像素点的光流信息。

四、运动目标检测与跟踪技术基于光流法的运动目标检测与跟踪技术主要包括以下步骤：首先，通过计算图像序列中每个像素点的光流信息，得到图像的运动场；然后，根据运动场的分布和特性，检测出运动目标的位置和轨迹；最后，利用一定的跟踪算法，对运动目标进行持续跟踪和轨迹预测。

五、技术应用及优势基于光流法的运动目标检测与跟踪技术在智能监控、智能交通、人机交互等领域有着广泛的应用。

其优势在于能够实时、准确地检测和跟踪运动目标，对光照变化、遮挡等复杂场景具有较强的适应性。

此外，该技术还能为后续的目标识别、行为分析等提供可靠的数据支持。

六、技术挑战与展望尽管基于光流法的运动目标检测与跟踪技术取得了显著的成果，但仍面临一些挑战。

例如，在处理高动态场景、多目标交互等复杂情况时，算法的实时性和准确性有待提高。

未来，该领域的研究将围绕提高算法的鲁棒性、降低计算复杂度、融合多源信息等方面展开。

同时，随着深度学习、机器学习等技术的发展，基于光流法的运动目标检测与跟踪技术将更加智能化和自动化。

基于金字塔结构的图像特征提取与匹配研究

基于金字塔结构的图像特征提取与匹配研究

基于金字塔结构的图像特征提取与匹配研究在计算机视觉领域中，图像特征提取和匹配是关键的研究方向之一。

基于金字塔结构的图像特征提取和匹配算法是目前应用广泛和效果优良的一种方法。

一、图像金字塔图像金字塔是图像处理中常用的一种技术。

它可以将一副图像按照不同的尺度进行划分，使得同一物体在不同尺度下都能被准确检测和匹配。

在图像处理中，金字塔结构可分为高斯金字塔和拉普拉斯金字塔。

高斯金字塔是通过不断向下采样得到的，其上一层图像的尺寸是下一层图像的两倍，像素值满足高斯分布。

拉普拉斯金字塔则是通过向下采样和向上采样得到，是高斯金字塔的差分图。

图像金字塔结构的生成可以使用循环卷积的方法或者快速傅里叶变换的方法，具体实现时需要根据不同情况选择合适的方法。

使用金字塔结构对图像进行处理可以避免图像尺度发生变化对结果的影响，从而提高图像处理的准确性。

二、SIFT算法SIFT算法是一种广泛使用的图像特征提取和匹配算法，其主要思想是通过寻找尺度空间上的极值点来提取图像特征。

在SIFT算法中，首先需要使用高斯金字塔对图像进行尺度变换，然后在每个尺度下利用DoG算法求出关键点。

最后对每个关键点周围的像素进行梯度计算，生成图像特征描述子。

SIFT算法的优点在于具有旋转不变性和尺度不变性，能够对不同方向和尺度的物体进行准确匹配。

但是SIFT算法处理速度较慢，存在过多的计算消耗和存储空间的问题。

三、SURF算法SURF算法是一种将SIFT算法进行优化的算法。

在SURF算法中，采用快速Laplacian算法对图像进行建模，利用Haar小波对图像快速特征提取，通过积分图像快速计算图像特征描述子。

与SIFT算法相比，SURF算法的计算速度更快，在处理大型图像时更具优势。

但是SURF算法对于旋转和尺度不变性的处理并不十分稳定，可能会出现一些误匹配的情况。

四、ORB算法ORB算法是一种将FAST特征点检测和BRIEF特征描述结合的算法。

在ORB算法中，首先使用FAST算法选取特征点，然后使用BRIEF算法对特征点进行描述。

一种基于图像金字塔光流的特征跟踪方法_江志军

一种基于图像金字塔光流的特征跟踪方法_江志军
基于上述原因并考虑到图像噪声的影响 ,本 文实现了一种基于图像金字塔的角点梯度光流计 算方法对图像序列中的角点特征进行亚像素级跟 踪 。该方法的基本思想是构造图像序列的一个金 字塔 (图 1) ,金字塔表示中较高的层是下层平滑 后的下采样形式 ,原始图像层数等于零 。当图像 分解到一定的层后 ,相邻帧间图像运动量将变得 足够小 ,满足光流计算的约束条件 ,可以直接进行 光流估计 。在实际计算时 ,由高层到低层进行 ,当 某一级的光流增量计算出来后 ,将加到其初始值 上 ,再进行投影重建 ,作为其下一层的光流计算初 值 。这一过程不断进行 ,直至估计出原始图像的 光流 。
IL ( x , y)
=
1 4
IL - 1 (2 x ,2 y)
+
1 8
[ IL - 1 (2 x +
682
武 汉 大 学 学 报 ·信 息 科 学 版
2007 年 8 月
1 , 2 y) + IL - 1 (2 x - 1 , 2 y) + IL - 1 (2 x , 2 y + 1) +
IL - 1 (2 x , 2 y
该方法的计算量在很大程度上依赖于特征窗 口 w 的大小 、图像目标的纹理以及物体运动的速 度 。特征窗口较小时 , 窗口内图像运动变化也较 小 ,变形矩阵 D 的计算很不可靠 ; 特征窗口过大 , 则有悖于图像灰度一致性假设 。在通常情况下 , 一般假设角点运动δ是简单的平移运动 , 即δ= d , D = 0 ,此时点特征跟踪转化为点光流的计算问 题[6 ] 。To ma si 的实验结果表明[7 ] ,这样的假设能 得到较高的稳定性和计算精度 。尽管如此 ,当图 像间存在较大运动 (速度) 或特征窗口过大时 ,图 像灰度一致性假设往往很难成立 。

基于深度序列的时空金字塔的动作识别

基于深度序列的时空金字塔的动作识别

基于深度序列的时空金字塔的动作识别邹向阳;侯云江【摘要】An efficient human action recognition method is put forward. Three views of depth sequences are transformed into Depth Motion Outline Sequence(DMOS)by using the method of interframe differentiation. Then a spatio-temporal pyramid is proposed to subdivide the DMOS on temporal and spatial level. A feature fusion scheme is presented to concat-enate the Histograms of Oriented Gradients(HOG)features which have extracted from the subdivided DMOS. Finally lin-ear SVM to classification is used. Through using the MSR Action 3D data sets, this method is evaluated with different parameters of spatial-temporal pyramid. Experimental results show that this method has higher recognition rate than the similar algorithm.%提出一种高效的人体动作识别方法.通过帧间差分法将深度序列的三视图转化为深度运动轮廓序列(DMOS),然后利用时空金字塔对DMOS进行时间维和空间维细分,将细分后得到的空间网格的局部方向梯度直方图(HOG)进行特征融合,并使用线性SVM分类.最后采用MSR Action 3D数据集对提出的算法在不同时空金字塔参数下的识别率和处理速度进行了评估,结果表明该方法在同类算法中具有更高的识别率.【期刊名称】《计算机工程与应用》【年(卷),期】2017(053)019【总页数】5页(P211-215)【关键词】动作识别;深度运动轮廓序列;时空金字塔;HOG特征;线性SVM分类器【作者】邹向阳;侯云江【作者单位】空军空降兵学院,广西桂林 541003;桂林电子科技大学电子工程与自动化学院,广西桂林 541004;空军空降兵学院,广西桂林 541003【正文语种】中文【中图分类】TP391人体动作识别是计算机视觉中一个很热门的研究方向，在现实生活中具有广泛的应用，如：人机交互、医疗看护、虚拟现实、视频监控等领域[1]。

一种基于光流的行人目标跟踪与分割方法

一种基于光流的行人目标跟踪与分割方法

一种基于光流的行人目标跟踪与分割方法姜守帅;高阳;吕佳;陈林资【摘要】为了对非限制场景中的行人目标实现跟踪和分割,研究了一种基于光流的行人目标跟踪与分割方法.采用传统光流场的计算方法,获取行人运动所产生的光流场,将光流场中像素点的幅值信息及像素点在帧间运动的方向角度信息相结合,使光流场中所包含的前景目标物体的运动信息更加完整,更具鲁棒性.根据行人在连续帧间运动时,行人和背景之间边界位置像素点亮度变化的特点,实现对行人目标的跟踪.采用改进的内外映射方法,获取动态目标内部像素点,实现对视频前景行人目标的分割.实验结果表明,该方法能够准确地实现对非限制场景中行人目标的跟踪与分割.【期刊名称】《桂林航天工业学院学报》【年(卷),期】2017(022)004【总页数】9页(P389-397)【关键词】光流;运动目标分割;内外映射;行人跟踪【作者】姜守帅;高阳;吕佳;陈林资【作者单位】桂林航天工业学院机械工程系,广西桂林 541004;桂林航天工业学院机械工程系,广西桂林 541004;桂林航天工业学院机械工程系,广西桂林 541004;桂林航天工业学院机械工程系,广西桂林 541004【正文语种】中文【中图分类】TP391.41对非限制场景中动态目标检测方法[1]的研究是近年来机器视觉领域和模式识别领域的一个研究热点，同时也是一个研究难点。

对动态目标分割理论的研究一般是在对静态图像进行检测分割[2-3]的理论基础上发展起来的。

随着动态目标分割算法的不断改进发展，它已经成为模式识别，视频编辑，人类的运动学分析等众多领域的基础。

并且非限制场景中高效快速的动态目标分割方法既可以大大节省后续处理的时间，又可以大大提高后续处理的精度，使对整体处理的难度大大降低，从而使工作效率大大提高。

静态图像分割技术[4-5]的发展已日臻完善，而非限制场景中动态目标分割技术目前正处于快速发展的阶段，各类算法层出不穷。

但是实际应用中视频分割技术对其鲁棒性有很大要求，即在人类视觉系统能够承受的范围内相对稳定、准确地分割视频中的前景运动目标。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

第 32 卷第 8 期
江志军等 :一种基于图像金字塔光流的特征跟踪方法
681
α2λ1 ≤SSD ( p) = hT Dh ≤α2λ2
(6)
成立 。由于 D 的特征值满足| D - λI | = 0 , 可以
将式 (4) 代入得到 :
λ1 ,2 = A + B ±
( A + B) 2 - 4 ( AB - C2 ) 2
特征检测与跟踪是基于连续图像序列的运动 结构重建问题[1] ( st ruct ure f ro m motio n , SFM) 研究的重要基础和关键技术环节 ,在航空航天 、移 动机器人定位 、移动量测 、交通等领域有着广泛的 应用 。图像特征的定义及检测方法多种多样 ,其 中最常用的是角点特征[2] 。基于梯度光流的角点 跟踪方法实现起来相对简单 ,计算复杂度较低 ,而 且能够得到相当精确的跟踪 ,如 L K 方法[3] 。然 而 ,该类方法在应用中也有局限性 ,如仅适用于小 图像运动[4] ,要求相邻图像间的目标运动小于 1 个像素 。本文方法基于图像金字塔的分层结构与 多分辨率特征 ,使得特征跟踪窗口尺寸能够在不 同级别的图像分辨率层次上动态扩展 。
其邻域 (窗口) 内进行最大值滤波 ,此时得到的角 点往往在图像局部的高纹理区域比较集中 ,并且 检测得到的角点数依赖于特征阈值的选取 ,并与 图像本身的纹理分布相关 。为此 ,首先对所有像 素点上的最小特征值λmin 求最大值 , 给定某个小 的比例因子 (10 - 4 ～10 - 2 ) 来确定特征阈值λ0 ; 然 后根据各点上的幅值 (λmin ) 大小对所有候选角点 进行排序 ,并定义某个距离阈值 d0 , 依次使保留 下来的每一角点 , 以该点为中心 、d0 为半径的圆 形区域内不再出现其他幅值更大的候选角点 。这
移量 ,最小化残差 E( d) 为 :
d0 = 0 dk = dk- 1 +ηk ( k ≥1)
基于上述原因并考虑到图像噪声的影响 ,本 文实现了一种基于图像金字塔的角点梯度光流计 算方法对图像序列中的角点特征进行亚像素级跟 踪 。该方法的基本思想是构造图像序列的一个金 字塔 (图 1) ,金字塔表示中较高的层是下层平滑 后的下采样形式 ,原始图像层数等于零 。当图像 分解到一定的层后 ,相邻帧间图像运动量将变得 足够小 ,满足光流计算的约束条件 ,可以直接进行 光流估计 。在实际计算时 ,由高层到低层进行 ,当 某一级的光流增量计算出来后 ,将加到其初始值 上 ,再进行投影重建 ,作为其下一层的光流计算初 值 。这一过程不断进行 ,直至估计出原始图像的 光流 。
灰度时间微分 It = I ( x , y) - J ( x , y) , 定义空间梯
度矩阵 :
G=
ux +w x
∑
uy +wy
∑
x = ux - w x y = uy - w y
Ix2 Ix I y
并设矢量 b(误匹配矢量) 为 :
Ix I y I y2
(14)
b=
ux +wx
∑
uy +w y
∑
x = ux - w x y = uy - wy
间的线性变换 , 其特征矢量确定了缩放变换的方
向 ,而其特征值表征该方向上的缩放大小 ,即可以
根据 D 的特征值来确定图像强度变化的幅度 。 若 ‖h ‖=α,λ1 、λ2 为 2 ×2 方阵 D 的两个特征值 , 且λ1 ≤λ2 ,则
收稿日期 :2007205212 。 项目来源 :国家自然科学基金资助项目 (40301040) 。
≤y
≤1 2L
h
-
1
(11)
对原始图像 I0 中的特征点 x ( x , y) , 有 L 层
图像 I L 中的 x L ( xL , yL ) 与之对应 , 其中 xL = x/
2L 。依据由粗至精的计算方式 , 较高层上的误差
将不断地向较低层传播和放大 。因此 , 在进行基
于分层结构的光流计算时 , 分解层数不能太多。
一般地 ,3 ≤N ≤5 。此外 , N 的选择与最大期望的
图像间光流 d Final 有关 :
dFinal = ( 2 N - 1) dmax
(12)
式中 , dmax = 1 为经典的梯度光流计算方法所允许
的图像间最大光流位移 。
对于给定的两幅连续图像 I ( x , y) 、J ( x , y) , 特征跟踪的目标是找到 I ( x , y) 上一点 u = ( ux , uy) ,在 J ( x , y) 上对应具有相似图像强度的另一 点 u + d = ( ux + dx , uy + dy ) , 其中 d 为 u 点的平 移量 。将光流定义为使不同时刻图像区域之间产
第 32 卷 第 8 期 2007 年 8 月
武 汉 大 学 学 报 ·信 息 科 学 版 Geo matics and Info rmation Science of Wuhan University
文章编号 :167128860 (2007) 0820680204
Vol. 32 No . 8 Aug. 2007
2 基于图像金字塔光流的角点跟踪
设 t 时刻图像上一点 x ( x , y) 处的灰度值为
I ( x , y , t) 。t +Δt 时刻 (Δt →0) , ( x , y) 点运动到新
位置 ( x +Δx , y +Δy) ,可以认为以点 x 为中心的
较小图像窗口 w 经过了某种几何变换后在 t +Δt
则有最优的 d 矢量解为 :
Ix It Iy It
(15)
dopt = G- 1 b
(16)Βιβλιοθήκη 式 ( 16) 即 L ucas2Kanade 光流方程 。上述 dopt 是
理论上的最优估计 , 实际的求解过程中需要迭代
进行 。这里使用 Newto n2Rap hso n 优化方法对平
移量求精 ,设ηk = G- 1 bk为第 k 次迭代时估计的平
D
T I
D
I
=
A
C
(4)
W
CB
∑ ∑ ∑ 式中 , A =
I
2 x
;
B
=
Iy2 ; C =
I x I y 。A 、
W
W
W
B 、C 可使用各种常用梯度算子从图像上计算得
到 ,本文使用 So bel 算子[5] 。SSD 表达式可简写
为:
SSD ( p) = hT Dh
(5)
对于 n ×n 方阵 M , 可以看作是 n 维欧氏空
对 I ( p + h) 在 p 点处作一阶泰勒展开近似 :
I ( p + h) = I ( p) + Ix u + I y v
(2)
代入式 (1) 中并写成矢量形式可得 :
∑ ∑ SSD ( p) =
‖DI h ‖2 =
h
T
D
T I
D
I
h
,
W
W
DI = ( Ix , Iy) T
(3)
定义
∑ D =
样 ,在保证选取最为健壮的角点和角点选择的整 体均匀性之间进行了折衷 ,使较大场景范围内的 角点都能被检测得到 。
基于梯度算子的灰度差分运算仅将检测得到
的角点定位到整数像素级 ,为了获得更高的角点 定位精度 ,采用双线性插值方法对上述角点坐标 进一步求精直至亚像素级 。
续图像序列中相邻两帧图像和某个 N ×N 特征 窗口 w 后 , 求出以上 6 个几何变形参数 , 也就完 成了该点的一步跟踪 。
IL ( x , y)
=
1 4
IL - 1 (2 x ,2 y)
+
1 8
[ IL - 1 (2 x +
682
武 汉 大 学 学 报 ·信 息 科 学 版
2007 年 8 月
1 , 2 y) + IL - 1 (2 x - 1 , 2 y) + IL - 1 (2 x , 2 y + 1) +
IL - 1 (2 x , 2 y
图 1 图像序列金字塔 Fig. 1 Pyramid of Image Sequences
设 I0 为原始图像 ( w ×h) 的灰度表示 , 位于金 字塔的第 0 层 ,并依次生成 n 层高斯图像金字塔 的第 1 , 2 , …, n - 1 层 , 分 别 表 示 为 I1 , I2 , …, In- 1 。对其中的第 L ( 0 < L ≤n - 1) 层图像 , 其灰 度计算公式为 :
假设窗口滑动向量为 h = ( u , v) T , 定义窗口 像素的灰度方差和 SSD 作为滑动后强度变化的 度量 (对彩色图像 , 首先进行灰度化处理) 。对图 像上任一像素点 p = ( x , y) T ,则有 :
∑ SSD ( p) = ‖I ( p) - I ( p + h) ‖2 (1) W
该方法的计算量在很大程度上依赖于特征窗 口 w 的大小 、图像目标的纹理以及物体运动的速 度 。特征窗口较小时 , 窗口内图像运动变化也较 小 ,变形矩阵 D 的计算很不可靠 ; 特征窗口过大 , 则有悖于图像灰度一致性假设 。在通常情况下 , 一般假设角点运动δ是简单的平移运动 , 即δ= d , D = 0 ,此时点特征跟踪转化为点光流的计算问 题[6 ] 。To ma si 的实验结果表明[7 ] ,这样的假设能 得到较高的稳定性和计算精度 。尽管如此 ,当图 像间存在较大运动 (速度) 或特征窗口过大时 ,图 像灰度一致性假设往往很难成立 。
生最佳拟合的位移[8] ,以 u 点为中心 , 在 I ( x , y) 、 J ( x , y) 分别建立 ( 2 w x + 1 , 2 w y + 1) 的对应区域 窗口 ,并假设对应窗口内的像素具有相同的运动 位移矢量 d。考虑到噪声干扰 , 定义窗口内像素 的灰度方差和跟踪残差 E( d) :