第三章_二维运动估计之二

格式：ppt
大小：1.25 MB
文档页数：41

下载文档原格式

第三章_二维运动估计之二

动矢量是从每个块中独立预测得到的。
–解决方法：基于网格的运动估计
当块内有多物体运动或者因照明产生变化时，
DBMA效果不好
–三模型法：
• 先对每个块实行EBMA • EBMA误差小的块具有平移运动 • EBMA误差大的块具有非平移运动 –对这些块运用 DBMA
目录
EBMA的问题可变形块匹配算法 (DBMA) – 基于节点的运动模型基于网格的运动估计基于区域的运动估计全局运动估计 – 直接估计法 – 间接估计法多分辨率运动估计 – 分层块匹配算法(HBMA) 小结
过程： 1. 将锚定帧分割成多个规整的块 2. 对每个块采用较复杂的运动模型
xm,1
（如仿射，双线性或投影映射） 3. 对每个块进行独立的运动参数估计
6.5 可变形块匹配算法
仿射 (6 个参数):
– 三角形映射
d x ( x, y ) a0 a1 x a2 y d ( x, y ) b b x b y 2 y 0 1
基于网格的运动估计
当前帧被分割为不重叠的多边形单元（网格），运动估计为网格的每个节点在参考帧找到对应点（即得到其运动矢量），其余点的位移矢量由节点的运动矢量插值得到。
(a) 使用三角形网格
(b) 使用四边形网格
基于网格的运动估计
(a) 基于块匹配的运动估计
(b) 基于网格的运动估计
全搜索块匹配 (半像素精度)
预测图像
基于网格
基于网格的运动估计与块匹配法的比较
网格
– 当前帧可以分成规则的或不规则的网格 – 参考帧中的不规则网格是不重叠的 – 每个节点只有一个运动矢量
可变形块

一种基于二维运动重构的旋转对称目标拟规则进动参数估计方法

一种基于二维运动重构的旋转对称目标拟规则进动参数估计方法洪灵;戴奉周;刘宏伟【摘要】在初始扰动和扭矩的作用下，自旋稳定空间飞行器的运动形式是章动和进动合成的拟规则进动。

拟规则进动目标运动参数的估计对于确定目标姿态和预测目标落点具有重要意义。

针对拟规则进动的旋转对称目标，该文提出一种基于宽带雷达观测的运动参数估计方法。

首先推导了拟规则进动的运动学模型，而后将基于多散射中心1维径向距离历程的目标运动3维重构方法扩展到旋转对称目标的2维运动重构，然后基于2维运动的欧式重构采用序列二次规划和非线性最小二乘循环迭代的方法估计目标的章动和进动参数。

最后，利用电磁仿真数据验证了算法的有效性。

%Under the effects of the initial perturbation and torque, the motion of the spin-stability spacecraft is the compound of nutation and precession, named quasi-regularized precession. The motion parameters estimation of the quasi-regularized precession object is important to the determination of the attitude and the reentry point of the object. This paper presents a novel method to estimate the motion parameters of the rotation symmetric object based on the measurements from wideband radar. Firstly, the kinematic model of the quasi-regularized precession is derived;and then the algorithm of 3D motion reconstruction from 1D radial range histories of multiple scatterers is extended to the 2D motion reconstruction of the rotation symmetric object; and thirdly based on the 2D Euclidian motion reconstruction result, the method of nutation and precession parameters estimation is proposed by using the cyclic iterativeof sequential quadratic programming and nonlinear least square algorithm. The electromagnetic simulated data show that the proposed method is validated for its effectiveness.【期刊名称】《电子与信息学报》【年(卷),期】2014(000)007【总页数】7页(P1538-1544)【关键词】宽带雷达;旋转对称目标;章动参数估计;2维运动重构【作者】洪灵;戴奉周;刘宏伟【作者单位】西安电子科技大学雷达信号处理国家重点实验室西安 710071;西安电子科技大学雷达信号处理国家重点实验室西安 710071;西安电子科技大学雷达信号处理国家重点实验室西安 710071【正文语种】中文【中图分类】TN957.51航天器的姿态估计对于卫星稳定性和毁伤分析以及再入式飞行器的落点预测具有重要意义。

第三章二维运动估计之一

运动估计仅在有亮度变化区域可靠。
v vnen vtet
vn ||
||
t
0
2.2 运动估计的一般方法
后向运动估计
Time t
Time t +t
Time t - t x
d(x, t - t) 当前帧
x 参考帧
d(x, t + t) x
当前帧前向运动估计
参考帧： 1(x, t1) 当前帧: 2(x, t2)
– 基于光流的运动估计 – 基于像素的运动估计 – 基于块的运动估计（EBMA）
3-D运动 -> 2-D运动
3-D MV
2-D MV
2.1 2-D 运动 vs. 光流
2-D 运动: 3-D 运动的投影, 取决于3D 物体运动和投影操作。
光流: 观测的或表现的二维运动。
– 不仅可以由物体运动引起，还可以由摄像机运动或照明条件变化引起。注：不等同于真实的二维运动。
xB
w(
x)

x
vˆx

y
vˆy

t

x
0
xB
w(
x)

x
vˆx

y
vˆy

t

y
0
2.3.1 多点邻域约束
多点邻域约束
则光流矢量的估计值为：
vˆx vˆy

xB
vtet
v
vnen
e t 为切线方向上的单位矢量
Tv 0
t
vn

t
0
只能确定图像空间梯度方向上的分量（法向流）

第三章数字电视视音频信号压缩编码技术

三维预测：参考样值除了本帧之外还和前一帧或前几帧图像的样值有关。由于一、二维预测都是在同一帧内进行预测，所以也称
为帧内预测编码；三维预测与前面的帧有关，所以也称为帧间预测编码。
二、变换编码
变换编码也有变换、量化、编码三大过程：
1、离散余弦变换——DCT的基本思想
DCT变换是把空间域上的信号变换到频率域上，使能量在空间域上分散分布的原信号变换后能量在频率域上相对集中到某些少数区域内，即将空间域上的信号样值变换成频率域上的系数，经变换后的系数按频率由低到高分布。
率为 p(xi )，且有 p(xi ) 1，则x1,x2,x3…xn所包含的 i 1
信息量分别为 log2 p(x1), log2 p(x2 ) log2 p(xn ) 。于是，每个符号所含信息量的统计平均值，即平均
信息量为：
H(x) p(x1)log2 p(x1) p(x2)log2(x2)
⑵对每一块像块进行DCT变换。 ⑶对变换后的系数进行量化。 ⑷进行之字形扫描（读出）和零游程编码。
3、DCT压缩编码的过程为：
三、统计编码（熵编码）
统计编码是基于信号统计特性的编码技术。基本原理：
按信源符号出现概率的不同分配以不同长
度的码字（bit数），概率大的分配以短的码字，概率小的分配以长的码字。这样使最终的平均
三、压缩的途径及方法
1、行、场逆程不传送，在接收端重新形成。 2、亚奈奎斯特取样 fs＜2fm。使混叠分量与亮度谱线交错。
3、采用高效编码――信源编码。去除电视信号中的冗余。
3.3 常用的数字电视视频压缩编码技术
一、预测编码
1、预测编码的基本原理利用某种数学模式对以前已知的相关数据进

概率论与数理统计第三章

(x, y) (X, Y)
☺ 说明
(x1, y2)
(x2, y2)
(x1, y1)
(x2, y1)
x
由上面的几何解释,易见: 由上面的几何解释,易见: 随机点(X, 落在矩形区域落在矩形区域: 随机点 Y)落在矩形区域: {x1<X≤x2, y1<Y≤y2} 内的概率 P{x1<X≤x2 , y1<Y≤y2} =F(x2, y2)-F(x2, y1)- F(x1, y2)+F(x1, y1)
•
计算机科学学院
•
裘国永
第三章多维随机变量及其分布
二维随机变量边缘分布条件分布相互独立的随机变量两个随机变量的函数的分布
本章内容是第二章内容的推广一维随机变量及其分布
多维随机变量及其分布
由于从二维推广到多维一般无实质性的困难，由于从二维推广到多维一般无实质性的困难，我们重点讨论二维随机变量。我们重点讨论二维随机变量。
二、联合分布函数 X和Y的联合分布函数（Joint distribution）和的联合分布函数（）
F( x, y) = P{( X ≤ x) I(Y ≤ y)}
= P { X ≤ x,Y ≤ y}
一维随机变量X 一维随机变量
∆
−∞ < x , y < ∞
X的分布函数的分布函数
F( x) = P{ X ≤ x}
的分布律。求(X,Y)的分布律。的分布律
解：
A2 P{ X = 1, Y = 1} = 2 2 A5
2× 3 P{ X = 1, Y = 0} = 2 A5
3× 2 P{ X = 0, Y = 1} = 2 A5
A P{ X = 0, Y = 0} = A

第四章二维运动估计

1、基于特征匹配的方法在基于特征的方法中，首先在两个视频帧中建立特征点对之间的对应关系，然后将所建立的对应关系与所选择的运动模型进行最小平方匹配，从而得到运动模型参数。这种方法仅适用于参数运动模型，在确定总体运动中是相当有效的，多应用于目标跟踪和三维重建。
4.2
二维运动估计的基本方法
数字视频信息处理与传输
侯颖
ying_hou@
第四章
4.1 4.2 4.3 4.4 4.5 4.6
二维运动估计
二维运动估计和光流方程二维运动估计的基本方法基于像素的运动估计基于块的运动估计基于全局的运动估计基于区域的运动估计
第四章
二维运动估计
运动估计是视频处理系统的一个重要的组成
= 0
或其中(
v + t
T
= 0
v y )表示速度矢量（也称为流矢量）， vx ，
= [ 梯度矢量。
x ， y
]
T是
( x, y, t ) 的空间
第四章
4.2
二维运动估计
二维运动估计的基本方法两个给定帧 ( x, y, t1 ) 和 ( x, y, t 2 )，在时刻 t1
( x d x，y d y，t dt )
=
( x, y , t )
4.1
二维运动估计和光流方程
（a）锚定帧（参考帧）图4.4
（b）目标帧（当前帧）恒定亮度假设
4.1
二维运动估计和光流方程
4.1
二维运动估计和光流方程
应用Taylor(泰勒) 展开公式，当 d x ，d y ， d t 很小时，有
4.2
二维运动估计的基本方法

二维光流运动估计的方法

二维光流运动估计的方法嘿，咱今儿个就来唠唠二维光流运动估计的方法。

你说这光流运动估计啊，就像是给运动的物体安上了一双眼睛，能让我们清楚地知道它是咋动的。

先来说说基于梯度的方法吧。

这就好比是在一个迷宫里找路，通过观察周围的变化来确定方向。

这种方法呢，简单直接，能快速地算出个大概来。

但是呢，它也有它的局限性，就像走迷宫有时候也会碰到死胡同一样，可能会不太准确。

然后呢，还有基于区域匹配的方法。

这就像是拼图游戏，把相似的部分找出来拼在一起，从而了解物体的运动情况。

这种方法呢，相对来说更准确一些，就好像拼图拼对了就能看到完整的画面。

可它也不是完美的呀，有时候找那些相似的部分也挺费劲儿的呢。

再有就是基于相位的方法啦。

这个就有点像听音乐的节奏，通过节奏的变化来感知运动。

它有它的独特之处，能在一些复杂的情况下发挥作用，就像音乐的节奏能带动人的情绪一样。

还有基于特征的方法呢，这就像是抓住物体的一些关键特点，然后根据这些特点的变化来估计运动。

就好比你记住了一个人的独特之处，下次再见到就能认出来一样。

咱说了这么多种方法，每种都有它的长处和短处。

就像人一样，没有一个人是完美无缺的，每种方法也都有它适用的场景和不适用的情况。

那咱在实际应用的时候可得好好琢磨琢磨，到底哪种方法更适合当下的情况呢。

你想想啊，要是在一个很复杂的环境里，那是不是就得选一个更能应对复杂情况的方法呢？要是在一个简单的场景下，也许就不需要那么复杂的方法啦，简单直接的说不定更好用呢。

总之呢，二维光流运动估计的方法有很多，咱得根据具体情况来选择，可不能瞎用一通啊。

这就好比你去爬山，总不能穿着高跟鞋去吧，得选对鞋子才能爬得稳当呀！咱对待这些方法也得这样，选对了，才能让我们更好地了解物体的运动，为我们的研究或者应用提供有力的支持。

你说是不是这个理儿呀？。

二维运动估计

估计精度较低，预测误差较大
基于像素的运动估计
基于梯度下降的算法(Netravali-Robbins)
最小化位移帧差函数
E ( x ,d ) [ e ( x ,d )2 ] [2 ( x d i) 1 ( x )2]
迭代方程：d (l 1 ) d (l) e ( x ,d (l)) d e ( x ,d ( l))
随机场
视频图像函数观察模型
运动场
运动场模型
用概率密度函数建模
后向运动估计 t-dt
t
x
d(x,t;t-dt)
x
t+dt x
d(x,t;t+dt)
前向运动估计
二维运动估计存在的几个问题遮挡问题孔径问题
噪声问题
二维运动模型及估计方法
参数模型：物体运动被建模为某种映射形式。
➢ 全局 --- 摄像机移动、单个运动物体 ➢ 区域 --- 多个运动物体（运动区域分割）
运动图像处理
二维运动参数估计三维运动参数估计运动目标检测与分割运动物体的三维结构及各个物体之间的空间关系
刚体运动
运动物体分为刚体和非刚体（柔体）。所谓刚体是指物体在运动过程中其几何特征保持不变
对应于不同刚体运动模型的二维运动
平移
仿射
双线性
透视投影
观察到的二维运动与真实的投影二维运动的不一致性
为光流场。
基于光流的运动估计
光流v的分解
将光流v分解为两个正交的分量：
vvnenvtet
其中： e n 为图像空间梯度方向
vtet
v
vnen
上的单位矢量
e t 为切线方向上的单位矢量
Tv 0
t

数字视频处理第2章二维运动估计

图2-8 因果邻域
E(x, d) [e(x, d)]2 [ 2 (x d i ) 1 (x)]2
xB xB
2.3.4基于贝叶斯准则的方法
• 贝叶斯准则是基于运动估计问题的概率
公式，视频图像函数和运动场均视为随机场，由概率密度函数建模，分别称为观察模型和运动场模型。
• 给定两帧视频图像 1 (x) 和 2 (x) ，运动场估
v (yl 1) v y(l )
2.2.4 有向平滑约束
• 有向平滑约束可表示为
2 eds (v) (vx )T W(vx ) (vy )T W(vy )
F I W tr（F I）
2．3 基于像素的运动估计
• 2.3.1 位移帧差
• 定义像素x从t1时刻到t1+dt时刻的位移帧差为：
2.2.2 多点邻域约束
• 估计像素xi的光流矢量时，假设xi邻域
B(xi)内的所有像素具有相同的光流矢量，光流方程在邻域B(xi)上的误差定义为
E w(x) x v x y v y t xB
2
求解光流矢量
w(x) ˆ x v x xB v ˆ y w(x) x xB x y w(x) x xB w(x) y xB y y
c d 2
2．4 基于块的运动估计
• 2.4.1 概述
• 在基于块的运动估计中，先将视频图像分成一个个规则的图像块，然后对每个
图像块估计运动参数。
1．块平移模型
• 块平移模型假定每个块只做二维平移运动。给定两帧视频图像 1 (x) 和 2 (x)，对于 1 (x) 中
的一个块 B ，可由 2 (x) 中一个同样大小的块

3-运动估计

多——信息表示媒体的多样化。
多媒体（Multimedia）技术是指计算机综合处理多种媒体信息（文字、图形、图像和声音等），使多种信息建立逻辑连接，集成为一个系统并具有实时的交互性。简单地说，是利用计算机综合处理声、文、图等信息，构造具有集成性和交互性系统的技术。
例如，要表达狗这样一个信息

当前块和预测块之间的差值
运动矢量（FS TSS 4SS DS）
残差帧
平均绝对误差（MAD）
均方误差（MSE）
归一化互相关函数（NCCF）
谢谢大家

块匹配的方法-I

对于ＮＸＮ大小的块Ｓ，其运动矢量是通过寻找最小化下式而得到
块匹配的方法-II
全局搜索 - 运算复杂 - 对噪声敏感 - 估计出的运动矢量场不平滑

对搜苏窗内所有的像素点计算MAD值，从中找到MAD 值最小的点，对应的偏移量即为所求运动矢量。步骤如下： a.在搜索窗口内从左到右，从上到下的顺序逐个像素进行搜索，分别计算每个像素的MAD值，知道遍历搜索窗口内所有的点。 b.在所有记录下来的MAD中寻找MAD值最小的点，即最小匹配误差点，该点对应的位置即为所求的运动矢量。
对一部2小时的电影，存储量？
数据压缩最初是信息论的一个重要研究课题，在信息论中，数据压缩又称为信源编码。当今社会是信息“爆炸”的时代，而信息的本质，就是要交流和传播。即使最高度的机密，也需要有解密的使用者，否则，不能称之为信息。一般说来，信息的传播和交流不外乎以下两种情况：将信息从 “此处”传输到“彼处”——典型的“通信”概念，或者将信息从“现在”传输到“将来”——所谓 “存储”问题。
信源
信源编码
信道编码
调制

《多媒体通信》期中思考题及答案

《多媒体通信》期中思考题第一章1、请论述什么是多媒体和多媒体技术的基本特征。

2、多媒体系统有哪几种主要的类型？每一种类型中最关键的技术有哪些？3、简述多媒体数据处理与一般数据处理的差异。

第二章1、什么叫空间频率？在不涉及和涉及观察者的两种情况下，图像空间频率的高、低各与哪些因素有关？第三章1、为什么内插滤波器和抗混叠滤波器通常都使用FIR 滤波器，而不是IIR 滤波器？2、在具有运动补偿的帧间预测编码中，如果运动矢量估计得不准确产生的后果是什么，会不会引起解码后的图像失真，为什么？3、对图1所述三种8×8的亮度图形进行DCT 变换后，估计（不必实际计算）在系数矩阵的哪些位置上，变换系数有较大数值。

图1 三种8×8的亮度图形4、设有一离散无记忆信源1234560.30.20.20.10.10.1S S S S S S X ⎧⎫=⎨⎬⎩⎭（1）计算该信源的熵；（2）为该信源构造一霍夫曼码，并计算平均码长及编码效率；（3）为什么该码的编码效率小于1？试总结在什么情况下，霍夫曼码的编码效率能够达到1？（提示：符号S i 的码字的码长是多少？）。

5、假设有下表所示的5种运动矢量，其出现的概率如表所示。

试用一般算术编码对MV 序列{-2, -1, 0, 2}进行编码（1）给出编码过程和最后输出的码字（允许最后一位不能正确解码）；（2）输出码字需要用几比特表示？编码效率为多少？（3）同一序列若采用霍夫曼编码，编码效率为多少？6、说明视频编码中运动估计的必要性以及相应的块匹配方法，掌握三步搜索法和二维对数法这两种常用的快速运动搜索方法。

7、说明在图像编码和视频编码中广泛使用离散余弦变换的原因。

8、掌握霍夫曼编码和算术编码的编解码方法。

9、掌握子带编码的工作原理以及正交镜像滤波器组和时域混叠消除的相关方法。

10、说明在时域量化和在变换域量化的差别。

11、举例说明在音频和图像压缩时如何利用人类认知系统的非线性特性。

合工大概率统计第三章

6
§2 二维离散型随机变量及其分布
一、二维离散型随机变量及其分布律的概念
定义 2.1 如果二维随机变量 (X ,Y ) 的所有可能取值为有限对或可列对，就称 (X ,Y ) 为二维离散型随机变量．定义 2.2 设 (X ,Y ) 为二维离散型随机变量，其所有可能的取值为 (xi , y j ) ，其中 i 1, 2,L , j 1, 2,L ，且
X Y
1
0
1
0
0.2 a 0.3
1
0.1 0.1 b
且 F(0,1.5) 0.5 ．⑴ 求常数 a, b 的值；⑵ 计算 P{X Y}．
pij 1．
ij
【注】如果 pij (i 1, 2,L , j 1, 2,L ) 满足性质 2.1 中的⑴
和⑵，则 pij (i 1, 2,L ， j 1, 2,L ) 必能构成某二维离散型
随机变量 (X ,Y ) 的分布律．
11
设二维离散型随机变量 (X ,Y ) 的分布律为
P{X xi ,Y y j} pij ， i 1, 2,L , j 1, 2,L ，
a(b arctan x)(c ) 0 ，（1.2）
2
同理，对任意的 y R ，有 a(b )(c arctan y) 0 ，（1.3）
2
联立（1.1），（1.2）和（1.3），解得
a
1
2
,
b
2
,
c
2
．
5
续解 ⑵ 由⑴知
F ( x,
y)
1
2
(
2
arctan
x)(
2arctanFra biblioteky)所以 (X ,Y ) 的分布律为

二维运动的基本概念和公式

特点：运动轨迹为直线或曲线
加速度：矢量，表示物体速度的变化率
平面运动的描述
平面运动：物体在二维空间中的运动
位移：物体在二维空间中的位置变化
速度：物体在二维空间中的速度变化
加速度：物体在二维空间中的加速度变化
力：物体在二维空间中受到的力
质量：物体的质量在二维空间中的表现
表示时间
应用场景：计算物体在恒定加速度下的位移
注意事项：公式适用于直线运动，对于曲线运动需要引入位移矢量和速度矢
量的概念。
速度公式
速度的定义：物体在单位时间内运动的距离速度的计算公式：v = Δx/Δt 速度的单位：米/秒（m/s）速度的矢量性：速度不仅有大小，还有方向
加速度公式
加速度的定义：物体速度的变化率
平面运动的分类
直线运动：物体在平面内沿直线移动
旋转运动：物体在平面内绕固定点旋转
曲线运动：物体在平面内沿曲线移动
平移运动：物体在平面内沿直线方向移动，且自身形状和尺寸不
变
2
二维运动的基本公式
位移公式
公式：x = vt + 1/2at^2
解释：x表示位移，v表示初速度，a表示加速度，t
二维运动的基本概念和公式
XX,a click to unlimited possibilities
汇报人：XX
目录
01 二维运动的基本概
念
02 二维运动的基本公
式
1
二维运动的基本概念
平面运动
概念：物体在二维平面内的运动
速度：矢量，表示物体在单位时间内运动的位移

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

a 表示全局运动参数矢量
可以是仿射、双线性、投影运动模型中的任意一种
w(x) 可减小与全局运动不匹配的 w(x) 为权值系数，调节
像素对误差函数的影响。
全局运动估计
间接估计法
– 假设已经得到一些特征点 x n 的运动矢量 d n – 匹配误差函数：
1 2 E w(n)[d(x n ; a) d n ] 2 n
• 规则网格 • 自适应网格复杂运动的区域节点密集，简单运动的区域节点稀疏
– 节点运动估计
• 最小化位移帧差函数 – 二阶梯度迭代 • 先后顺序 – 光栅扫描 – 根据节点处图像梯度值 – 分组
自适应三角形网格的建立
~ ( x 1, y ) ~ ( x 1, y ) ~ ( x, y 1) ~ ( x, y 1) SG( x, y ) 2 2 2 2

目录
EBMA的问题可变形块匹配算法 (DBMA) – 基于节点的运动模型基于网格的运动估计基于区域的运动估计全局运动估计 – 直接估计法 – 间接估计法多分辨率运动估计 – 分层块匹配算法(HBMA) 小结
多分辨率运动估计
前面介绍的运动估计方法存在的问题 – 最小化误差函数可能收敛到局部最小值 – 最小化误差函数过程的计算量很大多分辨率运动估计可有效解决这两个问题 – 首先在最小分辨率层（由空间低通滤波和欠取样获得）进行运动估计，并把结果作为下一层的初始解。 – 然后每层依次进行运动估计，每层的运动估计结果都将作为下一层的初始解 – 每层的运动估计可使用前面介绍的方法，如基于光流、像素、块、网格等运动估计方法
其中
搜索方法:
d(x) k (x)d k
k 1
K
– 穷尽搜索法:
• 实际中要同步搜索K个节点的运动矢量，搜索维度高，不可行。
– 梯度下降法:
• 牛顿-拉夫森搜索算法 • 搜索的结果依赖于初始解。好的初始解可通过EBMA得到。
DBMA的问题
块边界会产生运动的不连续性，是由于节点的运
节点运动估计
步骤
– 节点运动估计初始值：块匹配法 – 按顺序迭代估计每个节点
• 给定某个节点，固定其他节点 • 在不改变拓扑结构的范围内移动该节点，计算误差函数 • 最小化误差函数更新的运动矢量
– 满足某条件，终止迭代
每个节点的更新过程
– 全搜索 – 梯度下降
基于网格的运动估计
参考帧
当前帧
6.5.1 基于节点的运动表示
假设 –在块中选择若干个控制节点，这些节点能够自由运动 –而且任何中间点的位移可以通过节点的位移内插得到。令K 表示控制节点数， dm,k 表示Bm 中控制节
点的运动矢量，则块的运动函数可以表示为： K d m m, k (x )d m, k , x Bm
基于区域的运动估计
将视频图像分割为多个区域，每个区域对应一个特
定的运动，然后为每个区域估计运动参数区域分割：力图区域内的所有像素的运动具有一致性，可以由一个运动模型表示运动模型：仿射模型、双线性模型、投影模型方法分类
– 区域优先 – 运动优先 – 联合区域分割和运动估计
基于区域的运动估计
k 1
其中, 0 m,k (x) 1

k 1
K
m,k (x) 1, x Bm
内插核 m,k (x)取决于Bm中第k个控制点对x的贡献期望值
6.5.1 基于节点的运动表示
控制点举例：块角
点其他点的运动通过角点dm,k 的运动矢量插值得到。控制点的运动矢量可以是整数像素精度或者半像素精度，所有控制点的运动参数同等重要。 K 平移，仿射，双线 d m m, k (x )d m, k , x Bm 性是这个模型的特 k 1 例。
EBMA的问题（2）
运动域是随机的 – 块和块之间的运动矢量估计是独立的 – 解决方法1：加入光滑性约束，调整预测误差项和平滑项的权重。 – 解决方法2：多分辨率方法 – 解决方法3：基于网格的运动估计光滑区域产生错误的MV – 当光梯度接近0时无法估计出运动。 – 解决方法：基于区域的运动估计非常大的运算量 – 解决方法1：快速算法，牺牲部分精度 – 解决方法2：多分辨率运动估计
区域优先的方法
– 基于当前帧的纹理、边缘信息进行区域分割
• 局部区域的直方图 • 区域连接增长
– 为每个区域估计运动参数 1 E [ 2 (x d(x; a n ))] 1 (x)]2 区域误差函数： 2 xRn
d(x; a n ) 表示当前帧第n个区域Rn中像素x的运动矢量 a n 表示Rn的运动参数矢量
更新第n个节点的运动矢量时，其余节点的运动矢量保持不变
d (nl 1) d (nl ) arg min E S ( n ) (u n )
un
S(n)表示与第n个节点相连接的多边形单元的误差函数
ES ( n )
1 ~ (x)]2 [ 1 ( x d m (x)) 2 2 mS ( n ) x 2 ,m
(c) 基于网格的运动跟踪
基于网格的运动估计
•每个网格节点只有一个运动矢量，与其相邻的所有多边形单元共享此运动矢量
单元内像素的运动由节点的运动矢量内插得到
d m (x) m,k (x)d n ( m ,k ) , x Dm
k 1
Km
基于网格的运动估计
主要步骤 – 建立网格

内插公式

k 1 K=1，退化为平移模型 x的贡献， K=3，对应于仿射运动模型第k个节点对像素称内插核 K=4，对应于双线性运动模型
d(x) k (x)d k
K
6.5.2 基于节点模型的运动估计
匹配函数:
1 2 E [ 2 (x d(x)) 1 (x)] 2 x
全局运动估计
整幅图像的运动可以用单一的运动模型表示通常指摄像机相对于静止场景运动产生的运
动整个场景作为一个整体运动（很少发生）。方法
– 直接估计法 – 间接估计法
全局运动估计
直接估计法
– 误差函数：
1 E w(x)[ 2 (x d(x; a))] 1 (x)]2 2 x
基于区域的运动估计
联合区域分割和运动估计的方法
– 区域分割和运动估计相互依赖，相辅相成。 – 可交替进行区域分割和运动估计
目录
EBMA的问题可变形块匹配算法 (DBMA) – 基于节点的运动模型基于网格的运动估计基于区域的运动估计全局运动估计 – 直接估计法 – 间接估计法多分辨率运动估计 – 分层块匹配算法(HBMA) 小结
d(x n ; a) 是 a 的线性函数，即 d(x n ; a) A(x n )a
对上式求偏导并令其为零，可得运动参数：
1
T T a w(n)[ A (x n )] [ A (x n )] w(n)[ A (x n )] d n n n
目录
EBMA的问题可变形块匹配算法 (DBMA) – 基于节点的运动模型基于网格的运动估计基于区域的运动估计全局运动估计 – 直接估计法 – 间接估计法多分辨率运动估计 – 分层块匹配算法(HBMA) 小结
可变形块匹配算法
B’m
xm,3 Bm xm,4
xm,2
全搜索块匹配 (半像素精度)
预测图像
基于网格
基于网格的运动估计与块匹配法的比较
网格
– 当前帧可以分成规则的或不规则的网格 – 参考帧中的不规则网格是不重叠的 – 每个节点只有一个运动矢量
可变形块
– 当前帧分成规则的网格 – 参考帧中的不规则网格是重叠的 – 每个节点有多个运动矢量
不可变形块
多分辨率运动估计
双线性 (8个参数) :
– 四边形映射
d x ( x, y ) a0 a1 x a2 y a3 xy d ( x, y ) b b x b y b xy 2 3 y 0 1
仍然不能解决块内存在多个运动的问题，块效
应和光照效应等问题。
动矢量是从每个块中独立预测得到的。
–解决方法：基于网格的运动估计
当块内有多物体运动或者因照明产生变化时，
DBMA效果不好
–三模型法：
• 先对每个块实行EBMA • EBMA误差小的块具有平移运动 • EBMA误差大的块具有非平移运动 –对这些块运用 DBMA
目录
EBMA的问题可变形块匹配算法 (DBMA) – 基于节点的运动模型基于网格的运动估计基于区域的运动估计全局运动估计 – 直接估计法 – 间接估计法多分辨率运动估计 – 分层块匹配算法(HBMA) 小结
– 当前帧分成规则的网格 – 参考帧中的规则网格是重叠的
目录
EBMA的问题可变形块匹配算法 (DBMA) – 基于节点的运动模型基于网格的运动估计基于区域的运动估计全局运动估计 – 直接估计法 – 间接估计法多分辨率运动估计 – 分层块匹配算法(HBMA) 小结
过程： 1. 将锚定帧分割成多个规整的块 2. 对每个块采用较复杂的运动模型
xm,1
（如仿射，双线性或投影映射） 3. 对每个块进行独立的运动参数估计
6.5 可变形块匹配算法
仿射 (6 个参数):
– 三角形映射
d x ( x, y ) a0 a1 x a2 y d ( x, y ) b b x b y 2 y 0 1
基于网格的运动估计
当前帧被分割为不重叠的多边形单元（网格），运动估计为网格的每个节点在参考帧找到对应点（即得到其运动矢量），其余点的位移矢量由节点的运动矢量插值得到。

第三章_二维运动估计之二

合集下载