基于运动矢量的视频去抖动算法
- 格式：pdf
- 大小：318.35 KB
- 文档页数：5
r
- 1 s
r n
T n = T n - A n (A )
- 1TΒιβλιοθήκη r n∑(D
i, j
- Λ) 2
( 6)
因此, 为了补偿摄像机的随机抖动, 第 n 帧图像 I n 按照下式进行变换就可以得到稳定的图像序列: c c - 1 c - 1 c ( 5) I n (X ) = I n [ (A n ) X - (A n ) T n ]
∑ ∏A
i= 1 k = i+ 1
T i + Tn
( 2)
式中, 上标 r 为 r 次级连. 因此, 第 n 帧图像和基准 r r ) 联系起来 帧之间的全局变换可以通过 (A n , Tn . 假设 消除抖动后的第 n 帧图像和基准帧之间全局变换的 s s ) , 采用类似上述级连的方式, 第 n 帧 参数为 (A n , Tn
64
上 海 交 通 大 学 学 报
第 38 卷
序列, 该方法的优点是可以获得每个像素的运动矢 量; 然而如果场景中存在不一致的运动区域, 通常要 结合视频分割来完成全局运动的估计, 而这类方法 由于要对每一像素点进行分析, 一般需要相当大的 计算量, 此外光流计算固有的孔径问题也是该方法 所必须要考虑的. 本文采用新的几何分析方法[ 3 ] 建立了视频去抖 动处理的数学模型. 在此基础上, 结合前述两种方法 各自的优缺点, 提出一种基于运动矢量的视频去抖 动算法.
选点 . 以候选点所在的图像块为中心, 运用区域生长 的方法将运动矢量的幅度和相角相近的块合并 . 最 后把合并的区域标记为 0, 其余区域则标记为 1, 得 到时间域的掩码M t. 将原始的运动矢量分别与上述掩码 (M s ∪M t ) 进行乘法运算, 就得到一系列可靠性较高的反映摄 像机变换的运动矢量, 实验表明上述模板算法简单 高效 . 2. 3 全局运动估计 根据式 ( 1) , 可以得到如下全局运动模型: ∃x = ∃y
An = a1 a3 a2 a4
图 1 视频去抖动处理框架
F ig. 1 T he fram ew o rk of video stab iliza tion
首先, 原始视频流采用块运动估计算法获得相 邻帧之间的运动矢量, 由于这些运动矢量实际上既 包含了摄像机的全局运动, 又包含了场景中移动物 体的局部运动, 显然局部运动对摄像机的全局运动 没有贡献 . 因此接下来对运动矢量进行时空滤波处 理, 将这类局部运动矢量 ( 也称为局外点) 加以剔除 . 在全局运动参数的估计中, 提出一种快速M 估计方 法, 可以在提高估计精度的同时保持较低的运算复 杂度 . 计算出相邻帧之间的全局运动参数集以后, 在 时间轴上对运动参数进行均值滤波处理, 将随机抖 动造成的运动噪声加以剔除; 最后根据新的全局参 数对原始的视频流按照式 ( 5 ) 进行变换 ( 即运动校 正) , 就获得稳定的视频流 .
式中:
D
i, j
=
I 1 ( i, j ) i∈ M , j ∈N
I 2 ( i + d 1, j + d 2)
Λ=
∑
D i, j MN
增刊
宋 利, 等: 基于运动矢量的视频去抖动算法
65
d 1、 d 2 为块之间的相对位移; I i ( i = 1, 2 ) 为图像的灰
度; M 、 N 为块的宽度和高度, M = N = 8 或 16 个像 素 . 搜索区域为± 15 个像素, 采用 M V FA ST 估计 算法[ 5 ]. 这样就获得一系列均匀分布的运动矢量. 如 前所述, 这些运动矢量通常包含噪声和局外点. 在视 频压缩中, 运动矢量和估计的残差值都要传到解码 端, 运动估计的好坏主要影响码率的大小, 不会造成 太大的问题. 要估计全局运动参数, 需要对运动矢量 做进一步的滤波处理. 2. 2 运动矢量的时空滤波处理 运动噪声的分布随场景的特性而变化, 无通用 的噪声模型. 实验表明, 运动估计方法在纹理一致的 区域错误估计的概率较高. 故要将这类区域对应的 运动矢量剔除. 如果区域中包含较多的边缘特征, 则 该区域中具有丰富的纹理特征. 因此采用图 2 所示 快速二值化模板提取算法, 其中水平梯度 G x 和垂直 梯度 G y 采用 Sobel 算子计算, d 为阈值, 根据场景 内容调整, 这样就获得空间域的掩码 M s. 上述模板 化操作也可以在运动估计之间完成, 这里放在运动 估计之后主要考虑到在压缩域中的可扩展性. 需要 说明的是, 本文主要考虑在图像域进行处理, 如果直 接处理压缩域的运动矢量, 则可以通过分析离散余 弦变化的系数值来获得空间纹理特性的模板[ 6 ].
作者简介: 宋 利 (19752) , 男, 山西长治市人, 博士生, 主要研究方向为虚拟现实、 计算视觉及视觉分析等. 周源华 ( 联系人) , 男, 教授, 博士生导师, 电话 (T el . ) : 021262932341; E 2 m ail: yuanhuazhou@ cd tv. o rg. cn.
Ke y w o rds : video stab iliza t ion; g loba l m o t ion; robu st est i m a t ion
视频抖动是指拍摄过程中由于摄像机存在不一 致的运动噪声而造成视频序列的抖动和模糊. 为了 消除这些抖动, 需要提取摄像机的真实全局运动参 数, 然后采用合适的变换技术补偿摄像机的运动, 使 视频画面流畅而稳定, 这项技术通常称为视频去抖 动或视频稳定. 目前已有的视频去抖动技术分为如下两类: 特 征法和光流法. 特征法[ 1 ] 在提取每帧图像的特征点
第 38 卷 增刊 2004 年 10 月
上 海 交 通 大 学 学 报
JOU RNAL O F SHAN GHA I J I AO TON G U N I V ER S IT Y
Vol . 38 Sup. O ct. 2004
文章编号: 100622467 ( 2004) S020063204
1 视频去抖动数学模型
摄像机的全局运动可以用 2D 变换表示, 常用 的参数模型包括 2 参数的平动模型, 4 参数的相似 变换模型, 6 参数的仿射变换模型, 8 参数的投影变 换模型以及 12 参数的 2 次曲面变换模型[ 4 ]. 参数越 多, 表示场景变换越精确, 同时计算的复杂度也越 高 . 对于一般的场景来说, 仿射变换模型表示的全局 运动在精度和复杂性之间具有较好的折衷. 根据仿射变换模型, 视频序列中图像 I n 和 I n- 1 对应像素坐标 X n 和 X n- 1 满足: ( 1) X n = A nX n - 1 + T n
收稿日期: 2003211217 基金项目: 国家自然科学基金资助项目 (69905003)
的基础上, 在相邻帧之间进行特征匹配, 然后根据匹 配的结果计算摄像机的全局运动参数, 最后用滤波 后的全局运动变换对原始序列进行补偿 . 该方法的 效果很大程度上取决于特征匹配的精度, 当场景中 存在移动目标或者纹理特征不明显时, 该方法的应 用将受到限制 . 光流法[ 2 ] 首先计算相邻帧之间的光 流, 然后根据光流信息, 通过运动分析获得全局运动 参数, 随后也是根据滤波后的运动参数来补偿原始
2. 1 块运动估计
, T n =
t1 t2
A n 反映了水平和垂直尺度以及旋转因子, T n 体现平
移参数. 如果取第 1 帧为基准帧, 在相邻帧之间级连 使用上述变换, 得
X n = A nX n n
1
r r + Tn = … = A n X 1 + Tn = n- 1 n k
∏
i= 1
Ai X1 +
基于运动矢量的视频去抖动算法
宋 利, 周源华, 周 军
( 上海交通大学 图像通信与信息处理研究所, 上海 200030)
摘 要: 采用新的几何分析方法建立了视频去抖动处理的数学模型, 提出一种基于运动矢量的视 频去抖动算法. 采用新的快速M 鲁棒估计法获得摄像机全局运动参数集; 滤波该参数集滤除随机 抖动带来的运动噪声. 为了提高算法的可靠性, 在全局运动估计之前对原始运动矢量进行了时空滤 波; 在运动校正阶段, 引入了 “重同步” 机制防止差错累积 . 实验表明, 该算法具有良好的去抖动效 果, 能够用于实时处理. 关键词: 视频去抖动; 全局运动; 鲁棒估计 中图分类号: TN 919. 81 文献标识码: A
V ide o S ta b iliza tion A lgo rithm B a s e d on M o tion V e c to rs
S ON G L i , ZH OU Y uan 2hua , ZH OU J un
( In st. of I m age Comm un ica t ion & Info rm a t ion P rocessing, Shangha i J iao tong U n iv. , Shangha i 200030, Ch ina )
A bs tra c t: T h is p ap er p ropo sed a m a them a t ica l m ode fo r video stab iliza t ion by m ean s of novel geom et ry
ana lysis. T he m ethod go t g loba l m o t ion p a ram eters by loca l m o t ion vecto rs th rough qu ick M 2robu st est i2 m a t ion; these p a ram eters a re filtered to rem ove stocha st ic m o t ion no ise. In o rder to im p rove the stab iliza 2 t ion, the o rig ina l m o t ion vecto rs a re filtered in the sp a t ia l2tem po ra l dom a in befo re g loba l m o t ion est im a t ion and an effect ive“resynch ron iza t ion ”schem e is in t roduced to p reven t erro r accum u la t ion du ring m o t ion co r2 rect ion. T he exp erim en t s show tha t the p ropo sed a lgo rithm ha s good stab iliza t ion effect s and can be u sed to rea l2t im e p rocess.
- 1 s
r n
T n = T n - A n (A )
- 1TΒιβλιοθήκη r n∑(D
i, j
- Λ) 2
( 6)
因此, 为了补偿摄像机的随机抖动, 第 n 帧图像 I n 按照下式进行变换就可以得到稳定的图像序列: c c - 1 c - 1 c ( 5) I n (X ) = I n [ (A n ) X - (A n ) T n ]
∑ ∏A
i= 1 k = i+ 1
T i + Tn
( 2)
式中, 上标 r 为 r 次级连. 因此, 第 n 帧图像和基准 r r ) 联系起来 帧之间的全局变换可以通过 (A n , Tn . 假设 消除抖动后的第 n 帧图像和基准帧之间全局变换的 s s ) , 采用类似上述级连的方式, 第 n 帧 参数为 (A n , Tn
64
上 海 交 通 大 学 学 报
第 38 卷
序列, 该方法的优点是可以获得每个像素的运动矢 量; 然而如果场景中存在不一致的运动区域, 通常要 结合视频分割来完成全局运动的估计, 而这类方法 由于要对每一像素点进行分析, 一般需要相当大的 计算量, 此外光流计算固有的孔径问题也是该方法 所必须要考虑的. 本文采用新的几何分析方法[ 3 ] 建立了视频去抖 动处理的数学模型. 在此基础上, 结合前述两种方法 各自的优缺点, 提出一种基于运动矢量的视频去抖 动算法.
选点 . 以候选点所在的图像块为中心, 运用区域生长 的方法将运动矢量的幅度和相角相近的块合并 . 最 后把合并的区域标记为 0, 其余区域则标记为 1, 得 到时间域的掩码M t. 将原始的运动矢量分别与上述掩码 (M s ∪M t ) 进行乘法运算, 就得到一系列可靠性较高的反映摄 像机变换的运动矢量, 实验表明上述模板算法简单 高效 . 2. 3 全局运动估计 根据式 ( 1) , 可以得到如下全局运动模型: ∃x = ∃y
An = a1 a3 a2 a4
图 1 视频去抖动处理框架
F ig. 1 T he fram ew o rk of video stab iliza tion
首先, 原始视频流采用块运动估计算法获得相 邻帧之间的运动矢量, 由于这些运动矢量实际上既 包含了摄像机的全局运动, 又包含了场景中移动物 体的局部运动, 显然局部运动对摄像机的全局运动 没有贡献 . 因此接下来对运动矢量进行时空滤波处 理, 将这类局部运动矢量 ( 也称为局外点) 加以剔除 . 在全局运动参数的估计中, 提出一种快速M 估计方 法, 可以在提高估计精度的同时保持较低的运算复 杂度 . 计算出相邻帧之间的全局运动参数集以后, 在 时间轴上对运动参数进行均值滤波处理, 将随机抖 动造成的运动噪声加以剔除; 最后根据新的全局参 数对原始的视频流按照式 ( 5 ) 进行变换 ( 即运动校 正) , 就获得稳定的视频流 .
式中:
D
i, j
=
I 1 ( i, j ) i∈ M , j ∈N
I 2 ( i + d 1, j + d 2)
Λ=
∑
D i, j MN
增刊
宋 利, 等: 基于运动矢量的视频去抖动算法
65
d 1、 d 2 为块之间的相对位移; I i ( i = 1, 2 ) 为图像的灰
度; M 、 N 为块的宽度和高度, M = N = 8 或 16 个像 素 . 搜索区域为± 15 个像素, 采用 M V FA ST 估计 算法[ 5 ]. 这样就获得一系列均匀分布的运动矢量. 如 前所述, 这些运动矢量通常包含噪声和局外点. 在视 频压缩中, 运动矢量和估计的残差值都要传到解码 端, 运动估计的好坏主要影响码率的大小, 不会造成 太大的问题. 要估计全局运动参数, 需要对运动矢量 做进一步的滤波处理. 2. 2 运动矢量的时空滤波处理 运动噪声的分布随场景的特性而变化, 无通用 的噪声模型. 实验表明, 运动估计方法在纹理一致的 区域错误估计的概率较高. 故要将这类区域对应的 运动矢量剔除. 如果区域中包含较多的边缘特征, 则 该区域中具有丰富的纹理特征. 因此采用图 2 所示 快速二值化模板提取算法, 其中水平梯度 G x 和垂直 梯度 G y 采用 Sobel 算子计算, d 为阈值, 根据场景 内容调整, 这样就获得空间域的掩码 M s. 上述模板 化操作也可以在运动估计之间完成, 这里放在运动 估计之后主要考虑到在压缩域中的可扩展性. 需要 说明的是, 本文主要考虑在图像域进行处理, 如果直 接处理压缩域的运动矢量, 则可以通过分析离散余 弦变化的系数值来获得空间纹理特性的模板[ 6 ].
作者简介: 宋 利 (19752) , 男, 山西长治市人, 博士生, 主要研究方向为虚拟现实、 计算视觉及视觉分析等. 周源华 ( 联系人) , 男, 教授, 博士生导师, 电话 (T el . ) : 021262932341; E 2 m ail: yuanhuazhou@ cd tv. o rg. cn.
Ke y w o rds : video stab iliza t ion; g loba l m o t ion; robu st est i m a t ion
视频抖动是指拍摄过程中由于摄像机存在不一 致的运动噪声而造成视频序列的抖动和模糊. 为了 消除这些抖动, 需要提取摄像机的真实全局运动参 数, 然后采用合适的变换技术补偿摄像机的运动, 使 视频画面流畅而稳定, 这项技术通常称为视频去抖 动或视频稳定. 目前已有的视频去抖动技术分为如下两类: 特 征法和光流法. 特征法[ 1 ] 在提取每帧图像的特征点
第 38 卷 增刊 2004 年 10 月
上 海 交 通 大 学 学 报
JOU RNAL O F SHAN GHA I J I AO TON G U N I V ER S IT Y
Vol . 38 Sup. O ct. 2004
文章编号: 100622467 ( 2004) S020063204
1 视频去抖动数学模型
摄像机的全局运动可以用 2D 变换表示, 常用 的参数模型包括 2 参数的平动模型, 4 参数的相似 变换模型, 6 参数的仿射变换模型, 8 参数的投影变 换模型以及 12 参数的 2 次曲面变换模型[ 4 ]. 参数越 多, 表示场景变换越精确, 同时计算的复杂度也越 高 . 对于一般的场景来说, 仿射变换模型表示的全局 运动在精度和复杂性之间具有较好的折衷. 根据仿射变换模型, 视频序列中图像 I n 和 I n- 1 对应像素坐标 X n 和 X n- 1 满足: ( 1) X n = A nX n - 1 + T n
收稿日期: 2003211217 基金项目: 国家自然科学基金资助项目 (69905003)
的基础上, 在相邻帧之间进行特征匹配, 然后根据匹 配的结果计算摄像机的全局运动参数, 最后用滤波 后的全局运动变换对原始序列进行补偿 . 该方法的 效果很大程度上取决于特征匹配的精度, 当场景中 存在移动目标或者纹理特征不明显时, 该方法的应 用将受到限制 . 光流法[ 2 ] 首先计算相邻帧之间的光 流, 然后根据光流信息, 通过运动分析获得全局运动 参数, 随后也是根据滤波后的运动参数来补偿原始
2. 1 块运动估计
, T n =
t1 t2
A n 反映了水平和垂直尺度以及旋转因子, T n 体现平
移参数. 如果取第 1 帧为基准帧, 在相邻帧之间级连 使用上述变换, 得
X n = A nX n n
1
r r + Tn = … = A n X 1 + Tn = n- 1 n k
∏
i= 1
Ai X1 +
基于运动矢量的视频去抖动算法
宋 利, 周源华, 周 军
( 上海交通大学 图像通信与信息处理研究所, 上海 200030)
摘 要: 采用新的几何分析方法建立了视频去抖动处理的数学模型, 提出一种基于运动矢量的视 频去抖动算法. 采用新的快速M 鲁棒估计法获得摄像机全局运动参数集; 滤波该参数集滤除随机 抖动带来的运动噪声. 为了提高算法的可靠性, 在全局运动估计之前对原始运动矢量进行了时空滤 波; 在运动校正阶段, 引入了 “重同步” 机制防止差错累积 . 实验表明, 该算法具有良好的去抖动效 果, 能够用于实时处理. 关键词: 视频去抖动; 全局运动; 鲁棒估计 中图分类号: TN 919. 81 文献标识码: A
V ide o S ta b iliza tion A lgo rithm B a s e d on M o tion V e c to rs
S ON G L i , ZH OU Y uan 2hua , ZH OU J un
( In st. of I m age Comm un ica t ion & Info rm a t ion P rocessing, Shangha i J iao tong U n iv. , Shangha i 200030, Ch ina )
A bs tra c t: T h is p ap er p ropo sed a m a them a t ica l m ode fo r video stab iliza t ion by m ean s of novel geom et ry
ana lysis. T he m ethod go t g loba l m o t ion p a ram eters by loca l m o t ion vecto rs th rough qu ick M 2robu st est i2 m a t ion; these p a ram eters a re filtered to rem ove stocha st ic m o t ion no ise. In o rder to im p rove the stab iliza 2 t ion, the o rig ina l m o t ion vecto rs a re filtered in the sp a t ia l2tem po ra l dom a in befo re g loba l m o t ion est im a t ion and an effect ive“resynch ron iza t ion ”schem e is in t roduced to p reven t erro r accum u la t ion du ring m o t ion co r2 rect ion. T he exp erim en t s show tha t the p ropo sed a lgo rithm ha s good stab iliza t ion effect s and can be u sed to rea l2t im e p rocess.
