一种基于二次帧差的突变镜头检测方法

&
引言
随着多媒体技术、 数字电视和网络技术的发展， 产生了大
在窗口内部对 和漏检。 滑动窗口法 6!7定义一个合适大小的窗口， 直方图差值进行计算， 寻找窗口内的最大值与次大值， 当最大 值与次大值相差超过某一系数时判定最大值点为镜头切变点， 但当最大值与次大值均相当大时， 即使最大帧差相当大， 这种 方法也不能检测到镜头边界。 文 687 提出了一种因果关系的突变 镜头检测算法， 该方法在对当前帧进行判决时， 只利用了当前 帧之前有限数量帧的信息， 只要当前帧差大于前面所有帧差平 均值的某个倍数， 则当前位置即为镜头切换帧， 该方法较好地 解决了全局阈值的选取问题， 但当判断为镜头边界帧的后面紧 跟着有多个帧差更大的后续帧时， 由于这些后续帧被错误地平 均到后面的镜头，容易造成后面一连串的多个连续镜头的误 检， 另外， 当一个镜头内运动特别剧烈时， 帧差的平均值已经很 大了， 因此镜头边界处的帧差不会比平均帧差大很多， 再用帧 差平均值的一个固定倍数去确定检测阈值，必然会造成误检。 针对以上镜头边界检测方案的不足， 提出了一种基于二次帧差 的突变镜头边界检测方法， 该方法通过计算二次帧差有效地消
)Leabharlann （% &， ） （） $ % ’） (!+,（ & * -,’ * +
*F"
（& ）
在 该 文 中 为 D! ， 可以根据需 式中 * 表示颜色的量化级数， 要将颜色量化为不同的维数。设加权矩阵为 . ：
基金项目： 国家自然科学基金项目 （编号： 资助 %"!:&"&9 ）
作者简介： 周艺华 （&I%I< ） ， 男， 博士研究生， 主要研究领域为视频检索， 模式识别， 人工智能。曹元大 （&IF!< ） ， 男， 教授， 博导， 主要研究领域为人工 智能， 计算机网络， 网络安全， 模式识别。张洪欣 （&I%I< ） ， 男， 博士， 主要研究领域为多媒体通信， 计算机信息处理。
量的视频文档。 由于这些视频文档是一种有着巨大数据量和丰 富信息含量的新型媒体， 如何对其进行有效的存储、 分段、 检索 和利用成为当今需要解决的迫切问题。 镜头是组成视频的基本单元， 也是对视频内容进行深入分 析和检索的基础， 因此， 研究镜头的边界检测具有重要的现实 和渐变 意义。 镜头边界的变换方式主要有突变 （’()*+, -./012 ） 两种形式， 其中绝大部分是突变。 针对突变和 （3)/4*/5 -./012 ） 渐变的特点， 国内外许多研究者提出了不同的镜头边界检测算 法。 全局单一阈值方法 6&7选取一个固定大小的阈值， 与所有视频 帧的帧差比较， 只要帧差大于这个阈值的帧， 就认为是两个不 同的镜头转换边界， 而帧差小于这个阈值， 则认为是同一个镜 头。 由于不可能找到对所有视频都有效的全局阈值， 另外， 即使 对同一视频，不同的视频镜头其运动的剧烈程度也不相同， 帧 差变化范围也相当大， 因此全局单一阈值法存在着较大的误检
检测方法。该方法利用相邻帧之间黄金分块对应区间的 CDE 直方图距离， 计算加权后的帧间差， 然后通过计算二次帧差 有效地消除边界检测阈值对镜头内容变化的敏感性。该方法不需设置全局阈值， 适应性强。实验表明该算法取得了良好 的检测效果。 关键词 视频检索 镜头边界检测 突变 二次帧差 文献标识码 ’ 中图分类号 GH8I&$F
’&")
度直方图差值来检测镜头变化，可以简单而有效地检测突变， 直方图特征值的差值对运动不敏感，能够防止运动的干扰， 但 由于这种特征值没有记录象素点的位置信息， 对于象素点位置 完全不同的两帧， 可能有类似的直方图分布， 这时可能造成镜 头的漏检。边缘特征值一般先从图像中计算物体的边缘， 分析 边缘的变化量来判断镜头转换。 常用的边缘计算方法有 +,-./0 算子，高斯拉普拉斯算子， 1/.2300 算 子 ， +,-345,4 算 子 ， 63/578 算子， 文献 ’>)’#) 提出的边缘改变 9,-.: 算子以及 ;<44= 算子等， 率的概念就是利用这种特性进行镜头的突变检测， 但由于这种 算法计算量巨大， 一般不用于突变镜头的检测， 只用于非实时 的渐变镜头的检测。 运动特征值计算方法有基于象素的亮度绝 对帧差法、 基于光流的方法、 基于运动矢量或块匹配后的残差 等方法， 但这些基于运动特征值的方法的检测效果并不优于直 方图方法， 因为这种方法将一个简单的视觉不连续的检测问题 转化成复杂的运动估计问题， 是得不偿失的。 基于以上各种特征值选择方法的特点， 同时考虑到边界检 测的准确性和检测效率，笔者决定选用改进的 ?9@ 直方图特 征作为镜头边界检测的主要特征。之所以采用 ?9@ 直方图而 不采用 +AB 直方图， 是因为在颜色模型中， ?9@ 模型是一种适 合人眼分辨的模型 ， 一是人眼可独 ?9@ 空 间 有 两 个 重 要 特 点 ： 立感知该空间各颜色分量的变化； 二是在这种颜色空间上的颜 色三元组之间的欧几里德距离与人眼感觉到的相应的颜色差 具有线性关系， 是一种符合人类视觉感知特性的颜色模型。基 于 ?9@ 颜色空间的测度能够更好地逼近人眼的感觉。确定采 用 ?9@ 空间模型后，为了压缩直方图矢量的维数，减少计算 量， 对 ?9@ 颜色空间进行了非等间隔量化。 采用非等间隔量化 技术，一是因为从 +AB 空间到 ?9@ 空间的变换是非线性的 ， 二是因为人眼对 ?9@ 空间各分量以及各分量的各区间的感知 强度不同。通过对颜色模型进行分析， 可以把色调 ? 空间分为 饱和度 9 和亮度 @ 空间分为 C 份， 并根据色彩的不同范 ( 份， 围进行量化， 采用这种量化方法后， 共得到 D! 种最常用颜色等 级。量化后的色调、 饱和度和亮度值分别为 ? 、 9 和 @’D)。 为了克服直方图特征值不能记录象素点位置的缺点， 文 ’C) 将 整 个 视 频 帧 平 均 分 为 !"! 大 ’%) 提 出 了 分 区 直 方 图 的 概 念 ， 小的子块， 分别计算每个子块的直方图特征， 然后再计算帧差。 将视频帧平均分块考虑了象素的位置信息， 但没有考虑到每一 块的重要 性 ， 虽 然 文 ’%) 的 方 案 考 虑 到 不 同 分 块 的 重 要 性 ， 但他 的方法只采用类似高斯加权的方法， 如图 & （< ） 所示， 实验表 明， 这种加权方法对镜头分割效果并不很好。尤其是在体育视 频中， 当运动员跑动时， 图像的上面一小部分经常出现广告内 容或看台区域的频繁切换，而下面部分会有字幕或广告的出 现， 而此时并未出现镜头切换， 如图 ! 的 （< ） 和 （- ） 所示， 如果用
! 特征的选取与帧差计算 !$& 特征的选取策略
镜头转换边界的存在反映了视频流在时间上的不连续性， 因此选取的特征应能更好地表达这种不连续性。 目前用于镜头 边界检测的特征主要有： 直方图特征值 ’()、 边缘 （轮廓） 特征值 ’*)、 运动特征值 等， 直方图特征值利用相邻两帧之间的亮 度 或 色
!/0’&$)’： D.@, 42,2-,>@0 =2,.@4 @K,20 *P2P 4>KK2)20-2 (2,R220 K)/=2P ,@ -@=+*,2 (@*04/)A 42,2-,>@0 ,.)2P.@54$M0 ,.>P +/+2)， ’ V*/4)/,>- 4>KK2)20-2 (/P24 =2,.@4 K@) /()*+, P.@, 42,2-,>@0 >P +)2P20,24$W2>1.,24 J>KK2)20-2 @K 02>1.(@)24 K)/=2P >P -@=+*,24 /--@)4>01 ,@ ,.2 CDE .>P,@1)/= 4>P,/0-2 @K -@))2P+@0420-2 1@5420 (5@-SP (2,R220 02>1.(@) K)/=2P$ G.20 ,./, ,.2 +)@(52= @K 42,2-,>@0 ,.)2P.@54 >P P20P>,>U2 ,@ ,.2 -@0,20, -./012 @K P.@, >P P@5U24 (A -@=+*,>01 V*/4)/,X >- 4>KK2)20-2 (2,R220 02>1.(@) K)/=2P$35@(/5 ,.)2P.@54 4@2P0Y, 0224 ,@ -@=+*,2 >0 @*) =2,.@4$D@ @*) =2,.@4 -/0 /4/+, ,@ /0A U>42@P$;Z+2)>=20, P.@RP ,./, @*) =2,.@4 +2)K@)=P (2,,2) )2P*5,P$ >,?@3&%0： U>42@ )2,)>2U/5， P.@, (@*04/)A 42,2-,>@0 ， /()*+, -./012 ， V*/4)/,>- 4>KK2)20-2
图! 影响镜头边界判断的视频内容变化 图& 简单分块与黄金分块的对比
!$!
帧差计算
在将每帧图像采用黄金分块原则不均匀分割为 #"! 的子
块后， 分别统计每个子块的 ?9@ 直方图， 计算对应区间的直方 图差异， 并对不同的区间设置不同的加权系数， 分块原则及加 （- ） 所示， 以加权后的平均距离作为两帧图像之 权系数如图 & 间的差值。这样计算的帧间差值， 更好地体现了不同镜头的帧 图像间的差别。在对帧图像进行分块时， 综合考虑到计算复杂 度和检测结果的精度， 将帧图像不均匀分割为 CEC 个子块。 在得到了每个区间的 ?9@ 直方图后，需选择合适的距离 度量来表示相邻帧对应区间直方图的差异， 可以简单用绝对值 距离来表示。这样计算简单， 满足计算速度的需要。