一种有效的基于时空信息的视频运动对象分割算法

基于时空信息融合的高效激光雷达动态物体分割算法一、介绍激光雷达技术已经成为自动驾驶和智能交通系统中的重要传感器之一。

激光雷达可以快速获取高精度的环境三维信息，对于实现车辆感知和环境理解至关重要。

然而，激光雷达在城市场景下面临着一个重要挑战，即动态物体的分割和识别。

由于城市道路上存在大量的行人、车辆等动态物体，传统的激光雷达数据处理算法往往难以准确分割出动态物体，这对于自动驾驶系统来说是一个严峻的挑战。

二、问题描述对于激光雷达动态物体分割来说，一个关键的问题是如何准确识别出动态物体并将其与静态背景分离。

由于激光雷达在不同时间和位置采集的数据存在时空关系，因此时空信息融合成为一种有效的动态物体分割方法。

时空信息融合可以利用连续帧之间的相互关联以及相邻点云之间的运动模式，从而实现对动态物体的准确分割。

三、基于时空信息融合的动态物体分割算法为了解决激光雷达动态物体分割的问题，我们提出了一种基于时空信息融合的高效算法。

该算法主要包括以下几个关键步骤：1. 时空数据预处理：首先对激光雷达采集的原始数据进行时空预处理，包括数据配准、运动估计和运动滤波等步骤，以便得到连续帧之间的相对运动信息。

2. 动态物体分割：在时空数据预处理的基础上，通过建立动态物体的运动模型和形状特征，结合时空一致性约束，实现对动态物体的分割和识别。

这一步需要综合考虑点云的位置、速度和加速度等时空信息，从而准确地将动态物体与静态背景分离出来。

3. 动态物体跟踪和预测：在获得动态物体分割结果后，需要进行动态物体的跟踪和预测，以便及时更新动态物体的位置和运动状态，为后续的决策和规划提供可靠的信息。

4. 算法优化和性能评估：针对算法的效率和准确性进行优化，同时对算法进行充分的性能评估，包括动态物体分割的准确率、召回率、速度和鲁棒性等指标。

四、实验与结果分析我们在真实的城市道路场景下进行了大量的实验，并与其他经典的动态物体分割算法进行了对比。

实验结果表明，我们提出的基于时空信息融合的动态物体分割算法在准确性和效率上都取得了显著的改进。

一种面向运动的视频对象分割算法
刘李杰;蔡德钧;翁南钐
【期刊名称】《计算机学报》
【年(卷),期】2000(023)012
【摘要】在MPEG-4编码系统框架中,为支持基于内容的编码性能,视频自动、半自动分割成为关键技术之一. 文中提出了一种利用以一组帧为参考帧将视频序列自动分割成静止背景和运动对象的算法. 这种方法考虑了全局的运动,并且提出一种新的运动区域检测算法. 算法主要思想是先对帧进行运动区域的简化,通过简化后的帧与原帧的帧差获取运动区域. 将以一组帧为参考所检测出的运动区域合成一个二进制掩模,对这一掩模进行运动分析和形态滤波,从而获得最终的运动对象. 实验结果表明,利用本文所提出的方法能够较精确地分割出运动的视频对象.
【总页数】6页(P1326-1331)
【作者】刘李杰;蔡德钧;翁南钐
【作者单位】华中科技大学电子与信息工程系,武汉,430074;华中科技大学电子与信息工程系,武汉,430074;华中科技大学电子与信息工程系,武汉,430074
【正文语种】中文
【中图分类】TN919
【相关文献】
1.基于运动背景的自适应视频对象分割算法 [J], 王小平
2.基于全局运动估计的视频对象分割算法 [J], 王新卫;周利莉;张帆
3.面向多种场景的视频对象自动分割算法 [J], 余欣纬;柯余洋;熊焰;黄文超
4.一种基于运动背景的视频对象分割算法 [J], 张庆利;张兆扬
5.一种基于水平集的运动视频对象分割算法 [J], 陆悌亮;龚声蓉
因版权原因，仅展示原文概要，查看原文内容请购买。

专利名称：基于时空记忆信息的视频实例分割方法和分割装置专利类型：发明专利
发明人：周翊民,马壮
申请号：CN202111581049.7
申请日：20211222
公开号：CN114241388A
公开日：
20220325
专利内容由知识产权出版社提供
摘要：本发明公开了一种基于时空记忆信息的视频实例分割方法和分割装置。

视频实例分割方法包括：获取视频中当前帧图像的待分割实例的查询键特征图和查询值特征图以及各幅记忆帧图像中待分割实例的记忆键特征图和记忆值特征图；计算各幅记忆帧图像中待分割实例的记忆键特征图在进行注意力匹配时的权重值；按照从大至小的顺序从所有权重值选出预定数目的权重值作为权重系数；根据各个权重系数、各个权重系数对应的记忆帧图像的记忆键特征图和记忆值特征图得到具有加权时空信息的全局特征图；根据全局特征图、查询键特征图和查询值特征图得到当前帧图像的实例分割结果。

该方法可以充分利用记忆帧图像的历史信息，提高了分割结果的鲁棒性。

申请人：中国科学院深圳先进技术研究院
地址：518055 广东省深圳市南山区深圳大学城学苑大道1068号
国籍：CN
代理机构：深圳市铭粤知识产权代理有限公司
更多信息请下载全文后查看。

第23卷第12期2000年12月计算机学报CHINESE PU TERSVoI.23No.12!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!Dec.2000一种面向运动的视频对象分割算法刘李杰蔡德钧翁南钐（华中科技大学电子与信息工程系武汉430074）收稿日期：1999-12-24.本课题得到华为科技基金（JJ-HZ-6）资助.刘李杰，男，1980年生，硕士研究生，主要研究方向为视频处理及多媒体通信.蔡德钧，男，1938年生，教授，目前的研究方向为图像编码及多媒体通信.翁南钐，男，1975年生，硕士研究生，主要研究方向为视频编码、多媒体通信和无线通信.摘要在MPEG-4编码系统框架中，为支持基于内容的编码性能，视频自动、半自动分割成为关键技术之一.文中提出了一种利用以一组帧为参考帧将视频序列自动分割成静止背景和运动对象的算法.这种方法考虑了全局的运动，并且提出一种新的运动区域检测算法.算法主要思想是先对帧进行运动区域的简化，通过简化后的帧与原帧的帧差获取运动区域.将以一组帧为参考所检测出的运动区域合成一个二进制掩模，对这一掩模进行运动分析和形态滤波，从而获得最终的运动对象.实验结果表明，利用本文所提出的方法能够较精确地分割出运动的视频对象.关键词视频对象分割，MPEG-4，形态关连算子，形态运动关连算子，高阶统计中图法分类号：TN919A Motion-oriented Video ob j ect Se g mentation Al g orithmLIU Li-JieCAI De-JunWENG Nan-Shan（De p artment o f Electronics and In f ormation En g ineerin g ，Huazhon g Uniuersit y o f Science and Technolo gy ，Wuhan 430074）Abstract In the framework of the MPEG-4codin g s y stem ，the automatic or semiautomatic video se-g uence se g mentation p Ia y s a ke y roIe in su pp ortin g the features of content-based codin g .This p a p erp resents an automatic se g mentation aI g orithm usin g a g rou p of frames as refer frames aimed at se p arat-in g movin g and stiII re g ions inside a video scene.The aI g orithm considers the g IobaI motion and p uts forward a new motion re g ion detection aI g orithm.The main idea of the aI g orithm is sim p Iif y in g the motion re g ion of the frame firstI y ，then g ettin g the motion re g ion throu g h the difference of the sim p Ii-fied frame with the ori g inaI ，mer g in g the motion re g ions which have been detected b y usin g a g rou p of frames as refer frames into a binar y mask ，foIIowin g b y motion anaI y sis and mor p hoIo g icaI fiIter to re-fine the mask ，IastI y the motion ob ects can be achieved refer to the mask.The ex p erimentaI resuIts show that the p ro p osed aI g orithm can p reciseI y se g ment the motion video ob ects.Ke y words video ob ect se g mentation ，MPEG-4，mor p hoIo g icaI connected o p erators ，mor p hoIo g icaI motion connected o p erators ，hi g h order statistic1引言近年来，基于对象的视频编码技术在MPEG-4标准制定的推动下成为编码研究领域中的一个热点.这个新的国际标准提供了过去视频编码协议中所没有的功能，其中包括基于内容的交互性、自然和人工混合数据编码、基于内容的可缩放性等技术，从而满足将来的多媒体应用的需要.这些新功能的实现，需要对视频对象进行基于内容的表示，也就是要将视频序列预先分解成有意义的对象集即视频对象面（VOPS）.这要通过视频分割技术来实现，许多学者在这方面作了大量的研究.文献［l］提出的方法是先对连续两帧的帧差图像门限化获得运动区域，然后估计运动场来进一步分离出静止背景和运动的前景.文献［2］在前者的基础上提出了一种基于变化检测的时间分割算法.这种方法须先获得变化检测掩模（CDM），为此，对连续两帧门限化，然后采用一种松弛技术对帧差图像的边缘平滑，再利用对象形状的空间连贯性来得到时间稳定的对象区域并对该区域进行简化，去除小区域，获得CDM.接着，从获得的CDM中去除未覆盖的背景获得最终的对象掩模.文献［3］提出一种利用高阶矩和运动跟踪的方法用多帧来进行对象分割，对各个帧差进行高阶统计（HOS）来检测运动区域.然后，在各个高阶映射上进行运动估计获得最终对象掩模.这些方法的共同点都是直接通过两帧的帧差来检测对象的运动区域.这种方法存在的主要问题是对噪声的敏感性.本文从另一个角度出发，采用形态运动关连算子来间接利用帧差对对象的运动区域进行检测，同时根据序列图像的运动程度，采用多帧处理来获取运动对象.实验结果表明，这种方法更具有抗噪性，是一种有效的面向运动的视频分割算法.本文的组织如下：第2节介绍算法原理及其结构框图；第3节描述了全局的运动估计和运动补偿；第4节给出形态运动关连算子检测对象运动区域的算法；第5节描述对检测出的运动区域的运动分析；第6节是最终运动对象的获取；第7节给出实验结果；最后是全文总结.!算法原理及其结构框图本算法考虑全局的运动，将图像序列的每帧分割成不交叠的运动对象和背景两部分，图l给出了本分割算法的框图.算法包括如下4个步骤：第l步，采用8参数模型［l］进行全局的运动估计和运动补偿.第2步，以本文提出的一种改进的形态运动关连算子［4，5］作为匹配准则，并利用该运动关连算子对所要分割的帧进行简化，再对简化后的图像与原图的差值图像进行高阶估计，从而检测出运动区域.第3步，对检测出的运动区域进行运动分析，获得最终的运动区域.第4步，将多个帧获得的运动区域合成，得到运动对象掩模，并对它采用数学形态开关算子进行滤波从而获得最终的掩模，提取运动对象."全局运动估计与补偿当背景存在运动（如平移、旋转及镜头伸缩等）时，要进行全局运动补偿.因此，要先进行全局的运动估计.为了能对背景运动进行有效的描述，获得更好的分割结果，采用文献［l］中的8参数运动模型.取帧f i和f i+l，设Sfi（X0，Y0）表示f i中的像素（X0，Y0）的灰度值，则有S fi（X0，Y0）=S fi+la l X0+a2Y0+a3a7X0+a8Y0+l，a4X0+a5Y0+a6a7X0+a8Y0+()l（l）式中a l，a2，a3，a4，a5，a6，a7，a8为待估计的运动参数.为估计a l，a2，a3，a4，a5，a6，a7，a88个参数，要在前帧背景区域中选择若干像素点.一般在边缘l0个像素左右的区域取观察点.为了减少计算量，首先采用3层金字塔的层次块匹配求出各个观察点像素的位移.然后，利用各个观察点像素的位置及其估计出的位移对这8个参数进行估计，使得估计误差平方最小［6］.当估计的运动参数a l-l，a2，a3，a4，a5-l，a6，a7，a8中的绝对值有一个大于2.5时，则进行运动补偿［2］.#运动区域检测一般的运动区域检测是直接通过对帧差图像的分析来获取，这就使得算法对噪声有一定的敏感性.考虑到这一点，本文先对所要分割的帧进行运动区域的简化，再通过对帧差的分析来获取运动区域，从而提高算法的抑噪性能.#.$运动区域的简化4.l.l形态运动关连算子对所需分割的帧采用形态运动关连算子（mor-p hoIo g icaI motion connected o p eratorS）进行运动简化.形态关连算子是一种形态滤波器，它们能够按照简化准则对信号进行简化而不丢失轮廓信息.它可根据不同应用场合，采用不同的简化准则，如尺寸、面积、对比度或复杂度等对图像进行简化，因此受到越来越广泛的应用.而运动关连算子就是采用了运2计算机学报2000年动信息作为简化准则的形态关连算子.文献［4，5］分别给出了形态关连算子和形态运动关连算子的定义.形态关连算子对图像的操作是通过平坦区域进行的.它实际上是一种按照准则进行融合图像平坦区域的操作.所以，它在对图像进行简化的同时不会产生任何新的轮廓信息.对图像进行关连算子的操作一般分为三个步骤：（1）图像的表示，也是产生关连算子；（2）对表示后的图像分析，也可说是对表示后的图像的滤波；（3）分析（滤波）后的图像的重建.有许多种方法可对图像进行表示来产生关连算子.文献［5］给出了一种树型结构方法来表示图像，称为最大树（max-tree ）.树的每个节点是通过对原图像在所有可能的灰度值上的门限化而得来的，它代表一个二进制关联成分.节点间的连接描绘了平坦区域间具有可能融合的关系.对图像的分析是从树的叶节点开始，对每个节点按照一定准则进行计算，根据计算出的准则值来判断节点是否保留.形态运动关连算子就是采用运动矢量为参数的匹配准则.定义d ()!为:时刻图像I :()!给定的一运动场，对图像I :的最大树的各个节点Z f 采用帧差平方均值的负值作为准则函数，见式（2）.C I :-1I :（Z f）=-!!"Zfl I :（!）-I :-1（!-d（!））l 2!!"Z f1（2）如果准则函数（式（2））的值越大，节点Z f 表示的关联部分越满足运动d（!），则该节点需要保留；反之，节点则要去除.图像的重建是通过赋予分析后的树中保留节点相应的灰度值来实现的.这种关连算子是非广泛的，因为重建后的图像的每个像素值要比原图像值要小.这也意味着这个关连算子去掉了图像中不满足准则部分的亮度值，相应的其双重算子去除不满足准则图像中暗的部分.如果定义图像I （!）关连算子是!（I （!）），则其双重算子为!#（I （!））=-!（-I （!））.另外，文献［5］提出了利用队列，采用迂回叠代的所谓洪水（fIOOd ）算法来快速创建最大树，并采用维特比（Viterbi ）算法分析最大树，来保证全局最优.这些方法在本文中也得到采用，从而快速实现对图像的简化过程.4.1.2改进的形态运动关连算子利用形态运动关连算子对运动区域进行简化，令d （!）=0，通过原图像与简化后的图像的差值提取运动区域或者运动对象.如图2所示，采用形态运动相关算子分割MPEG-4的B 类测试序列‘News ’.对原始图像f （图2（a ））采用运动关连算子操作!，采用的运动场则如前面所述，!（f ）为去掉了f 所有亮的运动部分的简化图像（图2（b ）），接着，对!（f ）采用双重算子操作即!#（!（f ）），去除所有暗的运动部分（图2（c ））.最后，对原图和简化输出的图像的差值门限化，就可精确获得运动对像（图2（d ））.但是直接利用两帧的运动信息不能有效地对少量运动的视频序列进行分割.如图3所示，对Miss America 测试序列进行上面的处理，仅检测出其大致的运动区域.考虑到这一点，本文分割算法采312期刘李杰等：一种面向运动的视频对象分割算法用了多帧处理获取运动区域.相应地对形态运动算子作了一些改进.为提取视频序列中的第I 帧f I 的视频对象，取前N 个帧｛f I -i ，i =I ，…，N ｝作参考帧（注：若背景存在运动要先进行全局运动补偿），N 值的取值要根据视频对象速度决定.相应地将匹配准则式（2）改进为式（3）.C f I -i f I（Z f ）=-!!"Zf\f I （!）-f I -i （!）\2!!"ZfI （3）为了进一步提高准则函数的性能，充分利用前一次处理的结果，进一步将式（3）改为式（4）：C（Z f ）=C f I -i f I（Z f ），i =IO C f I -i f I （Z f ） （I -O ）C I i （f I ）f I（Z f ），i =2，…，{N （4）其中I i （f I ）是以式（4）为准则，以f I -I 帧为参考帧的运动关连算子对f I 简化后的图像，O 为可调参数，其范围为0#O #I .这样可获得N 个简化后的图像｛I i （f I ），i =I ，…，N ｝.同样，对这些简化后的图像进行双重操作，即I $（I i （f I ）），得到最终的N 个简化后的图像，记为｛f $I -i ，i =I ，…，N ｝.!."运动区域获取通过简化操作，图像中运动区域的像素灰度值比其它部分大为减小.因此，通过简化后的图像与原图像的差值可获取运动区域.但是简单地对差值图像门限化来获取运动区域会使得算法对门限过于敏感，且不具有通用性.为了提高算法自适应性和抑噪性能，采用高阶统计检测方法［3］.由于对象运动而表现出的帧差变化的统计规律不满足高斯分布，因此建立在高斯模型基础上的二阶矩检测器性能比较差，同时考虑到计算量的问题，文献［3］把对帧间变化的检测建模为在高斯噪声中检测随机非高斯信号，采用四阶矩检测器.原图f I 与简化后的图像f $I -i 的差值图像为i.为了判断像素（x ，y ）是否属于运动对象，先在差值图像上计算以（x ，y ）为中心的矩形窗口T （x ，y ）（窗口大小为N T X N T ）的四阶矩^m （4）i （x ，y ）=I N 2T !（S ，t ）"T（x ，y ）（i （S ，t ）-^m i ）4（5）其中，^m i （x ，y ）是窗口内差值信号的平均值，即^m i （x ，y ）=IN 2T !（S ，t ）"T（x ，y ）i （S ，t ）（6）接着，把^m （4）i （x ，y ）同阈值相比较，阈值同噪声方差^O 2oi 的平方成正比，如式（7）所示，若大于阈值则像素（x ，y ）属于运动对象，令m （x ，y ）=255，反之属于背景或对象的静止部分，m （x ，y ）=0.这样得到一个二值图像m .^m （4）i （x ，y ）><H IH 0c ·（^O 2oi ）2（7）其中，c 是由实验确定的常数，H 0表示假设“（x ，y ）点属于静止部分”，H I 表示假设“（x ，y ）点属于对象运动区域”.噪声方差^O 2oi 由下式计算得^O 2oi =I N 2H !（S ，t ）"H（i （S ，t ）-^m i ）2（8）其中，H 是属于静止背景的一块区域，一般在图像的边沿地带选取，N H 为窗口尺寸.#运动区域的运动分析经过前面的步骤，我们获得表示运动区域的二值图像m.但是所获得的运动区域并不一定就是真正的运动区域.因为，采用帧差作为形态运动关连算子的匹配准则来简化图像有一定的缺陷.背景中的一些静止的低纹理区域，它们的边缘的帧差值往往比较大，这样采用式（4）为准则的形态运动关连算子也会将其简化.因此，有些背景的边缘区域及高纹理区中某些像素可能会出现在运动区域中.为消除这种情况，需对运动区域进行运动分析.运动分析的过程可描述如下：if （M （x ，y ）==255）｛（A I x （x ，y ），A I y （x ，y ））=ar {gmin （A x ，A y{）!（U ，1）"B （x ，y ）I f I （U ，1）-f I -i （U -A I x ，1-A I y ）}}I ；if （A I x （x ，y ）==0&&A I y （x ，y ）==0）M （x ，y ）=0；｝4计算机学报2000年其中，B（x，y）是以像素（x，y）为中心、大小为X的像素块，本文取值为7.从上面程序可以看出，运动分析过程实际是个块运动估计过程.为提高速度，采用了三步搜索的策略［7］，搜索范围为1.!运动对象的获取经过对多帧的上述处理可获得N个二值图像｛M i，i=1，…，N｝.对这些二值图像进行逻辑或操作得到最后的二值图像!M（图4（b））.两幅二值图像的或操作定义为R（M i，M j）（x，y）=0，if M i（x，y）+M j（x，y）=01，{else（9）为了消除二值图像!M中的空洞及噪声点的影响，对!M采用数学形态学的开关（o p en-close）算子操作［8］，从而获得最终的二值图像（图4（c）），即分割对象的模板.根据这个模板可最终获得视频对象（图4（c））.为了保证开关算子各向同性，采用了圆形的结构元素."实验结果采用上述视频分割方法分别对Trevor序列、MPEG-4的A类测试序列（‘Mother anc Dau g hter’、‘Containershi p’）和MPEG-4的C类测试序列（‘Ste-fan’）进行分割，结果分别如图5—8所示.其中，Trevor序列包含有多个运动对象，图5给出了利用前5帧分割第15帧的结果，由于图中第2行中第2个人在前5帧没有运动，所以没有分割提取出来.此结果表明了本算法能够精确地分割出多个运动的对象.另外，当背景在时间上的变化要比对象中的变化大时，算法有一定的不准确，如图7中，船的部分像素被认为是背景.图8给出了背景晃动的‘Stefan’序列中第10帧的分割结果.从实验结果可以看到，本算法能够有效地分割室内和室外的视频序列.512期刘李杰等：一种面向运动的视频对象分割算法!结论在MPEG-4编码系统框架中，为支持基于内容的编码性能，视频自动、半自动分割成为关键技术之一!本文提出了一种自动分割视频中背景和运动对象的算法!实验的结果表明了方法的有效性!进一步提高分割对象轮廓的精确度，采用轮廓跟踪算法及改进匹配准则，同时融合彩色信息对视频分割算法改进是本文的下一步的工作!参考文献1H tter M，Thoma R.Ima g e se g mentation based on ob ect oriented ma pp in g p arameter estimation.Si g naI Processin g，1988，15（3）：315-3342Mech R，WoIIborn M.A noise robust method for2D sha p e estima-tion of movin g ob ects in video se g uences considerin g a movin g cam-era.Si g naI Processin g，S p eciaI Issue on Video Se g uence Se g menta-tion for Content-based Processin g and Mani p uIation，1998，66（2）：203-2173Neri A，CoIonnese S，Russo G，TaIone P.Automatic movin g ob-ect and back g round se p aration.Si g naI Processin g：S p eciaI Issue on Video Se g uence Se g mentation for Content-based Processin g and Ma-ni p uIation，1998，66（2）：219-2324SaIembier P，Serra J.FIat Zones fiIterin g connected o p erators and fiIters b y reconstruction.IEEE Transactions on Ima g e Processin g，1995，3（8）：1153-11605SaIembier P，OIiveras A，Garrido L.Antiextensive connected o p er-ators for ima g e and se g uence p rocessin g.IEEE Transactions on Im-a g e Processin g，1998，7（4）：553-5706Wan g De-Min.Unsu p ervised video se g mentation based on water-sheds and tem p oraI trackin g.IEEE Transactions on Circuits S y stem Video TechnoI，1998，8（5）：539-5467TekaaI p A M.Di g itaI Video Processin g.Bei in g：Tsin g hua Univer-sit y Press，19988SaIembier P.Mor p hoIo g icaI muItiscaIe se g ment for ima g e codin g.Sin g aI Processin g，1994，38（3）：359-3866计算机学报2000年一种面向运动的视频对象分割算法作者：刘李杰， 蔡德钧， 翁南钐， LIU Li-Jie， CAI De-Jun， WENG Nan-Shan作者单位：华中科技大学电子与信息工程系,武汉,430074刊名：计算机学报英文刊名：CHINESE JOURNAL OF COMPUTERS年，卷(期)：2000,23(12)被引用次数：28次1.Hǒtter M;Thoma R Image segmentation based on object oriented mapping parameter estimation 1988(03)2.Mech R;Wollborn M A noise robust method for 2D shape estimation of moving objects in video sequences considering a moving camera. Signal Processing[外文期刊] 1998(2)3.Neri A;Colonnese S;Russo G;Talone P Automatic moving object and background separation[外文期刊] 1998(02)4.Salembier P;Serra J Flat zones filtering connected operators and filters by reconstruction[外文期刊] 1995(08)5.Salembier P;Oliveras A;Garrido L Antiextensive connected operators for image and sequence processing[外文期刊] 1998(04)6.Wang De-Min Unsupervised video segmentation based on watersheds and temporal tracking[外文期刊] 1998(05)7.Tekaalp A M Digital Video Processing 19988.Salembier P Morphological multiscale segment for image coding 1994(03)1.姜巧巧一种基于遗传算法的视频对象分割方法[学位论文]20072.顾广华.崔冬.Gu Guanghua.Cui Dong全局运动序列的视频对象分割算法[期刊论文]-仪器仪表学报2007,28(1)3.贾振堂.贺贵明.韩艳芳运动视频对象分割的一种快速算法[期刊论文]-中国图象图形学报A辑2002,7(11)4.杨高波.张兆扬.YANG Gao-bo.ZHANG Zhao-yang MPEG-4框架下的视频对象分割及其关键技术分析[期刊论文]-通信学报2007,28(10)5.唐瑞英.李华.Tang Ruiying.Li Hua MPEG-4视频对象分割技术[期刊论文]-信号处理2005,21(3)6.林强视频对象分割算法研究[学位论文]20087.宋立锋.韦岗.王群生基于模板匹配的视频对象分割[期刊论文]-电子学报2002,30(7)8.俞毅刚.黄艺用于视频对象平面生成的运动对象自动分割[期刊论文]-电子与信息学报2001,23(7)9.刘志面向基于内容多媒体应用的视频对象分割[学位论文]200510.陈韩锋.戚飞虎一种基于灰度连续区域分割的视频对象分割方法[期刊论文]-红外与毫米波学报2002,21(3)1.周启亚.杨高波像素域运动对象提取算法的研究[期刊论文]-湖南工业大学学报 2008(6)2.王新卫.周利莉.张帆基于全局运动估计的视频对象分割算法[期刊论文]-计算机工程与设计 2007(16)3.张金.罗俊.刘鑫鑫.杨子健.张敬威文档图像屏幕适配方法中的行切问题研究[期刊论文]-计算机应用与软件2012(6)4.沈未名.江柳.种衍文视频对象分割及跟踪方法研究[期刊论文]-武汉大学学报(信息科学版) 2004(3)5.任永功一种大视场中运动对象分割方法[期刊论文]-辽宁师范大学学报(自然科学版) 2003(4)。

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910421126.9(22)申请日 2019.05.20(71)申请人 中国科学院大学地址 100049 北京市石景山区玉泉路（甲）19号(72)发明人 李国荣　徐凯　黄庆明　(51)Int.Cl.G06K 9/00(2006.01)G06K 9/62(2006.01)G06N 3/04(2006.01)(54)发明名称一种基于时空卷积神经网络的视频目标分割方法(57)摘要本发明涉及计算机视觉的技术领域，特别是涉及一种基于时空卷积神经网络的视频目标分割方法，其不需要依赖光流标注信息来训练光流模型，节省人力资源，提高视频分割准确度；包括：使用ResNet -101网络，前部均为卷积层，并且最后三个为反卷积层；使用三个跳过连接来连接低位图层功能以保留每个决议中的时空信息；输入为N幅连续的帧(I t -N ，I t -(N -1)，……，I t -1)，输出为预测的当前帧的图像I；并将此步骤设置为时间一致性分支；使用ResNet -101网络，其中均为卷积层；并且使用步长为1的空洞卷积替换卷积最后两个残余块中的层；使用金字塔池化模型来利用全局不同区域上下文信息；并将此步骤设置为空间分割分支。

权利要求书1页 说明书3页 附图1页CN 110222595 A 2019.09.10C N 110222595A1.一种基于时空卷积神经网络的视频目标分割方法，其特征在于，包括：使用ResNet -101网络，前部均为卷积层，并且最后三个为反卷积层；使用三个跳过连接来连接低位图层功能以保留每个决议中的时空信息；输入为N 幅连续的帧(I t -N ，I t -(N -1)，……，I t -1)，输出为预测的当前帧的图像I；并将此步骤设置为时间一致性分支；使用ResNet -101网络，其中均为卷积层；并且使用步长为1的空洞卷积替换卷积最后两个残余块中的层；使用金字塔池化模型来利用全局不同区域上下文信息；并将此步骤设置为空间分割分支；使用元素添加来利用高级上下文，并连接时间相干特征以集成时间约束；使用来自先前粗尺度特征图的预测掩模来指导网络的集中，即使用逐元素乘法来掩盖中的特征映射；增强对象区域周围的特征，使网络逐渐集中在对象区域以获得准确的结果；并将此步骤设置为特征融合。

一种基于时空联合的视频对象分割方法
李朝晖;张艳玲;余英林
【期刊名称】《中国图象图形学报》
【年(卷),期】2003(008)011
【摘要】视频对象分割在基于内容的视频编码和视频检索中均有重要的应用.为此,针对视频对象分割,提出了一种时域和空域信息融合的视频对象分割方案,该方案首先对时域分割采用基于F-假设检验的方法来得到初始的变化检测模板,然后通过与基于形态学的空域分割融合来获得最终的运动对象.实验结果表明,该方案计算比较简单,能较好地将前景运动对象从静止或运动、简单或复杂的背景中分离出来,且定位精度较好.
【总页数】5页(P1341-1345)
【作者】李朝晖;张艳玲;余英林
【作者单位】华南理工大学电子与通信工程系,广州,510641;广州大学信息学院计算机系,广州,510405;广州大学信息学院计算机系,广州,510405;华南理工大学电子与通信工程系,广州,510641
【正文语种】中文
【中图分类】TP391.4;TN941.1
【相关文献】
1.一种改进时空域联合的视频对象分割算法 [J], 袁正午;胡跃明;丰江帆;黎意超
2.一种基于边缘检测的时空视频对象分割算法 [J], 王新卫;周利莉;陈刚;郭戈
3.基于时空信息融合的视频对象分割方法 [J], 张雄;毕笃彦;许悦雷;杨宝强
4.一种基于支持向量机的视频对象分割新方法 [J], 张晓波;刘文耀;张小丽
5.基于变化检测与时空滤波器的视频对象分割方法 [J], 于跃龙;卢焕章
因版权原因，仅展示原文概要，查看原文内容请购买。

一种基于内容的快速视频运动对象分割算法
倪峰;龚声蓉;沈项军
【期刊名称】《微电子学与计算机》
【年(卷),期】2007(24)12
【摘要】自从MPEG-4和MPEG-7标准公布以来,基于内容的视频编码与基于对象形状的检索成为视频领域新的发展趋势,而准确地从背景中分割出视频对象是实现上述功能的前提条件。

对视频运动对象分割算法进行了研究,该算法结合对称差分和自适应阈值选取,获得变化检测模板,并最终分割出视频运动对象。

实验结果表明该算法对运动对象敏感,能实时准确地分割出视频运动对象。

但对象的关节运动以及背景的全局运动都将导致分割精度的降低,这也是今后研究的重点。

【总页数】4页(P40-43)
【关键词】视频对象分割;对称差分;自适应阈值选取;变化检测模板
【作者】倪峰;龚声蓉;沈项军
【作者单位】苏州大学计算机科学与技术学院
【正文语种】中文
【中图分类】TP31
【相关文献】
1.运动视频对象分割的一种快速算法 [J], 贾振堂;贺贵明;韩艳芳
2.一种基于内容的视频对象分割算法 [J], 王强;韩军功;卢朝阳
3.一种有效的基于时空信息的视频运动对象分割算法 [J], 鲁梅;卢忱;范九伦
4.一种新的基于吉布斯随机场的视频运动对象分割算法 [J], 刘龙;韩崇昭;刘丁;梁盈富
5.一种基于水平集的运动视频对象分割算法 [J], 陆悌亮;龚声蓉
因版权原因，仅展示原文概要，查看原文内容请购买。

一种动态场景下运动对象分割新算法马志强;张晓燕;朱子健;张锐【期刊名称】《计算机工程与科学》【年(卷),期】2012(34)4【摘要】Video moving object segmentation is a basic problem of computer vision and video processing. In the video sequences of a dynamic scene which has global (camera) motion, accurate moving object segmentation is still a key and hot research topic. A novel video moving object segmentation algorithm based on global motion compensation and non-parametric kernel density estimation is proposed in this paper. Firstly, an efficient and accurate global motion compensation method is used to remove the motion of the background. Then the non-parametric kernel density estimation is applied to establish foreground/background probability models. Finally, the moving object can be obtained by comparing the foreground/background probability and morphological post-processing. The experimental results demonstrate that the proposed algorithm has good results and reduces the complexity of moving object segmentation in dynamic scenes.%视频运动对象分割是计算机视觉和视频处理的基本问题.在摄像机存在全局运动的动态场景下,准确分割运动对象依然是难点和热点问题.本文提出一种基于全局运动补偿和核密度检测的动态场景下视频运动对象分割算法.首先,提出匹配加权的全局运动估计补偿算法,消除动态场景下背景运动对运动对象分割的影响；其次,采用非参数核密度估计方法分别估计各像素属于前景与背景的概率密度,通过比较属于前景和属于背景的概率及形态学处理得到运动对象分割结果.实验结果证明,该方法实现简单,有效地提高了动态场景下运动对象分割的准确性.【总页数】4页(P43-46)【作者】马志强;张晓燕;朱子健;张锐【作者单位】空军工程大学电讯工程学院网络工程系,陕西西安710077;空军工程大学电讯工程学院网络工程系,陕西西安710077;空军工程大学电讯工程学院网络工程系,陕西西安710077;空军工程大学电讯工程学院网络工程系,陕西西安710077【正文语种】中文【中图分类】TP391.4【相关文献】1.一种动态场景下基于时空信息的视频对象提取算法 [J], 田宏阳;陈辉;马文静2.局部运动场景中运动对象的压缩域分割算法 [J], 刘龙;韩崇昭;刘洁瑜;王占辉3.一种适用于动态场景的运动目标提取新算法 [J], 李玲芝;邹北骥;陈姝4.一种基于运动边缘检测的视频对象分割新算法 [J], 贾振堂;李生平;贺贵明;田惠5.一种新的基于吉布斯随机场的视频运动对象分割算法 [J], 刘龙;韩崇昭;刘丁;梁盈富因版权原因，仅展示原文概要，查看原文内容请购买。

一种时空信息联合的运动对象分割算法张晓燕;马志强;赵宇波;单勇【期刊名称】《计算机科学》【年(卷),期】2011(38)5【摘要】提出了一种在通用视频序列中联合时空信息分割运动对象的算法.首先,提出匹配加权的全局运动估计补偿算法,以消除动态场景中背景运动对运动对象分割的影响.其次,时域信息提取中,使用基于直方图拟舍的显著性检测及对称差分法获得运动对象模板,以克服依据经验设定阈值的缺点并且提高运动对象模板的准确性;空域信息提取中,提出基于粘性形态学梯度修正和相邻区域边缘强度合并的改进分水岭分割算法,以较好地解决分水岭算法的过分割问题,获得有效空间区域分割.最后,利用双阈值比重算法将时域和空域信息结合,提取出运动对象.实验表明,该算法分割结果准确,有效地解决了背景运动、时域信息不准确、空域过分割以及时空信息难以有效结合的问题.%A novel video moving object segmentation algorithm based on spatio-temporal information was proposed in this paper. The algorithm can extract the moving object from the video sequence with static or global motion background automatically. Firstly,an efficient and accurate global motion compensation method was used to change the motion background to static background. In temporal motion information extracting, the value of background noise variance was estimated by histogram fitting to overcome the shortcoming of setting the value by experience, then the significance test and the symmetrical difference method were applied to achieve accurate moving object mask. In spatialimage irformation extracting, an improved multi-scale watershed algorithm based on viscous morphological gradient correction and edge value merging was employed to segment moving regions which can solve over segment problems greatly. Finally,video object was extracted by performing double threshold ratio operation on spatial and temporal results. Experimental results validate the proposed algorithm.【总页数】5页(P275-278,封3)【作者】张晓燕;马志强;赵宇波;单勇【作者单位】空军工程大学电讯工程学院网络工程系,西安,710077;空军工程大学电讯工程学院网络工程系,西安,710077;空军工程大学电讯工程学院网络工程系,西安,710077;空军工程大学电讯工程学院网络工程系,西安,710077【正文语种】中文【中图分类】TP391.4【相关文献】1.一种基于梯度模型的MPEG压缩域的运动对象分割算法 [J], 孙涛;杨高波;刘理;张兆扬2.一种基于运动估计的MPEG-4对象分割算法 [J], 鞠鸣;何鸿3.一种基于凸壳的压缩域运动对象快速分割算法 [J], 钱增磊;梁久祯4.一种有效的基于时空信息的视频运动对象分割算法 [J], 鲁梅;卢忱;范九伦5.一种基于CNN的运动对象分割算法 [J], 蒋鹏;陈松因版权原因，仅展示原文概要，查看原文内容请购买。

一种新的基于时空信息的视频分割
张庆利;张兆扬
【期刊名称】《电视技术》
【年(卷),期】2004(000)011
【摘要】提出了一种新的基于时空信息的视频分割算法,即先将原始图像标记成不同的区域,然后以帧间差分得到的对象运动信息作为评判准则,将这些区域分别归类于前景对象和背景,达到对象分割的目的.特别是在区域标记的过程中,采用了一种新的基于分水岭的区域标识技术.通过对标准图像序列的实验结果可以看到,利用该算法能够较精确地分割出视频对象.
【总页数】4页(P4-7)
【作者】张庆利;张兆扬
【作者单位】上海大学,通信工程系,上海,200030;上海大学,通信工程系,上
海,200030
【正文语种】中文
【中图分类】TP391
【相关文献】
1.一种基于时空信息的运动目标提取新算法 [J], 朱仲杰;蒋刚毅;郁梅;吴训威
2.一种基于对象跟踪的视频分割算法 [J], 李兵;须德;王方石
3.一种基于混合概率模型的视频分割方法 [J], 刘震;赵杰煜
4.基于内容检索中的视频分割技术及新的进展 [J], 彭德华;申瑞民;张同珍
5.一种基于时空信息的多目标检测新算法 [J], 赵钦君;赵东标;陆永华
因版权原因，仅展示原文概要，查看原文内容请购买。

一种视频序列中的运动对象自动分割算法
张晓燕;赵荣椿
【期刊名称】《计算机科学》
【年(卷),期】2007(034)006
【摘要】提出了一种自动、准确的运动对象分割算法.首先通过直方图拟合获得准确的背景噪声方差,克服了以往只能依据经验设定背景噪声方差的缺点,并使用显著性测试技术有效地对帧差图进行二值化,确定出运动区域.然后进行形态学和对称差分处理消除噪声及显露背景,获得初始运动对象.但由于分割结果不够精确,再使用梯度向量流场作为外力的改进活动轮廓算法得到运动对象精确轮廓.实验结果表明,该方法能够得到运动对象精确的轮廓,并且具有调整参数少,抗干扰能力强,可并行处理等优点.
【总页数】4页(P239-241,247)
【作者】张晓燕;赵荣椿
【作者单位】西北工业大学计算机学院,西安,710072;西北工业大学计算机学院,西安,710072
【正文语种】中文
【中图分类】TP3
【相关文献】
1.一种视频序列中运动前景分割算法 [J], 李申;张有志
2.基于低比特率视频序列的运动对象分割算法 [J], 秦晓芳;张有志
3.一种简单快速的多媒体视频序列中运动对象分割方法 [J], 李庆涛;张有志;熊春彬;韩亚伟
4.一种视频序列图像中运动目标的分割算法 [J], 王成儒;刘豫
5.视频序列中运动目标分割算法 [J], 朱辉;李在铭
因版权原因，仅展示原文概要，查看原文内容请购买。