一种有效的基于时空信息的视频运动对象分割算法_鲁梅

基于时空建模的视频帧预测模型随着计算机和人工智能技术的快速发展，视频处理领域也得到了很大的发展。

视频帧预测是视频处理中的一个重要任务，它可以用于视频编解码、视频超分辨率重建、视频编辑等多个领域。

而基于时空建模的视频帧预测模型正是近年来备受关注的一个研究领域。

基于时空建模的视频帧预测模型通过学习视频序列的时空特征来预测未来帧的内容，相比传统的预测方法，这种模型能够更准确地捕捉到视频序列中的复杂时空信息，从而获得更好的预测效果。

在本文中，我们将探讨基于时空建模的视频帧预测模型的原理、研究现状以及未来发展方向。

基于时空建模的视频帧预测模型利用了视频序列中时空信息的相关性，通过学习视频序列之间的时空特征来实现对未来帧内容的预测。

其原理可以简要概括为以下几个步骤：1. 时空特征提取：模型需要学习视频序列中的时空特征，包括帧间的时序关系和像素间的空间关系。

这通常可以通过卷积神经网络（CNN）和循环神经网络（RNN）等深度学习模型来实现。

2. 特征融合与编码：学习到的时空特征需要被合理地融合和编码，以便模型能够更好地理解视频序列中的信息。

这一过程通常需要设计合适的特征融合模块和编码器结构。

3. 预测与重构：模型利用学习到的时空特征进行未来帧的预测和重构。

这一过程可以利用卷积神经网络等模型来实现，以便生成高质量的预测帧。

基于时空建模的视频帧预测模型是一个备受关注的研究领域，在近年来取得了许多进展。

研究者们提出了许多不同的模型架构和方法，以实现更好的视频帧预测效果。

一些研究工作提出了利用卷积神经网络和循环神经网络相结合的深度学习模型来进行视频帧预测。

这些模型能够较好地捕捉视频序列中的时空信息，并实现对未来帧内容的有效预测。

一些研究工作还利用生成对抗网络（GAN）等模型来优化视频帧的质量和真实感。

一些研究者还提出了一些新的技术和思路，以进一步提高基于时空建模的视频帧预测模型的性能。

一些研究工作提出了利用光流信息来增强模型对帧间时序关系的建模能力；一些研究工作还推动了基于迁移学习和增强学习等方法的应用，以加速模型的训练和提高预测效果等。

利用空域和时域信息自动分割MPEG-4视频对象
鲁照华;李华;孟伟
【期刊名称】《天津大学学报》
【年(卷),期】2004(037)005
【摘要】从视频序列中分割出视频对象是实现基于内容压缩编码方法的关键.该文提出了利用空域和时域信息实现MPEG-4视频对象的自动分割方法,利用相邻两帧的帧差和当前帧的纹理、颜色信息及面部定位、梯度滤波等技术,实现目标的初始化,再利用快速Hausdorff距离法跟踪目标.处理结果表明,该方法对处理相对静止的头肩序列图像具有较强的稳定性,处理速度较快,能取得较好的分割效果.
【总页数】4页(P410-413)
【作者】鲁照华;李华;孟伟
【作者单位】天津大学电子信息工程学院,天津,300072;天津大学电子信息工程学院,天津,300072;天津大学电子信息工程学院,天津,300072
【正文语种】中文
【中图分类】TN919.81
【相关文献】
1.一种融合时域和空域信息的运动目标分割新方法 [J], 刘天明;戚飞虎;詹翊强
2.运动法自动分割MPEG-4帧视频对象(VOP) [J], 夏金祥;鲍乐群;黄顺吉
3.基于时空域信息的视频对象分割算法 [J], 张阳;李家兵;符茂胜;罗斌
4.利用浮点图像对视频对象进行自动分割 [J], 魏冬梅;张之超;李海腾
5.基于时空域的自动视频对象分割算法 [J], 程淑红;胡春海
因版权原因，仅展示原文概要，查看原文内容请购买。

基于时空Transformer的遥感视频目标跟踪基于时空Transformer的遥感视频目标跟踪摘要：随着遥感技术的迅速发展，遥感视频目标跟踪成为研究的热点之一。

传统的目标跟踪算法在处理大尺度、遥感视频时面临挑战，因此需要一种新的、高效的算法来解决这一问题。

本文提出了一种基于时空Transformer的遥感视频目标跟踪方法，通过利用Transformer得到的时空上下文关系，以及编码器-解码器结构的引入，提高了目标跟踪的准确性和鲁棒性。

一、引言遥感技术具有广阔的应用前景，尤其在环境监测、农业灾害预警、城市规划等方面发挥着重要作用。

遥感视频目标跟踪可以对遥感图像中的感兴趣目标进行连续追踪，从而提供重要的信息支持。

然而，由于遥感图像通常具有大尺度、复杂背景、低分辨率等特点，传统的目标跟踪算法在遥感视频中往往效果不佳。

因此，研究一种适应遥感视频目标跟踪的新算法具有重要意义。

二、相关工作近年来，目标跟踪领域出现了一些新的方法，比如深度学习方法和Transformer方法。

深度学习方法通过神经网络学习目标的表征，可以有效地进行目标跟踪。

然而，在处理大尺度、遥感视频时，深度学习方法往往受限于计算资源和数据量的问题。

Transformer方法作为一种新兴的序列建模方法，可以捕捉目标在时空上的关系，具有良好的表现。

因此，我们将基于Transformer的目标跟踪方法应用于遥感视频中，希望能够提高目标跟踪的准确性和鲁棒性。

三、方法本文提出了一种基于时空Transformer的遥感视频目标跟踪方法。

该方法首先将遥感视频分为多个时序帧，然后通过一个编码器-解码器结构对每个时序帧进行特征提取。

编码器利用Transformer模块对时序帧进行编码，提取时空上下文信息。

解码器根据编码器的输出进行目标跟踪并预测目标的位置。

将编码器的输出和解码器的输出进行融合，得到最终的目标跟踪结果。

四、实验结果为了验证所提出算法的有效性，我们在常见的遥感视频数据集上进行了实验。

一种具有可分级转码能力的无线视频鲁棒传输方法
钱团结;孙军;苏鹏程;解蓉;王嘉
【期刊名称】《上海交通大学学报》
【年(卷),期】2006(40)9
【摘要】结合空时正交频分复用(OFDM)和转换编码技术,提出一种无线衰落信道下具有可分级转码能力的鲁棒视频传输方法.该方法可将高质量的MPEG-2压缩视频转换为低码率、低分辨率H.264可分级码流,以满足网络带宽和终端设备显示的要求.同时,考虑分级码流的重要性,转码输出的可分级码流经过分层空时编码的OFDM系统实现不对等保护传输.实验结果表明:在典型的随机突发错误的无线环境下,本文可分级转码能力的视频传输系统性能优于非分级转码的视频传输系统.【总页数】6页(P1511-1515)
【关键词】可分级转码;空时码;正交频分复用
【作者】钱团结;孙军;苏鹏程;解蓉;王嘉
【作者单位】上海交通大学图像通信与信息处理研究所
【正文语种】中文
【中图分类】TN919
【相关文献】
1.基于场景模型的视频无线信道鲁棒传输 [J], 周有喜;肖嵩;吴成柯
2.无线多媒体电子商务系统中视频传输的鲁棒性 [J], 葛静燕;黄培清;王东华
3.一种具有可分级转码能力的空时OFDM视频传输方法 [J], 钱团结;孙军;解蓉;苏
鹏程;王嘉
4.一种鲁棒灵活的非平衡多描述视频编码和传输方案 [J], 李彬;黄峰;孙立峰;杨士强
5.一种联合速率控制和缓冲管理的VBR视频鲁棒传输方法 [J], 张源海;李凯慧;许长桥;孙利民
因版权原因，仅展示原文概要，查看原文内容请购买。

基于LBP核密度估计的HEVC运动物体分割算法周巧娣;刘松茹;蒋洁【摘要】针对相对运动缓慢的目标物体在低分辨率视频中分割精度不高的问题,结合高效视频编码(HEVC)压缩码流信息,提出了一种基于局部二值模式(LBP)核密度的运动物体分割方法.首先从视频码流中得到初始运动矢量和块划分信息,初始运动矢量经预处理得到稳定的运动矢量,再利用块信息增强运动矢量区域的可信度,然后采用LBP对运动矢量区域进行特征提取,最后结合核密度估计方法进行背景建模,分割图像并得到运动目标物体.使用多个标准序列进行对比测试实验,结果表明,提出的算法有效提高了相对运动缓慢的目标物体在低分辨率视频图像中的分割精度,综合评价指标的平均值达到81.70％,相比于常用的视频分割方法有较大的提高;对于高分辨率视频图像,其综合评价指标的平均值也较高.【期刊名称】《杭州电子科技大学学报》【年(卷),期】2018(038)003【总页数】6页(P7-12)【关键词】HEVC;运动矢量;LBP;核密度估计【作者】周巧娣;刘松茹;蒋洁【作者单位】杭州电子科技大学电子信息学院 ,浙江杭州310018;杭州电子科技大学电子信息学院 ,浙江杭州310018;杭州电子科技大学电子信息学院 ,浙江杭州310018【正文语种】中文【中图分类】TP391.40 引言在银行、地铁站、学校等监控场景中，往往通过对监控视频序列中相对运动缓慢的物体进行分割来实现目标的识别和跟踪。

但是这些场景中，运动物体识别率的高低很大程度上取决于物体的位置、光照和天气条件以及背景复杂程度等因素。

同时，有限的数据存储空间、不完善的传输技术和设备等因素也导致获得的视频分辨率较低。

目前，视频分割领域的研究多基于图像背景复杂、运动模式多样等情况，而对于运动相对缓慢的物体分割的研究较少。

局部二进制模式(Local Binary Patterns，LBP)算子及其变体在纹理图像检索和分类中扮演重要角色[1]，如文献[2]提出了一种从偏振图像中提取LBP特征的方法，将LBP特征与颜色特征结合形成新的特征空间。

基于HOSVD和TV的动态背景下的运动目标提取徐联微;杨晓梅【摘要】为将动态背景从提取的运动目标中分离出来,提出一种基于高阶奇异值分解(HOSVD)和全变分(TV)的运动目标提取方法.将观测视频表示为张量,将其视为低秩的平稳背景、稀疏且在时间和空间上连续的运动目标、更加稀疏的动态背景3个部分之和,用TV正则项约束运动目标,建立动态背景下的运动目标提取模型,用交替方向乘子法(ADMM)求解该最小化约束问题.实验结果表明,在动态背景情况下,该方法相对于其它两种经典算法能更好克服动态背景带来的干扰,提取运动目标准确度更高.%To separate the dynamic background parts from moving object,an approach of moving object extraction based on highorder singular value decomposition (HOSVD) and total variation (TV) was proposed.The observed video was characterized as a tensor and regarded as a combination of three portions,including a low-rank static background,a sparse foreground with spatial and temporal continuity as well as a sparser dynamic background.The TV regularization was used to constrain moving object and the moving object extraction model for the dynamic backgrounds was established.The alternating direction method of multipliers (ADMM) was employed to solve this constrained minimization problem.In the case of dynamic backgrounds,compared with other two methods,experimental results show the proposed method can better overcome the interference caused by dynamic backgrounds and more accurately extract the moving objects.【期刊名称】《计算机工程与设计》【年(卷),期】2017(038)004【总页数】6页(P1045-1050)【关键词】动态背景;高阶奇异值分解;全变分;运动目标提取;张量;低秩;稀疏;交替方向乘子法【作者】徐联微;杨晓梅【作者单位】四川大学电气信息学院,四川成都610065;四川大学电气信息学院,四川成都610065【正文语种】中文【中图分类】TP391.41运动目标的提取是目标跟踪[1]、图像分割[2]、行为识别[3]、场景理解和增强现实[4,5]等的基础，在计算机视觉和模式识别领域扮演了极其重要的角色。

一种基于水平集的运动视频对象分割算法
陆悌亮;龚声蓉
【期刊名称】《微电子学与计算机》
【年(卷),期】2007(24)7
【摘要】视频对象的分割是基于内容的视频处理的重要组成部分。

提出并实现了一种基于水平集的运动视频对象分割算法。

算法通过视频帧间的亮度差值提取初始轮廓曲线,将该曲线作为水平集算法的初始零水平集,采用窄带水平集方法演化曲线,得到最终的分割结果。

实验表明该算法简单高效,具有很好的分割效果。

【总页数】3页(P105-107)
【关键词】水平集;视频分割;曲线演化;亮度差
【作者】陆悌亮;龚声蓉
【作者单位】苏州大学计算机科学与技术学院
【正文语种】中文
【中图分类】TP31
【相关文献】
1.一种基于区域Gibbs势能函数的视频运动对象分割算法 [J], 包红强;张兆扬
2.一种有效的基于时空信息的视频运动对象分割算法 [J], 鲁梅;卢忱;范九伦
3.一种新的基于吉布斯随机场的视频运动对象分割算法 [J], 刘龙;韩崇昭;刘丁;梁盈富
4.一种基于运动背景的视频对象分割算法 [J], 张庆利;张兆扬
5.一种基于内容的快速视频运动对象分割算法 [J], 倪峰;龚声蓉;沈项军
因版权原因，仅展示原文概要，查看原文内容请购买。

基于鲁棒高阶条件随机场的视频自动分割程婷婷;郭立君;黄元捷【摘要】针对交互式分割方法存在用户标注繁琐和过分割现象,以及仅考虑二元项不能获得图像中准确的物体边界等问题,结合鲁棒高阶条件随机场,提出一种视频自动分割方法.采用基于超像素显著性特征的分割方法对视频初始帧进行自动分割,其结果作为初始化种子建立模型.根据颜色信息设计高斯混合模型,基于纹理、形状等特征,利用联合Boosting算法训练Jointboost强分类器模型,通过条件随机场提高分割准确度.引入基于超立体像素的高阶项,增加像素与区域的关联,提高分割边界的平滑度.实验结果表明,该方法明显地提高了分割效果.【期刊名称】《计算机工程》【年(卷),期】2015(041)007【总页数】8页(P261-268)【关键词】视频自动分割;高阶势;超立体像素;条件随机场;双模型融合;特征融合【作者】程婷婷;郭立君;黄元捷【作者单位】宁波大学信息科学与工程学院,浙江宁波315211;宁波大学信息科学与工程学院,浙江宁波315211;宁波大学信息科学与工程学院,浙江宁波315211【正文语种】中文【中图分类】TP391中文引用格式：程婷婷，郭立君，黄元捷.基于鲁棒高阶条件随机场的视频自动分割［J］.计算机工程，2015，41（7）：261⁃268.英文引用格式：Cheng Tingting，Guo Lijun，Huang Yuanjie.Automatic Video Segmentation Based on Robust Higher Order Conditional Random Field［J］.Computer Engineering，2015，41（7）：261⁃268.视频分割在计算机视觉领域具有广泛应用，包括目标检索、视频压缩、智能监控等。

近年来，视频分割迅速发展，主要分为交互式分割［1⁃4］和自动分割［5⁃7］。

前者一般指根据用户手动标记的若干前景和背景像素建立模型以实现分割的方法，后者主要指基于时空特征聚类的分割方法和自动获取关键对象的分割方法。

专利名称：一种视频序列中运动物体的分割方法专利类型：发明专利
发明人：鲁照华,叶云,刘继兴,吴畏
申请号：CN200410077709.8
申请日：20041230
公开号：CN1798338A
公开日：
20060705
专利内容由知识产权出版社提供
摘要：本发明属于一种视频序列中运动物体的分割方法。

为了克服物体运动快慢因素的影响，本方法包括如下步骤：(a)求取当前帧与前一帧图像的帧差图像；以该帧差图像中各个像素点为中心开一个N*N大小的窗口，利用(见右式)三式求得一二值运动图像，该二值运动图像经过填充后得到一填充二值图像；(b)求取当前帧的边缘图像；将该边缘图像的所有边缘点中对应于填充二值图像内f＝255的像素所构成的集合E，同经过形态滤波的上述填充二值图像的边缘像素集合E根据(见上式)形成初始化模型O；(c)根据已得到的若干帧差图像和下一帧图像的分析结果，对下一帧图像进行模型更新。

申请人：中兴通讯股份有限公司
地址：518057 广东省深圳市南山区高新技术产业园科技南路中兴通讯大厦A座6层
国籍：CN
代理机构：中原信达知识产权代理有限责任公司
代理人：樊卫民
更多信息请下载全文后查看。

专利名称：基于时空记忆信息的视频实例分割方法和分割装置专利类型：发明专利
发明人：周翊民,马壮
申请号：CN202111581049.7
申请日：20211222
公开号：CN114241388A
公开日：
20220325
专利内容由知识产权出版社提供
摘要：本发明公开了一种基于时空记忆信息的视频实例分割方法和分割装置。

视频实例分割方法包括：获取视频中当前帧图像的待分割实例的查询键特征图和查询值特征图以及各幅记忆帧图像中待分割实例的记忆键特征图和记忆值特征图；计算各幅记忆帧图像中待分割实例的记忆键特征图在进行注意力匹配时的权重值；按照从大至小的顺序从所有权重值选出预定数目的权重值作为权重系数；根据各个权重系数、各个权重系数对应的记忆帧图像的记忆键特征图和记忆值特征图得到具有加权时空信息的全局特征图；根据全局特征图、查询键特征图和查询值特征图得到当前帧图像的实例分割结果。

该方法可以充分利用记忆帧图像的历史信息，提高了分割结果的鲁棒性。

申请人：中国科学院深圳先进技术研究院
地址：518055 广东省深圳市南山区深圳大学城学苑大道1068号
国籍：CN
代理机构：深圳市铭粤知识产权代理有限公司
更多信息请下载全文后查看。

基于时空信息特征融合的视频指纹算法单礼岩; 李新伟【期刊名称】《《计算机工程》》【年(卷),期】2019(045)008【总页数】7页(P260-265,274)【关键词】视频指纹; 时空切片; 关键帧; 特征融合; Gabor变换; 鲁棒性【作者】单礼岩; 李新伟【作者单位】河南理工大学电气工程与自动化学院河南焦作454000; 河南省高等学校控制工程重点学科开放实验室河南焦作454000【正文语种】中文【中图分类】TP391.410 概述视频指纹是采用特定的方法和技术从原始视频数据中提取的简短数据,也被称作视频摘要、视频哈希、视频基因等[1]。

视频指纹可用于互联网中多媒体数据的版权保护、视频监控计数、非法内容检测和视频推荐等。

设计视频指纹算法的主要目的是减小视频数据存储空间和提高视频检索效率,因此视频指纹的算法通常需要满足鲁棒性、独特性、紧凑性3个方面的特性要求。

鲁棒性表示原始视频与其拷贝视频指纹码之间的相似程度,其要求视频经过一系列失真变换后的指纹与原始指纹保持较好的相似度,在指纹匹配时能保持较高的检测正确率。

独特性表示不同视频指纹之间的差异程度,指纹数据应随着视频数据的不同而存在明显差异,进而在指纹匹配时能具有较低的误警率。

紧凑性描述指纹码的长度,在满足前两者的基础上,指纹码越短越好,可从根本上提高匹配效率。

通常紧凑性与鲁棒性、独特性相矛盾,因此如何平衡三者性能是一个值得研究的课题。

目前对于视频特征提取的算法主要分为 2类[2]。

一类算法在视频帧级别上选取关键帧,然后对关键帧进行特征提取,生成视频指纹。

此类算法的主要思想是通过提取视频关键帧降低视频数据冗余。

早期大量传统的图像特征提取方法被用于关键帧的特征提取,例如文献[3]使用的颜色直方图及其改进算法,文献[4-5]使用的尺度不变特征变换(Scale Invariant Feature Transform,SIFT)算法,还有其他的图像特征提取方法[6-7]都是此类的经典算法,但这些算法应用到视频上就丢失了视频的时间信息。

视频序列图像中运动对象分割综述
于金霞;陈现查;汤永利
【期刊名称】《微计算机信息》
【年(卷),期】2010(026)021
【摘要】按照算法应用视频信息的不同,把视频序列的分割方法分为六种,讨论了各种方法的基本算法,并对他们的性能从算法的计算的复杂度、实时性及鲁棒性方面进行了对比和评价.
【总页数】3页(P11-13)
【作者】于金霞;陈现查;汤永利
【作者单位】454003,河南焦作,河南理工大学计算机科学与技术学院;210003,江苏南京,南京邮电大学江苏省图像处理与图像通信重点实验室;454003,河南焦作,河南理工大学计算机科学与技术学院;454003,河南焦作,河南理工大学计算机科学与技术学院;100084,北京,清华大学计算机科学与技术系
【正文语种】中文
【中图分类】TP24
【相关文献】
1.基于信息融合的视频序列图像中运动目标分割的研究 [J], 谢敏;黄贤武;仲兴荣;王加俊
2.一种视频序列中的运动对象自动分割算法 [J], 张晓燕;赵荣椿
3.一种简单快速的多媒体视频序列中运动对象分割方法 [J], 李庆涛;张有志;熊春彬;韩亚伟
4.视频序列图像中运动对象分割综述 [J], 邓玉春;姜昱明;张建荣
5.一种视频序列图像中运动目标的分割算法 [J], 王成儒;刘豫
因版权原因，仅展示原文概要，查看原文内容请购买。

基于视频六维分布模型的运动对象分割
马晓凯;黎绍发
【期刊名称】《计算机工程》
【年(卷),期】2007(33)10
【摘要】视频运动对象检测是智能安全监控的基本问题.考虑视频的时间空间分布规律,该文构造了视频六维分布模型以进行运动对象分割.在时间维上利用在线高斯混合模型对背景进行更新,并且计算像素颜色差异.在空问维上利用纹理特征描述像素点之间结构关系,提高了对光线变化和阴影等环境变化的抗干扰能力.实验结果表明该算法是实用有效的.
【总页数】3页(P227-229)
【作者】马晓凯;黎绍发
【作者单位】华南理工大学计算机科学与工程学院,广州,510640;华南理工大学计算机科学与工程学院,广州,510640
【正文语种】中文
【中图分类】TP391.4
【相关文献】
1.基于运动背景的自适应视频对象分割算法 [J], 王小平
2.基于SVM和GMM的视频运动对象分割算法 [J], 张素文;张陶;蒋楠
3.基于高斯混合模型的视频运动对象自动分割算法 [J], 李新仕;王天江;刘芳
4.一种有效的基于时空信息的视频运动对象分割算法 [J], 鲁梅;卢忱;范九伦
5.基于TMS320C6416的视频运动对象分割 [J], 陈军波;肖文鲲
因版权原因，仅展示原文概要，查看原文内容请购买。