下载文档原格式
1 引言高效视频编码（HEVC）作为新一代标准，沿用了上一代标准H.264/ AVC的编码框架[1]。
但是针对不同部分，H.265/HEVC都分别提出了新技术。
比如H.264/AVC是以宏块作为编码单元，而在H.265/HEVC中采用了编码树单元（CTU），其往下划分的结构有编码单元（ CU）、预测单元（PU）和变换单元（TU）[2]。
CU的尺寸不再局限于16×16，而可以根据深度划分，从64×64分割到8×8大小。
而在实际编码过程中，计算量最大的是帧间预测部分，这是由于视频图像时间冗余大于空间冗余的特性所造成的。
在模式选择的整个迭代过程中，以运动估计为例，不同尺寸的PU块都需要经过搜索、插值来找到各自最佳的匹配块。
这是一个繁琐且非常耗时的过程。
目前已有很多学者对帧间预测模式选择提出了一些简化算法，文献[3]提出了一种扩展和迭代搜索（S&IS）以及低密度和迭代搜索（LD&IS）的运动估计算法，这种方式因为在遍历每个PU时具有规则的周期数，所以在硬件电路的设计上更加友好，但是运动估计所消耗的周期数受视频序列特点影响大，如果周期数较为固定，可能会对编码性能造成一定影响。
文献[4]提出了用基于运动矢量相似性的运动估计快速终止算法。
利用率宏块内子块运动矢量一致的特点，通过计算排除掉不可能的划分方式，从而达到提前终止运动估计的目的。
文献[5]也是采用基于划分深度的先粗选再细选的搜索方式，但是采用的搜索步长、下采样比例以及搜索方式均和本文不同，且最终结果对编码性能造成比特率增加较大。
文献[6]采用了一种快速中心搜索算法，通过发现一帧图像中，静止宏块、慢速运动宏块和快速运动宏块的比例关系，改变全搜索的遍历顺序，并设置提前终止规则，达到快速中心搜索的目的。
文献[7]采用了一种易于硬件实现的整像素运动估计搜索方式，使用并行聚类树搜索方式同时处理各个PU，并在搜索之后将相同MV候选的PU汇聚成一组，下一次的搜索将以这些组为单位进行统一搜索。
运动估计算法简述标签：搜索运动估计预测矢量算法分类：探索H.2642007-02-03 13:59马上要做运动估计算法，重点整理了一下这方面的内容。
帧间预测编码可以简单地分为单向预测、双向预测、多帧预测。
而H.264标准采用了多帧预测，参考帧可达5—15帧。
运动补偿采用较多的有运动矢量估计[重叠块运动补偿(OBMC)]、全局运动估计、基于象素点的运动估计、基于区域的运动估计、基于网格的运动估计。
1.单向预测原理：将重建帧和参考帧送运动参数估值器(ME)比较得到运动矢量，再将运动矢量和重建帧送到运动补偿预测器中，得预测帧Ft^(x,y)。
Ft^(x,y)=Ft(x+i,y+j) 其中(i,j)即MV2.基于块匹配算法的运动矢量估计简单地说就是以块为单位分配运动矢量。
在前一帧搜索区(M+2Wx,M+2Wy)内找到与当前帧块相匹配的块，位移d(i,j)即为运动矢量。
常用的块匹配准则有：均方误差(MSE)最小准则，绝对误差均值(MAD)最小准则、NCCF准则。
搜索方法：a.穷尽搜索计算(2Wx+1)×(2Wy+1)个MAD值，全局最优，计算量大。
b.快速搜索(1)分层的和多分辨率的快速块匹配方法(2)基于连续消除的快速块匹配方法(3)固定搜索模式的快速块匹配方法(e.g.三步搜索法)(4)基于时空相关性和视觉特性的快速块匹配方法3.重叠块运动补偿(OBMC)为解决方块效应特别是运动矢量估计不准确或物体运动不是简单的平移运动以及一个块中有多个不同物体运动时的问题，采用OBMC方法，即一个像素的预测不仅基于其所属块的MV估计，还基于相邻块的MV估计。
4.运动估计•运动表示法：(1)基于块的运动表示法帧间宏块分割区域大小的选择：大分区，表征MV的选择和区分割类型的比特数较少，但运动压缩的冗余度较高，运动补偿残差在多细节区域能量很高。
小分区，运动补偿残差能量较低，但需要较多的表征MV的选择和区分割类型的比特数，运动压缩的冗余度较低。
H.264随着HDTV的兴起，H.264这个规范频频出现在我们眼前，HD-DVD和蓝光DVD均计划采用这一标准进行节目制作。
而且自2005年下半年以来，无论是NVIDIA还是ATI都把支持H.264硬件解码加速作为自己最值得夸耀的视频技术。
H.264到底是何方“神圣”呢？什么是H.264？H.264是一种高性能的视频编解码技术。
目前国际上制定视频编解码技术的组织有两个，一个是“国际电联（ITU-T）”，它制定的标准有H.261、H.263、H.263+等，另一个是“国际标准化组织（ISO）”它制定的标准有MPEG-1、MPEG-2、MPEG-4等。
而H.264则是由两个组织联合组建的联合视频组（JVT）共同制定的新数字视频编码标准，所以它既是ITU-T的H.264，又是ISO/IEC的MPEG-4高级视频编码（Advanced Video Coding，AVC），而且它将成为MPEG-4标准的第10部分。
因此，不论是MPEG-4 AVC、MPEG-4 Part 10，还是ISO/IEC 14496-10，都是指H.264。
H.264最大的优势是具有很高的数据压缩比率，在同等图像质量的条件下，H.264的压缩比是MPEG-2的2倍以上，是MPEG-4的1.5～2倍。
举个例子，原始文件的大小如果为88GB，采用MPEG-2压缩标准压缩后变成3.5GB，压缩比为25∶1，而采用H.264压缩标准压缩后变为879MB，从88GB到879MB，H.264的压缩比达到惊人的102∶1！H.264为什么有那么高的压缩比？低码率（Low Bit Rate）起了重要的作用，和MPEG-2和MPEG-4 ASP等压缩技术相比，H.264压缩技术将大大节省用户的下载时间和数据流量收费。
尤其值得一提的是，H.264在具有高压缩比的同时还拥有高质量流畅的图像。
H.264算法的优势H.264是在MPEG-4技术的基础之上建立起来的，其编解码流程主要包括5个部分：帧间和帧内预测（Estimation）、变换（Transform）和反变换、量化（Quantization）和反量化、环路滤波（Loop Filter）、熵编码（Entropy Coding）。
mctf的原理
MCTF，即运动补偿时域滤波（Motion-Compensated Temporal Filtering），是一种视频编码和图像处理中常用的技术。
它主
要用于减少视频序列中的运动伪影和噪音。
MCTF的原理基于以下几个步骤：
1. 运动估计：首先，通过比较图像帧之间的像素值来估计图像帧之间的运动矢量。
运动估计可以通过块匹配算法或光流估计算法来实现。
2. 运动补偿：根据运动估计的结果，将当前帧与之前的参考帧对齐，以产生一个用于表示运动差异的残差帧。
3. 帧间滤波：对残差帧进行时域滤波，以减少运动伪影和噪音。
这可以通过各种滤波器（如均值滤波器、中值滤波器、自适应滤波器等）来实现。
4. 补偿重建：将滤波后的残差帧与参考帧相加，以重建原始帧。
MCTF的原理在视频编码中起到了关键作用。
通过对运动矢量进行编码，以及通过滤波来减少运动伪影和噪音，可以有效地提高视频的压缩效率和视觉质量。
这使得视频能够在较低的码率下保持较高的质量。
此外，MCTF还可以用于视频增强和去噪等图像处理领域。
宁波大学学报（理工版）首届中国高校优秀科技期刊奖JOURNAL OF NINGBO UNIVERSITY ( NSEE ) 浙江省优秀科技期刊一等奖一种快速运动矢量场搜索的块匹配运动估计算法摘要: 运动估计作为实时视频编解码中最重要最耗时的部分，大量的研究都是通过减少搜索点数来降低计算量。
而块匹配算法以其简单、高效，便于硬件实现等优点被使用到运动估计中。
针对这一特点，提出一种基于块匹配的快速运动矢量场搜索算法（FMVS）。
FMVS算法通过将视频序列时间相关性与空间相关性相结合，提出的一种新算法。
该算法包括以下五部分：预测搜索起点、动态阈值进行静止块判断、方向性类型判定、运动类型判定及混合模板运用。
对视频标准测试序列的实验结果表明,该算法较MVFAST算法,搜索点数降低30%-50%，对于运动复杂的视频序列峰值信噪比提高0.21dB。
关键词: 运动估计；块匹配算法；运动矢量场；（矢量场自适应搜索）MVFAST；峰值信噪比中图分类号: TP393 文献标识码: A 文章编号:对于视频序列图像，由于相连帧之间存在很大的时间相关性，通过减少时间冗余，可以提高视频编码的效率。
而基于块匹配算法以其简单、高效，便于硬件实现等优点，已经被许多视频编码标准所采纳。
运动估计算法占整个编码器的60%~80%的运算量，很大程度决定编码器的效率。
在块匹配运动估计算法中，全搜索算法精度最高，但是运算量也最大大。
为了解决运算量大，产生了很多快速搜索算法。
一类是快速算法是按照某种搜索策略只对搜索窗口的相关参考点进行计算；如一些经典算法3步法[1]，菱形搜索算法[2]，六边形搜索算法[3]。
菱形搜索算法，六边形搜索算法为了避免局部最优，采用大的搜索模板，但带来了搜索点数的大量增加；而小菱形搜索算法采用小菱形减少搜索点数，但是带来局部最优的问题。
另一类快速搜索算法是利用运动矢量相关性来预测当前运动矢量。
此类算法考虑时域或空域相关预测当前搜索起点，性能优于前一种。
H.265H.265是ITU-T VCEG正在规划中的视频编码标准，期望在2008-2010期间推出。
其目标是给音视频服务提供更好的视频编码方法。
音视频服务包括会话式和非会话式音视频服务。
其中会话式音视频服务包括视频会议和可视电话，非会话式音视频服务包括流媒体、广播、文档下载、媒体存储/播放和数字摄像机。
H.265标准围绕着现有的视频编码标准H.264，保留原来的某些技术，同时对一些相关的技术加以改进。
新技术使用先进的技术用以改善码流、编码质量、延时和算法复杂度之间的关系，达到最优化设置。
视频编码标准的发展会更加适应各种类型的网络，比如，internet、LAN、Mobile、ISDN、GSTN、H.222.0、NGN等网络。
具体的研究内容包括：提高压缩效率、提高鲁棒性和错误恢复能力、减少实时的时延、减少信道获取时间和随机接入时延、降低复杂度等。
传输码率要求和图像解析度H.263可以1.3~1.8Mbps的传输速度实现标准清晰度广播级数字电视（符合CCIR601、CCIR656标准要求的720*576）；而H264由于算法优化，可以低于1Mbps 的速度实现标清数字图像传送；H265相比h264进步更为明显，可以实现利用1~2Mbps的传输速度传送720P（分辨率1280*720）普通高清音视频传送。
H.265会有哪些进展？在运动预测方面，下一代算法可能不再沿袭“宏块”的画面分割方法，而可能采用面向对象的方法，直接辨别画面中的运动主体。
在变换方面，下一代算法可能不再沿袭基于付立叶变换的算法族，有很多文章在讨论，其中提请大家注意所谓的“超完备变换”，主要特点是：其MxN的变换矩阵中，M大于N，甚至远大于N，变换后得到的向量虽然比较大，但其中的0元素很多，经过后面的熵编码压缩后，就能得到压缩率较高的信息流。
关于运算量，H.26?的压缩效率比MPEG-2提高了1倍多，其代价是计算量提高了至少4倍，导致高清编码需要100GOPS的峰值计算能力。
第32卷 第1期光电工程V ol.32, No.1 2005年1月 Opto-Electronic Engineering Jan, 2005文章编号：1003-501X (2005) 01-0067-04根据帧间运动特性的变尺寸宏块运动估计王晓东，刘文耀，朱昊，张晓波(1. 天津大学精密仪器与光电子工程学院，天津 300072；2. 天津大学光电信息技术科学教育部重点实验室，天津 300072 )摘要：提出了一种新的用于视频编码的变尺寸宏块运动估计方法。
该方法通过粗尺度16×16的当前块和邻域块运动矢量之间的差值S判断场景运动的复杂度，再根据差值S和当前矢量，决定宏块尺寸。
场景运动平稳的部分采用16×16的宏块，复杂的部分采用8×8或4×4的宏块。
实验表明，低码率条件下，采用普通运动补偿算法，该变尺寸宏块运动估计方法的预测帧的平均PSNR值比常规的固定尺寸块运动估计约提高1.1-2.7 dB，并显著降低了方块效应。
关键词：视频编码；变尺寸宏块；运动图像；运动补偿中图分类号：TN919.8 文献标识码：AVariable size macroblocks motion estimationaccording to interframe motion behaviorWANG Xiao-dong, LIU Wen-yao, ZHU Hao, ZHANG Xiao-bo(1. College of Precision Instrument and Opto-Electronic Engineering, TianjinUniversity,Tianjin 300072, China; 2. Key Laboratory of Opto-Electronic Information Technical Science(TianjinUniversity), Ministry of Education, Tianjin 300072, China )Abstract: A new variable size macroblocks motion estimation method used for video coding is proposed. With this method, the complexity of scene motion is estimated by the difference S between 16×16 (coarse scale) current block and adjacent block vectors, then the macroblock size is determined according to difference S and current vector. The macroblock (16×16) is adopted for the parts with smooth scene motion. 8×8 or 4×4 macroblocks are adopted for the complex scene motion parts.Experiments show that under low bit-rate and adopting a common motion compensation algorithm, the average PSNR value of the predictive frame with variable size macroblock motion estimation method is improved for 1.1~2.7dB better than that of the conventional fixed size block motion estimation, and the block border effect is significantly reduced.Key words: Video coding；Various size macroblocks；Motion picture；Motion compensation引言新的视频编码标准H.264 /A VC MPEG-4 Part 10由ITU和ISO联合制定[1]，并于2003年3月正式通过。
H.264的性能优于现有H.263和MPEG4等标准，在同等图像质量下，能节省大约40%-60%的码率[2], 并对网络传输提供了更高的支持。
H.264能满足低延时条件下实时通讯应用(如视频电话和视频会议)要求，也能很好地适应没有延时要求的视频服务，例如以视频服务器为基础的视频流式服务。
H.264标准由视频编码层VCL(Video Coding Layer)和网络抽象层NAL (Network Abstraction Layer)组成[2]。
VCL层采用复杂帧内预测和帧间预测，其中帧间预测采用了变尺寸宏块技术和小数精度的运动预测和补偿，预测后的残差进收稿日期：2004-04-06；收到修改稿日期：2004-09-06基金项目：国家863计划资助项目作者简介：王晓东(1976-)，男(汉族)，河北景县人，博士生，从事数字图像处理的研究。
E-mail: wxdsu@; wxdsu123456@光电工程 第32卷 第1期 68行整数变换[3]和熵编码；而NAL 层用于提供网络友好性[4]，使VCL 层编码数据能在不同的网络系统环境下进行最有效的传输。
1 变尺寸宏块运动估计简单介绍新标准H.264主要采用以下四个帧间编码技术：1) 首次采用不同大小和形状的宏块对图像进行分割，宏块类型包括4种宏块(16×16, 16×8, 8×16, 8×8)和4种子宏块(8×8, 8×4, 4×8, 4×4) [2]； 2) 1/4甚至1/8像素精度的运动预测和补偿，不过这样使运动估计的计算量大大增加； 3) 多参考帧预测，匹配块搜索在多个参考帧进行；4) 去方块效应滤波器，H.264标准引入了新的并且复杂去块效应滤波器。
本文对H.264中宏块划分技术进行了研究，给出了一种基于运动分析的宏块划分算法，即首先采用大尺寸16×16宏块进行运动匹配计算，然后根据每一个宏块运动向量和相邻宏块的差异，确定大尺寸宏块是否细分为小尺寸宏块8×8和子宏块4×4。
本文第2节对帧间运动进行了分析，第3节给出了本文的运动估计算法，第4节是算法对比实验。
2 帧间运动分析视频图像运动估计分为两类，一类是基于块匹配的运动估计，另一类是基于光流场的运动估计[5]。
考虑到运算量，视频编码均采用块匹配的运动估计。
刚性物体的运动区域或运动缓慢区域，运动向量之间相关性很高，宏块能取较大值；而柔性物体的运动很复杂，大的宏块运动估计将导致很大的匹配误差，产生显著的方块效应。
图1为采用固定尺寸16×16宏块运动预测后Foreman 和Container 序列的预测帧和相应的运动场图，其中第13帧作为参考帧，第16帧作为锚定帧。
从图1(a)和(b)可以看出，由于人脸区域的运动相当复杂，在预测帧中将产生很大的预测误差，从而产生明显的块边界效应；图1(c)中场景运动简单，采用较大的宏块预测也能产生良好的效果。
根据以上分析，在图像运动复杂区域，应采用较小尺寸的子宏块类型，而在运动简单区域采用大尺寸16×16宏块运动预测，也能获得较好的压缩效果。
3 自适应变宏块尺寸运动估计3.1 宏块定义H.264标准使用七种宏块16×16, 16×8, 8×16, 8×8, 8×4, 4×8, 4×4进行运动估计时，16×16宏块总共需要计算41个运动矢量计算[6]。
考虑到计算复杂性，本文采用16×16, 8×8和4×4三种大小的块进行块匹配运动估计，块匹配准则采用最小绝对误差和MAD [5] 准则。
本文初始宏块大小设为16×16，然后根据当前运动矢量和上下文运动向量相关性以及当前块运动矢量大小确定宏块分解大小。
3.2 宏块分解流程设定初始宏块大小为16×16。
运动矢量X 的范数|| X ||用绝对值定义，|| X ||表征了运动矢量的大小，设当前运动向量为X (x , y )，则|| X ||= | x | + | y |。
与X 相关的上下文运动矢量为Y i (y i 1, y i 2)，其中i=1, 2,…, N 。
本文上下文矢量采用四个邻域块运动矢量，如图2所示。
设8×8宏块细分阈值为T 1，4×4子块细分阈值为T 2，阈值T 为运动显著性阈值。
阈值T 1, T 2和T 应当合适，阈值过大，则残差能量加大，块效应改善不明显； 图1 16×16宏块运动补偿帧和运动场图 Fig.1 The 16×16 macroblock motion compensation frames and motion vectors diagram(a) Foreman 运动补偿 (a) Foreman motion compensation frame (b) Foreman 运动场图 (b) Foreman motion vector diagram (c) Container 运动补偿 (c) Container motion compensation frame(d) Container 运动场图 (d) Container motion vector diagram2005年1月 王晓东 等：根据帧间运动特性的变尺寸宏块运动估计 69阈值变小，块尺寸和残差图像能量随之变小，但运动矢量的数据量增加。
本文T=4，T 1=8，T 2=4。
本文运动估计算法如下。
1) 初始化：采用两步法搜索[7]16×16宏块运动矢量，设置16×16块运动矢量搜索范围为[-15, +16]，8×8和4×4块的搜索范围为[-7, +8]。
2) 对每个16×16宏块的运动矢量X 。
① 计算 || X -Y i ||=| x 1-y i 1 |+| x 2-y i 2 |，S=max( || X -Y i || )，其中i=1, 2, …, 3。
② If (T 1< S ≤T 2 and || X ||>T 1)，则将16×16分成4个8×8宏块；③ 8×8宏块运动矢量搜索中心定为②中的16×16运动矢量位置，分别搜索4个8×8块的运动矢量； ④ If (S >T 2 and ||X ||>T )，则将16×16块分成16个4×4子宏块，搜索中心同③； ⑤ 切换下一个16×16块矢量。
