多视点视频编码框架及关键技术

南京邮电大学学报（自然科学版）　２０１３年　

视点　

视点　Ｖ０　

视点　Ｖ１　

视点　Ｖ２　霍　：Ｐ　Ｉ　ＣＰＰ　ＤＩＤＣＰ　Ｄ阐ｌＰ擎ＤｌＰ　ＤｌＰ　Ｉ　ｌ　Ｐ　画　警　

；　Ｐ　ｐ　。ｊ　Ｊｒｐ　—　ｆ、ｐ　碲ｐ　’ｊ　Ｐ　。ｊ　Ｊｒｐ　’　ｐ　ＪｒＰ　南　向　向　向应　

∈键图像ｌ　非关键图像　ｌ　Ｉ关键图像　

当　图３多视点视频视间预测关系　

图４基于Ｈ．２６４／ＡＶＣ架构的编码框图　１．２．２分布式ＭＶＣ框架　

分布式多视点视频编码（Ｄｉｓｔｒｉｂｕｔｅｄ　ＭＶＣ，ＤＭ—　

Ｖｃ）　是建立在多信源信息编码理论基础上的一种　新的视频编码框架，是分布式编码技术在多视点视频　

中的应用延伸。从分布式视频编码的工作原理可知，　

各视点视频序列通常被分成关键帧（Ｋ帧）和Ｗｙｎｅｒ—　Ｚｉｖ帧（ＷＺ帧），进行编码。图５是一种典型的Ｋ帧　

和ＷＺ帧划分方案，每个视点的关键帧和Ｗｙｎｅｒ—Ｚｉｖ　

帧周期性排列，所有编码帧构成一个图像网格阵列。　ＤＭＶＣ的Ｋ帧采用传统的帧内编码方式，为了减少编　

码端复杂性，ＷＺ帧图像采用简单的Ｓｌｅｐｉａｎ—Ｗｏｌｆ编　码。在解码端，首先将Ｋ帧进行传统的帧内解码，然　

后利用视频视间方向和时间方向的相关性由Ｋ帧图　像估计出ＷＺ帧图像的边信息，同时为了提高重建效　

果，需要利用融合算法将时间边信息和视间边信息进　

一步融合，最终获取重建质量更好的边信息，如图６　所示。ＤＭＶＣ编码可在空间域上或变换域上进行。　

ｔｌ　ｔ２　ｔ３　ｔ４　ｔ５　ｔ６　ｔ７　ｔ８　

一一　．６　

一　一　◆Ｋ＿　一　

一６Ｗ￣６ＷＺ，Ｋ．　蔓　

一　．　？＝　～６ＷＺｒＷＺ＊Ｋ　

一６　．　蔓　．　

图５　ＤＭＶＣ编码帧类型　

：　：需求比特　：　

；ｓｌｅｐｉａｎ—ｗ０ｌｆ编解　需　．；边信息Ｔ　

匿　信息　

时间边信息　望笪皇　全Ｉ１１视间边信息　

ｌ时间边ＩＩ视间边ＩＩ信息生成Ｉ　Ｉ信息生成ｌ　

一个时间域　ｔ视点域　、　ｌ传统帧内Ｉ　ｌ关键帧　Ｉ关键帧　广　ｌ　Ｉ　

图６分布式多视点视频编码框架　．一

　第３期　刘峰等：多视点视频编码框架及关键技术　

上述ＤＭＶＣ架构突破了传统视频编码的束缚，　

采用“独立编码，协助传输、联合解码”策略，通过在　解码端发掘视频信号的相关性进行“帧间预测解　

码”或者多视点视频的“视间联合解码”，从而把具　

有高计算复杂度的运动估计（补偿）、视差估计（补　偿）从编码端移到了解码端，极大地改善了编码端　

对系统资源的需求，是分布式视频编码在多视点视　

频中的一种应用。　１．２．３基于深度信息的ＭＶＣ框架　

ＭＶＣ的另一个研究热点是基于深度信息的多　视点视频编码，也就是说多视点加深度视频（Ｍｕｌｔｉ—　

ｖｉｅｗ　Ｖｉｄｅｏ　ｐｌｕｓ　Ｄｅｐｔｈ，ＭＶＤ）编码　。与上述ＭＶＣ　

编码方案不同之处在于引人了场景与不同视点摄像　机之间的距离信息，即场景深度信息，深度信息也将　

被编码发送到解码端。利用深度信息可在任意位置　

合成高质量的虚拟视点图像，从而能够提供真正的　

立体视频，同时也可满足用户随机选择观看视点的　需求。　

如上所述，在ＭＶＤ编码系统中，与传统的ＭＶＣ　

编码方案相比最大的不同之处是深度信息将和多视　点视频信息一起被传输到解码端，并且考虑到深度　

信息在频域的不同特性，需要采用与多视点视频不　

同的编码方案以保护图像的边缘信息　，同时可以　利用纹理图像的信息来提高深度图的编码效率　，　

当前比较典型的解码方案是通过基于深度图像绘制　技术（Ｄｅｐｔｈ　Ｉｍａｇｅ　Ｂａｓｅｄ　Ｒｅｎｄｅｒｉｎｇ，ＤＩＢＲ）　来生　

成任意视点的虚拟视图。引入深度信息为多视点视　

频编码提供了一种新编码框架，深度信息可提供准　确的视差信息从而可设计更为精确的预测技术，更　

加充分利用视间相关性。目前，深度信息的高效编　码和深度辅助的多视点视频编码已成为视频领域最　

新的研究方向之一。　

２　多视点视频编码的关键技术　

２．１　ＭＶＣ预测技术　

为了在多视点视频系统中提高编码效率以及随　

机访问性能，需要设计合理的预测结构，并采用多种　

预测技术来减少编码帧在时间和和空间上的相　

关性。　２．１．１　ＭＶＣ预测结构　

预测结构是影响视频编码效率、随机读取性能、　

网络传输代价的重要因素，合理的预测结构有利于　

最大程度地消除时空冗余和视点冗余数据，因而在　ＭＶＣ研究中受到广泛关注。　

有代表性的多视点视频编码预测结构有Ｓｉｍｕｌ—　ｃａｓｔ结构¨　、顺序预测结构、基于Ｍ—ｐｉｃｔｕｒｅ的多视　

点编码结构¨　、Ｇｒｏｕｐ．ｏｆ－ＧＯＰ（ＧｏＧＯＰ）结构　副和基　

于分层Ｂ帧的编码结构（Ｈｉｅｒａｒｃｈｉｃａｌ　Ｂ　Ｐｉｃｔｕｒｅ，　

ＨＢＰ）　。基于分层Ｂ帧的视间／时间混合预测结　

构是一种金字塔式结构，顶端为Ｉ帧或Ｐ帧，最底层　

为最低等级的Ｂ帧，每个ＧＯＰ中的Ｂ帧依据预测的　先后次序视作不同的等级，较高等级的Ｂ帧可以继　

续为较低等级的Ｂ帧提供预测参考，如图７所示，　其中Ｂ　层的Ｔ１６帧为当前ＧＯＰ中的关键帧，　帧　

为同一层前一ＧＯＰ中的关键帧，Ｔ１６帧可由　帧　参考预测或者直接对其进行帧内编码得到的；Ｂ，层　

的　帧可由Ｂ０层的　帧和Ｔ１６帧参考预测得　

到；同样Ｂ　层的１－７帧可由低于当前层（Ｂ　层）的已　编码图像Ｔ６帧（Ｂ　层）和　帧（Ｂ，层）参考预测得　

到，其他帧的编码预测类似。在视间方向上，当前编　

码帧可由相邻视点同一时间点的已编码帧进行预测　

编码。时间和视间两个方向上的联合预测构成了　ＪＶＴ选中的ＭＶＣ参考预测结构。　

Ｉ＋————一同一ＧＯＰ分组——————　

图７基于分层Ｂ帧的预测结构　２．１．２　ＭＣＰ和ＤＣＰ联合补偿预测技术　预测技术是指根据预测结构实现各帧预测的方　

法或手段，如单视点视频中采用的前向预测、后向预　测和双向预测技术，预测的过程也就是进行运动估　

计／运动补偿；在多视点视频编码中，除运动估计／运　动补偿预测之外，还增加视间预测，即进行视差估　

计／视差补偿，以及采用运动补偿预测和视差补偿预　

测相结合的联合补偿预测。　（１）ＭＣＰ编码。运动补偿预测是对活动图像　

进行压缩时所使用的一种帧间编码技术。在运动缓　

慢时，相邻帧间的图像内容相差不大，可以采用运动　补偿预测去除这种帧间的时域相关性，ＭＣＰ技术是　

视频编码最为重要的技术之一。

　３０　南京邮电大学学报（自然科学版）　２０１３年　

（２）ＤＣＰ编码。视差补偿预测和运动补偿相　

似，两者都是寻找两帧图像之间的相关性，所不同的　

是，视差补偿预测是在同一时刻由不同视点的摄像　机拍摄所得的两帧图像之间进行的。视差估计正如　

人类双眼观看场景一样，双眼观看图像存在一定的　视差，视差估计要比运动估计复杂的多，运动估计中　

通常只有部分像素点发生移动，而在视差估计中几　

乎所有像素的视差都不为零，除非物体表面离成像　平面很远，视差才可以看作零。因此，研究视差矢量　

以及基于视差矢量的视差补偿预测是多视点视频重　要的研究内容。　

（３）基于ＭＣＰ和ＤＣＰ的联合补偿预测编码。　

联合补偿预测是指联合使用运动补偿预测和视差补　

偿预测，合理组合两种预测图像，并形成最终的预测　图像，其基本思想类似于单视点视频编码中Ｂ帧的　

双向预测模式，如图８所示。联合补偿预测编码充　分利用视点内时域相关性和视问视差相关性，同时　

在两个不同的域上进行预测，然后把预测的结果有　效组合。　

左视点　基本层　

右视点　增强层　Ｐ　

图８　ＭＣＰ和ＤＣＰ联合补偿预测编码　联合补偿预测编码算法如图９所示，ＤＶ表示　

视差矢量，ＭＶ表示运动矢量，当前编码帧的补偿块　由视差补偿块和运动补偿块有效组合得到。　

左视点图像　右视点图像　

图９联合块补偿预测编码示意图　在实际编码中上述ＭＣＰ、ＤＣＰ以及基于两者结　合的编码模式将作为多视点视频３种独立的预测编　

码模式，根据实际场景的运动情况和编码代价来有　

效选择预测，从而提高编码效率。　

２．２　ＤＭＶＣ的边信息生成技术　

ＤＭＶＣ的关键技术就是如何准确估计边信息。　

分布式视频编码中的边信息用于接收端的信道解码　

和重建视频，是对当前ＷＺ帧的预测，相当于传统编　码中对Ｐ帧或Ｂ帧的预测，只是预测是在解码端进　

行的，因此ＤＭＶＣ将编码端的计算复杂度移到了解　

码端。预测精度越高，说明边信息与ＷＺ帧越接近，　经过信道解码后误码率就越低，依据边信息重建的　

视频效果越好。　

多视点分布式视频编码的边信息，可以利用同　

一视点视频序列的时间边信息和不同视点视频序列　

的视间边信息共同生成，或将从不同视点视频图像　进行融合得到更加准确的边信息。　２．２．１时间边信息生成　

有多种产生时间边信息技术，在ＤＭＶＣ中常用　运动补偿内插法（Ｍｏｔｉｏｎ　Ｃｏｍｐｅｎｓａｔｅｄ　Ｉｎｔｅｒｐｏｌａｔｉｏｎ，　

ＭＣＩ）和运动补偿外推法（Ｍｏｔｉｏｎ　Ｃｏｍｐｅｎｓａｔｅｄ　Ｅｘ—　

ｔｒａｐｏｌａｔｉｏｎ，ＭＣＥ）等来生成时间边信息。　（１）ＭＣＩ。ＭＣＩ是将ＷＺ帧的前后两帧作为参　

考帧，通过运动估计和补偿生成时间边信息。文献　［２０］采用了运动补偿内插法实现多视点分布式编　

码系统，结果表明其率失真性能要比平均值内插法　

提高１～４　ｄＢ。文献［２１］提出了一种帧内插方法，　包括了前向运动估计、双向运动估计、空间平滑和最　

终的双向运动补偿等，如图１０所示。该内插方法在　

时间、空间域中充分挖掘了相邻帧的相关性，找到最　接近真实运动场景的运动矢量，生成了更为精确的　

边信息。　

一　镐　Ｊ　

图１Ｏ帧内插框图　（２）ＭＣＥ。ＭＣＥ其原理与ＭＣＩ类似，ＭＣＥ是　

基于前后相邻帧之间运动矢量一致性的假设，首先　

计算前两个时刻已解码重建帧的运动矢量，并线性　外推得到当前帧运动矢量，最后根据最新时刻以解　

码图像进行运动补偿得到当前时刻的插值边信息。　由于ＭＣＥ算法直接利用前一时刻相邻帧的运动矢　

量作为当前时刻的运动矢量，且仅利用前一时刻的　

解码帧作为参考进行外推，故ＭＣＥ算法的预测精度　

比ＭＣＩ算法要低。而且当Ｋ帧之间嵌有多个ＷＺ　

帧时，可能会出现预测精度随预测帧离已解码Ｋ帧　之间距离的增加而骤减的问题，即估计误差向后累　

加扩散。　

上述方法都只利用解码端数据来产生边信息，　

还有一些方法通过在编码端生成少量数据发送到解