图7-20 多模式选择立体视频编码算法
7.5 基于对象的三维编码
• 与二维编码相似,基于对象的三维视频编码 比基于像素的编码更有潜力,能获得更高的 编码效率。基于对象的三维视频编码的基本 原理如图7-21所示.
图7-18 基于对象的三维视频编码结构
7.6 基于模型的三维编码
• 基于模型的三维编码与基于知识的编码非常 类似,适用于场景中的大部分可能对象均已 知的情况。由此可对每个可能的对象建立各 自的模型,编码器不断的检测场景,当发现 已有独立模型的对象时,就对它应用其独立 模型进行处理。
• 对三维视频编码而言,深度感觉是一个非常 重要的信息,人类视觉系统的深度感觉特性 是设计三维视频采集和显示系统的依据。
7.2 立体成像原理
• 上一节讨论了视差的定义和人类视觉系统对 三维视频图像的一些感觉特性,本节讨论视 差和深度的关系,这是三维视频编码的理论 基础之一。
7.2.1 平行摄像机配置
2. 利用视差矢量、运动矢量相关性的快 速估计算法
图7-13 基于视差矢量空间相关性快速算法实验结果 (①为全搜索法结果,②为快速算法结果)
图7-14 视差矢量与运动矢量相关性
7.3.4 视差估计残差图像的编码
1.基于小波变换的立体残差图像编码 2.基于DCT的立体残差图像编码
图7-15 基于小波变换的残差图像编码
1. 基于块的视差估计
• 基于块的视差估计首先把右图划分为适当大 小的块,然后根据某种误差准则,在左图的 搜索范围内为右图的每一个块寻找最优匹配 的块,得到块的视差矢量。
误差准则
• 均方误差准则
MSE= ∑ ∑ [xl(i,j)-xr(i,j)]2
• 修改
空间局部平滑特性:同一物体,其各个部分的视差应 当是接近的