9章 视频压缩技术基础

1浙江工业大学信息学院古辉gh@多媒体技术多媒体技术第九章基本视频压缩技术2多媒体技术第九章基本视频压缩技术z9.1 电视图像的数据率z9.2 视频数据压缩算法3多媒体技术9.1 电视图像的数据率z图像采集的两种方式RGB红(R)、绿(G)、蓝(B)显示到显示器上需要用RGB 格式YUVY 表示亮度，U 和V 表示色差空间。

U 和V 是构成彩色的两个彩色分量，Y 和U 、V 是相互独立的。

YUV 优点：黑白电视可接收彩色电视信号；利用YUV 的独立性和人眼的特性来降低数字图像的存贮容量。

两者之间的转换Y = 77/256R + 150/256G + 29/256BU = -44/256R -87/256G + 131/256B + 128 V = 131/256R -110/256G -21/256B + 1284多媒体技术9.1 电视图像的数据率zYUV 格式使用相同的分辨率对图像的亮度信号和色差信号进行采样；对图像的亮度信号和色差信号采用不同的采样频率（Subsampling ，子采样）。

YUV444，YUV422，YUV411，YUV420 ；YUV420指在水平和垂直方向上每2个连续的采样点上取2个Y 样本，1个红色色差Cr 样本，1个蓝色色差Cb 样本；YUV411水平方向上每4个连续的采样点取4个亮度Y 样本，1个红色色差Cr 样本，1个蓝色色差Cb 样本。

5多媒体技术9.1 电视图像的数据率zITU(国际电汜联仫)-R BT.601标褡数诉徙(4:2:2ó样太阋)亮度(Y): ( 采样频率13.5MHz/s)858样本/行×525行/帧×30帧/秒×10比特/样本= 135Mb/s(NTSC)864样本/行×625行/帧×25帧/秒×10比特/样本= 135Mb/s(PAL)Cr (R-Y) : ( 采样频率6.75MHz/s)429样本/行×525行/帧×30帧/秒×10比特/样本= 68Mb/s(NTSC)429样本/行×625行/帧×25帧/秒×10比特/样本= 68Mb/s (PAL)Cb (B-Y): ( 采样频率6.75MHz/s)429样本/行×525行/帧×30帧/秒×10比特/样本= 68Mb/s (NTSC)429样本/行×625行/帧×25帧/秒×10比特/样本= 68Mb/s (PAL)总计: 270兆比特/秒6多媒体技术9.1 电视图像的数据率z荧光屏上显示的有效图像的数据传输率计算：亮度(Y):720样本/行×480行/帧×30帧/秒×10比特/样本= 104Mb/s (NTSC)720样本/行×576行/帧×25帧/秒×10比特/样本= 104Mb/s (PAL) 色差( Cr, Cb):2×360样本/行×480行/帧×30帧/秒×10比特/样本=104Mb/s (NTSC)2×360样本/行×576行/帧×25帧/秒×10比特/样本=104Mb/s (PAL)z总计: 207 Mb/s ；如果采样精度由10位降为8比特，彩色数字电视信号的数据传输率为166 Mb/s 。

7多媒体技术9.1 电视图像的数据率zVCD Video 图像数据率的估算Video-CD 存储器的数据传输率可达到1.4112 Mb/s, 分配给电视信号的数据传输率为1.15 Mb/s, 存储166 Mb/s 的数字电视信号压缩比高达166/1.15 ≈144:1。

显然，需要进行压缩。

MPEG-1电视图像压缩技术不能达到这样高的压缩比。

为此首先把NTSC 和PAL 数字电视转换成公用中分辨率格式CIF(Common Intermediate Format)的数字电视，这种格式相当于VHS(Video Home System)的质量，于是彩色数字电视的数据传输率就减小到352×240×30×8×1.5 ≈30 Mb/s (NTSC) 352×288×25×8×1.5 ≈30 Mb/s (PAL)所需要的压缩比为：30/1.15 ≈26:1。

这就是MPEG-1 (YUV420) 技术所能获得的压缩比。

≈8多媒体技术9.1 电视图像的数据率zDVD 电视图像数据率的估算DVD-Video 存储器的数据传输率可以达到10.08 Mb/s ，但一张4.7 GB 的单面单层DVD 盘要存放133分钟的电视节目，按照数字电视信号的平均数据传输率为4.1 Mb/s 来计算，压缩比要达到：166/4.10 ≈40:1。

如果电视图像的子采样使用4:2:0格式，每个样本的精度为8比特，数字电视信号的数据传输率就减小到124 Mb/s ，即720×480×30×8×1.5 ≈124 Mb/s (NTSC) 720×576×25×8×1.5 ≈124 Mb/s (PAL)使用DVD-Video 来存储720×480×30或者720×576×25的数字电视图像所需要的压缩比为：124/4.1 ≈30:1。

9多媒体技术表9.1 动态视频压缩利用的各种冗余信息9.2 视频数据压缩算法z电视图像数据压缩的方法压缩方法归纳在表9.1中。

电视图像本身在时间和空间上都含有冗余信息，图像自身的构造也有冗余性。

此外，利用人的视觉特性也可对图像进行压缩，这叫做视觉冗余。

时间冗余空间冗余不确定因素其他非线性量化，位分配人的视觉特性视觉冗余基于知识的编码收发两端的共有认识知识冗余轮廓编码，区域分割图像本身的构造图像构造冗余帧间预测，移动补偿时间方向上的相关性变换编码，预测编码像素间的相关性统计特性目前使用的主要方法内容种类10多媒体技术9.2 视频数据压缩算法zMPEG 专家组定义了三种图像：帧内图像Ｉ(intrapictures)预测图像Ｐ(predicted pictures)插补(双向预测)图像Ｂ(bidirectionally interpolated)图9.1 MPEG 专家组定义了三种图像11多媒体技术9.2 视频数据压缩算法z帧内图像Ｉ的压缩编码算法帧内图像I 不参照任何过去的或者将来的其他图像帧，采用类似JPEG 压缩算法。

如果电视图像是RGB 空间表示，则首先把它转换成YCrCb 空间表示的图像。

每个图像平面分成8×8的图块，对每个图块进行离散余弦变换DCT(discrete Cosine Transform)。

DCT 变换后经过量化的交流分量系数按照Zig-zag 的形状排序，然后再使用无损压缩技术进行编码。

DCT 变换后经过量化的直流分量系数用差分脉冲编码DPCM(Differential Pulse Code Modulation)，交流分量系数用行程长度编码RLE(run-length encoding)，然后再用霍夫曼(Huffman)编码或者用算术编码。

它的编码框图如图9.2所示。

12多媒体技术9.2 视频数据压缩算法图9.2 帧内图像I 的压缩编码算法框图13z预测图像Ｐ的压缩编码算法编码也是以图像宏块(macroblock)为基本编码单元，一个宏块定义为I ×J 像素的图像块，一般取16×16。

使用两种类型的参数表示：一种参数是当前要编码的图像宏块与参考图像的宏块之间的差值，另一种参数是宏块的移动矢量。

移动矢量的概念如图9.3所示。

图9.3 移动矢量的概念14求解差值方法如图9.4所示。

假设编码图像宏块为M PI ,参考图像宏块为M RJ ,它们的差值就是这两个宏块中相应像素值之差。

对所求得的差值进行彩色空间转换，并作4:1:1的子采样得到Y,Cr 和Cb 分量值，然后仿照JPEG 压缩算法对差值进行编码，计算出的移动矢量也要进行霍夫曼编码。

图9.4 预测图像P 的压缩编码算法框图15多媒体技术9.2 视频数据压缩算法z求解移动矢量的方法定义在图9.5中。

在求两个宏块差值之前，需要找出编码图像中的预测图像编码宏块M PI 相对于参考图像中的参考宏块M RJ 所移动的距离和方向，这就是移动矢量(motion vector)。

图9.5 移动矢量的算法框图16多媒体技术绝对差值AE 均方误差MSE平均绝对帧差MAD9.2 视频数据压缩算法最佳匹配判据[]∑∑≤≤==−−−×=21221)16(,),(),(1j yxi j i d j d i g j i f JI MSE ∑∑≤≤==−−−×=2121)16(,),(),(1j yxi j i dj d i g j i f JI MAD )16(,),(),(15150==−−−=∑∑==j i d j di g j i f AE j y xi 17多媒体技术图9.6 二维对数搜索法(2D-logarithmic search)9.2 视频数据压缩算法二维对数搜索法(2D-logarithmic search)这种方法采用MSE 匹配判据。

搜索策略是沿着最小失真方向搜索。

在搜索时，每移动一次就检查5个搜索点。

在例子中，步骤1, 2, …, 5得到的近似移动矢量d 为(i ，j-2)、(i, j-4)、(i+2, j-4)、(i+2，j-5)和(i+2, j-6)，最后得到的移动矢量为d(i+2, j-6)。

18多媒体技术图9.7 三步搜索法(three-step search)9.2 视频数据压缩算法三步搜索法(three-step search)这种搜索法与二维对数搜索法很接近。

不过在开始搜索时，搜索点离(i,j)这个中心点很远，第一步就测试8个搜索点，如图9.7所示。

在这个例子中，点(i+3,j-3)作为第一个近似的移动矢量d1；第二步，搜索点偏离(i+3,j-3)较近，找到的点假定为(i+3,j-5)；第三步给出了最后的移动矢量为d(i+2,j-6)。

本例采用MAD 作为匹配判据。

19图9.8 对偶搜索法(conjugate search)对偶搜索法(conjugate search)该法使用MAD 作为匹配判据，示例如图9.8。

在第一次搜索时，通过计算点(i-1，j)、(i ，j)和(i+1，j)处的MAD 值来决定i 方向上的最小失真。