矢量量化器

码书
wen {X , X , … , X } 1 2 N
N个特征矢量
{2 , 4, … , 1}
语 码本
文 码本 {Y1 ,Y2 ,…,YJ}
音 码本
模板库
学 码本
三、矢量量化在语音识别中的应用
先对系统中的每个字，做一个码本作为该字 的参考（标准）模板,共有M个字，故共有M个码 本，组成一个模板库。 识别时，对于任意输入的语音特征矢量序列X ＝{X1 , X2 , … , XN}，计算该序列中每一个特征 矢量对模板库中的每个码本的总平均失真量误差，
矢量量化器定义：
维数为P，码本长度为J的矢量量化器Q定义： 为从P维欧几里德空间RP到一包含J个输出(重构)
点的有限集合C的映射，
Q：RP→C，其中C={y1 ,y2 ,… ,yJ} 集合C称作码本或码书，码本长度为J 。 码本的J个元素称作码字或码矢量，它们均为 yi RP，i＝1,…,J

RP中的矢量，P维矢量。
采样
量化
x1 xa1

xak
xak+1
xaL
xaL+1
1-dimensional VQ is shown below:
-2 -
2 2
标量量化
2. 矢量量化：
若干个标量数据组成一个矢量，矢量量化是
对矢量进行量化，和标量量化一样，它把矢量空间
分成若干个小区域，每个小区域寻找一个代表矢量，
Y1={ y11,y12,…,y1P} Xi={ai1,ai2,…,aiP} Y2={ y21,y22,…,y2P} 计算失真 Y
2 最小失真
YJ={ yJ1,yJ2,…,yJP}
矢量量化器 （码本）

矢量量化的复杂度比标量量化的复杂度高。
▪ 归结起来，正如率-失真理论所指出的，组编码总
是优于单个输出的逐个编码的，当编码长度K趋于
无穷大时，可以达到率失真界。
27
6.3 最佳矢量量化
▪ 一.最佳矢量量化器的概念
▪ 给定条件下，失真最小的矢量量化器，称为这个
条件下的最佳矢量量化器。给定矢量量化器的码
4
三、矢量量化技术的发展历程
1956年 1957年 1978年
最佳矢量量化问题
如何划分量化区间 及求量化值问题
Steinhaus Loyd和Max
1980年
提出实际矢量量化器
Buzo
LBG算法
Linde,Buzo和Gray
5
四、矢量量化的优点
矢量量化优于标量量化，为不可逆压缩方法，采用矢量 量化技术对信号波形或参数进行压缩处理，可以获得很好 的效益，具有存储要求低、比特率低、解码简单、失真较 小和计算量小等优点。 采用矢量量化的效果优于标量量化的原因： ➢ 矢量量化能有效的应用矢量中各分量之间的四种相互关 联性质来消除数据中的冗余度。这四种相互关联的性质是 线性依赖(相关性)、非线性依赖(统计不独立)、概率密度 函数的形状和矢量量化的维数，而标量量化仅能利用线性 依赖和概率密度函数的形状来消除冗余度。
6
五、矢量量化研究的目的
针对特定的信息源和矢量维数，设计 出一种最优化的量化器，在R（量化速率） 一定的情况下，给出的量化失真尽可能接 近D(R)(最小量化失真)。
7
6.2 矢量量化的基本原理
标量量化是对信号的单个样本或参数的幅 度进行量化；标量是指被量化的变量，为 一维变量。
矢量量化的过程是将语音信号波形的K个样 点的每一帧，或有K个参数的每一参数帧构 成K维空间的一个矢量，然后对这个矢量进 行量化。

语音信号处理重点、考点、考试题一、填空题：（共7小题，每空2分，共20分） A卷1、矢量量化系统主要由编码器和组成，其中编码器主要是由搜索算法和构成。

2、基于物理声学的共振峰理论，可以建立起三种实用的共振峰模型：级联型、并联型和。

3、语音编码按传统的分类方法可以分为、和混合编码。

4、对语音信号进行压缩编码的基本依据是语音信号的和人的听觉感知机理。

5、汉语音节一般由声母、韵母和三部分组成。

6、人的听觉系统有两个重要特性，一个是耳蜗对于声信号的时频分析特性；另一个是人耳听觉的效应。

7、句法的最小单位是，词法的最小单位是音节，音节可以由构成。

二、判断题：（共3小题，每小题2分，共6分）1、预测编码就是利用对误差信号进行编码来降低量化所需的比特数，从而使编码速率大幅降低。

（）2、以线性预测分析-合成技术为基础的参数编码，一般都是根据语音信号的基音周期和清/浊音标志信息来决定要采用的激励信号源。

（）3、自适应量化PCM就是一种量化器的特性，能自适应地随着输入信号的短时能量的变化而调整的编码方法。

（）三、单项选择题：（共3小题，每小题3分，共9分）1、下列不属于衡量语音编码性能的主要指标是（）。

（A）编码质量（B）矢量编码（C）编码速率（D）坚韧性2、下列不属于编码器的质量评价的是（）（A）MOS （B）DAM（C）DRT（D）ATC3、限词汇的语音合成技术已经比较成熟了，一般我们是采用（）作为合成基元。

（A）词语（B）句子（C）音节（D）因素四、简答题：（共2小题，每小题12分，共24分）1、画出矢量量化器的基本结构，并说明其各部分的作用。

2、试画出语音信号产生的离散时域模型的原理框图，并说明各部分的作用。

五、简答题：（共5小题，前三小题，每题5分，后两小题，每题10分，共35分）1、线性预测分析的基本思想是什么？2、隐马尔可夫模型的特点是什么？3、矢量量化器的所谓最佳码本设计是指什么？4、针对短时傅里叶变换Ⅹn(ejw)的定义式，请从两个角度对其进行物理意义的分析。

LBG算法流程
开始 给定码书大小N，初始码书 Υ N 训练序列 TS = {X r |r =1, 2, ,m } 停止计算门限 ε 起始平均失真 D ( 1) → ∞ ，置n=0
~( 0 )
~ (n) 用码书 YN 为已知形心，把训练序列 TS = {X1 , X 2 , , X m } 划分为N个胞腔：
最佳划分
~ 由码书 ΥΝ = {Y1 , Y2 , , Yj , , YN } 和 NNR得最佳划分
~ 码字 Y j 的失真小于它和其它码字 Y i ∈ Y N 的失真，即
~ S j = {X X ∈ Χ ，且 d ( X, Y j ) ≤ d ( X, Yi )}， i ≠ j , i ∈ I N
矢量量化器的设计算法(LBG算法)
设计矢量量化器的主要任务是设计码书
~ ΥN
在给定码书大小N的情况下，由最佳划分和最佳码书两个 必要条件得到矢量量化器的设计算法 LBG算法1980年由Linde、Buzo和Gray三个人的名字命名 LBG算法即可用于已知信源分布特性情况，又可用于未知 信源分布特性情况（已知训练序列）
（1）给定矢量量化器码书大小N，使如下失真最 小的矢量量化器：
ε N = min E [ d ( X , Q ( X ))]
Q ∈Q N
式中 QN 为所有码书大小为 N 的 K 维矢量量化器的集合
（2）给定矢量量化器的输出熵限制 R，使如下 失真最小的矢量量化器： ε N = min E [ d ( X , Q ( X ))]
D(R)是在维数 k → ∞ 时， Dk (R) 的极限, 即
D ( R ) = lim D k ( R )
k→∞
通过增加矢量的维数，利用矢量量化可使编码性能 接近率失真函数 率失真理论在编码实践中有重要的指导作用，即 在VQ编码中，可将实际方法与率失真函数相比较， 看它还有多少潜力可挖

2. 未知矢量的量化。按照选定的失真度准则
（失真测度），把未知矢量，量化为失真度最
小的码字。
失真测度就是两矢量之间的距离。
§7.3 矢量量化的失真测度
一、失真测度的定义 二、欧氏距离测度 三、线性预测失真测度 四、识别失真测度
一、失真测度的定义
失真测度（距离测度）就是将输入矢量Xi用码 本重构矢量Yj来表征时所产生的误差或失真的度量 方法，它可以描述两个或多个模型矢量之间的相 似程度。常用的失真测度为欧氏距离测度、加权 欧氏距离测度和识别失真测度。
S l X R K : d ( X , Y l ) d ( X , Y i ) i l , ; i 1 , J
An example of a 2-dimensional VQ is shown below:
3.矢量量化的过程
当给矢量量化器输入一个任意矢量Xi进行矢量 量化时，矢量量化器首先判断它属于那个子空间， 然后输出该子空间的代表矢量Yj。矢量量化过程就 是用Yj代替Xi的过程。
Yj＝Q(Xi) 1jJ 1iN
x2
Y3
Y4
Y2
Y1
Y7
x1
Y5
Y6
Yi（x1i ,x2i）
3、举例说明标量量化与矢量量化的区别
假设声道滤波器传输函数用4个系数来描述， 而且，又假设声道只能为4个可能的形状之一。这 意味着只存在4组可能的声道滤波器传输函数。
现在考虑对每一个滤波器系数单独进行标量量化， 需要2bit，每一分析帧需要8个比特来进行编码。
K维语音特征矢量X和码本Y的失真测度d(X,Y)需 满足下列条件： （1）对称性 d(X,Y)＝d(Y,X) （2）正值性 d(X,Y)>0,d(X,X)=0 （3）d(X,Y)<=d(X,Z)+d(Z,Y) （4）对d(X,Y)有高效率的计算方法

矢量量化(Vector Quantization)一．矢量量化初步1.基本原理2.设计码本(LBG)3.量化二．矢量量化进一步1.分裂矢量量化(Splitted VQ)2.多极矢量量化(Cascaded VQ)3.树形矢量量化器4.其它各种类型矢量量化器三. 几个矢量量化的工程实现问题1.分级矢量量化中的多路径搜索问题2.用模拟退火(Simulated Annealing) 算法训练最佳码本[2]四. 矢量量化的应用一．矢量量化初步1. 基本原理结论：在信息论中已证明，矢量量化优于标量量化。

❑矢量量化是先将K 个(2≥K )个采样值形成K 维空间K R 中的一个矢量，然后将这个矢量一次进行量化。

它可以大大降低数码率。

❑基础是信息论的分支: 率失真(畸变)理论对于一定的量化速率R(以每个采样信号平均所用的量化比特数来衡量，bit/采样)，量化失真D(以量化信号与原信号之间的误差均方值和原信号均方值之比来衡量)是一定的。

矢量量化总是优于标量量化的。

这是因为矢量量化有效地应用了矢量中各分量间的四种相互关联的性质：线性依赖性，非线性依赖性，概率密度函数的形状以及矢量维数。

定义：1) 源：若将K M ⋅个信号采样组成的信源序列{}j x 中每K 个为一组分为M 个随机矢量，构成信源空间{}MXX X X,,,21 =(X在K 维欧氏空间KR中)，其中第j 个矢量可记为{}12,,,j k X x x x = ，M j ,,2,1 =。

2) 子空间：把KR无遗漏地划分成nN 2=个互不相交的子空间N R R R ,,,21 ，满足：⎪⎩⎪⎨⎧≠===ji R RR R j i N i K i ,013) 码本：在每个子空间i R 中找一个代表矢量i Y ，令恢复矢量集为：{}N Y Y Y Y ,,,21 =。

Y 也叫输出空间、码本或码书(Code Book)，i Y 称为码矢(Code V ector)或码字(Code Word)，Y 内矢量的数目N，则叫做码本长度。

第四章矢量量化1、矢量量化？(VQ)是1956年由steinhaus首次提出的，1970年代后期发展起来的数据压缩和编码技术。

它主要应用于：语音编码、语音合成、语音识别和说话人识别。

矢量量化在语音信号处理中占有重要地位。

2、标量量化和矢量量化？✓标量量化：是对标量进行量化，即一维的矢量量化。

将动态范围分成若干个小区间，每小区间有一个代表值。

当输入信号落入某区间时，量化成该代表值。

✓矢量量化：是对矢量进行量化。

将矢量空间分成若干个小区域，每小区域有一个代表矢量。

当输入矢量落入某区域时，量化成该代表矢量。

矢量量化是标量量化的发展。

矢量量化总是优于标量量化，维数越高，性能越优越。

矢量量化有效利用各分量间的互相关性。

1970年代末，Linde，Buzo，Gray和Markel等人首次解决了矢量量化码书生成的方法，并首先将矢量量化用于语音编码获得巨大成功。

如，在语音通信方面，将在原来编码速率为2.4kbit/s的线性预测声码器基础上，将每帧的10个反射系数加以10维的矢量量化，就可使编码速率降低到800bit/s，而声音质量基本未下降。

又如分段声码器，由于采用矢量量化，可以使数码率降低到150bit/s。

3、矢量量化的基本原理？标量量化是对信号的单个样本或参数的幅度进行量化；标量是指被量化的变量，为一维变量。

矢量量化的过程是将语音信号波形的K个样点的每一帧，或有K个参数的每一参数帧构成K维空间的一个矢量，然后对这个矢量进行量化。

标量量化可以说是K=1的矢量量化。

矢量量化的过程和标量量化过程相似。

在标量量化时，在一维的零至无穷大值之间设置若干个量化阶梯，当某输入信号的幅度值落在某相邻的两个量化阶梯之间时，就被量化成两阶梯的中心值。

而在矢量量化时，则将K维无限空间划分为M 个区域边界，然后将输入矢量与这些边界进行比较，并被量化为“距离”最小的区域边界的中心矢量值。

矢量量化的定义将信号序列{}i y 的每K 个连续样点分成一组，形成K 维欧氏空间中的一个矢量，矢量量化就是把这个K 维输入矢量X 映射成另一个K 维量化矢量。

矢量量化有损压缩是利用人眼的视觉特性有针对地简化不重要的数据，以减少总的数据量。

量化是有损数据压缩中常用的技术。

量化可以分为两种，即标量量化与矢量量化。

标量量化每次只量化一个采样点。

而矢量量化在量化时用输出组集合中最匹配的一组输出值来代替一组输入采样值。

根据香农的速率-失真理论，即使信源是无记忆的，利用矢量编码代替标量编码总能在理论上得到更好的性能，矢量量化可以看作标量量化的推广。

基本的矢量量化器编码，传输与解码过程如图所示。

矢量量化编码器根据一定的失真测度在码书中搜索出与输入矢量最匹配的码字。

传输时仅传输该码字的索引。

解码过程很简单，只要根据接收到的码字索引在码书中查找该码字，并将它作为输入矢量的重构矢量。

码字匹配信道查表信宿信源码书码书输入矢量索引索引编码器解码器输出矢量矢量量化编码和解码示意图假定码书}|,,,{110k j N R C ∈=-y y y y ，其中N 为码书的大小，而k 维输入矢量T k x x x ),,(110-= x 与码字T k j j j j y y y ),,()1(10-= y 之间的失真测度采用平方误差测度来表示，即：22210)(),(jjl k l l j y x d y x y x -=-=∑-=则矢量量化码字搜索问题就是在码书C 中搜索与输入矢量x 最匹配的码字bm y ，使得bm y 与x 之间的失真是所有码字中最小的，即：),(min ),(10bm N bm bm d d y x y x -≤≤= 全搜索算法（FS ）是一种最原始、最直观的码字搜索算法，它需要计算输入矢量与所有码字之间的失真，并通过比较找出失真最小的码字。

由于FS 算法每次失真计算需要k 次乘法，12-k 次加法，故为了对矢量进行编码需要Nk 次乘法，)12(-k N 次加法和1-N 次比较运算。

而FS 算法的计算复杂度是由码书的大小和矢量维数决定，而高效率矢量量化编码系统往往采用大码书和高维矢量，这时计算复杂度是非常大的，故减少码字搜索的计算负担是非常必要的，必须寻求快速有效的码字搜索算法。

4.5矢量量化技术的优化设计
上面介绍的矢量量化技术用于语音信号处理时有其局限： 实时性的问题 码本优化问题 降低复杂度的优化设计方法：引入模糊理论
模糊c均值聚类算法
模糊c均值聚类算法目标函数为如下式所示：
J FCM ( X , U , Y ) =
u km ( X i ) d ( X i ,YK ) ∑∑
1 d r ( X ,Y ) = K
∑
K
i =1
( xi − yi ) r
二、欧氏距离测度
3）r平均误差
1 d r ( X ,Y ) = [ K
'
∑x
i =1
K
K
i
− yi ]
r
1 r
4）绝对值平均误差
1 d1 ( X , Y ) = K
∑
i =1
xi − y i
5）最大平均误差
dM ( X , Y ) = lim[dr ( X , Y )] = max[ xi − yi ]
(4-30)
模糊c均值聚类算法
模糊矢量量化码本估计的步骤如下： 1）设定初始码本和每个码字的初始隶属度函数uk ，为了 方便可以令每个码字的初始隶属度函数为相等的值； 2）对于训练观察矢量序列 X = { X , X ,..., X }，利用式（4-30） 计算新的聚类中心Yk 及新的隶属度函数uk ； 3）利用式（4-29）的目标函数，判断迭代计算是否收敛。 如果前后差值小于某个阈值，则迭代计算结束，由新的 聚类中心和隶属度函数集组成重估后的新码本；否则继 续进行下一轮迭代计算。
'2 p
是码书重构矢量的预测误差功率
a Ra = r (0)ra (0) + 2∑ r (i )r 'a (i)

ｅ ｃ ｏ ｅ ｅ ｔ ｒ ｉ ｒ ｅ ｏ ｉ ｒ ｖ ｈ ｘ ｅ ｔ ｄ ｄ ｓ ｏ ｔ ｎ ａ ｈ ｃ ｄ ｖ ｃ ｏ ｎ ｏ ｄ ｒ ｔ ｍｐ ｏ ｅ ｔ ｅ ｅ ｐ ｃ ｅ ｉｔ ｒ ｉ ．Ｃｏ ａ ｅ ｔ ｔ ｅ ｏ ｖ ｎ ｉ ｎ ｌｃ ｄ ｂ ｏ ｏ ｍｐ ｒ ｄ ｗｉ ｏ ｈ ｒ ｃ ｎ ｅ ｔ ａ ｏ ｅ ｏ ｋ ｈ ｏ
ｅ ｏｌ ｔｏ ｒ ｌ ｒｔ ｖ ｕ ｉ ｎａ ｙ ａ ｇｏ ｉｈｍ ｏｉｙ ｃ ａｎ ｌｗａ ｅ ｅ ｔ ｄ． Ｔｈｅ ｅ ｏ ｕｔｏｎ ｒ ｌ ｏｒｔ ｍ ｓ ｉ ｔ ｏ ｃ ｄ ｉ ｏ ｔ ｏｎ ｎ ｓ ｈ ｎｅ ｓ ｐｒ ｓ ｎ ｅ ｖ ｌ ｉ ａ ｙ ａ ｇ ｉｈ ｉ ｎ ｒ ｄｕ ｅ ｎｔ ｈｅ
基 于部 分失 真定 理 的信 道 最优 矢 量 量 化 器 设 计
李 天 昊 ， 余松 煜
（ 上海 交通 大学 图像 通信 与信 息处 理研究 所 ， 上海 ２ ０ ３ ） ０ ０ ０
摘 要 ： 出 了一 个使 用进 化 算 法 、 提 引入 部 分 失 真定 理 （ 渐进 划 分 理论 ） 信 道 最 优 矢 量 量化 器 的
ａ ｈｉｖ ｈｅ ｓｇｎｉｉａ ｉ ｎ ａ ｅ ａ ｓ ｏｒ ｉ ｅ ｔ ｈａ ｎ ｌｅ ｒ ｒ ｓ ｃ ｆｒ ｄ ｂｙ ｔ ｘｐｅ ｉ ｎｔ ｌ ｃ ｅ ｅ ｔ ｉ ｆｃ ｎｔｇａｎｓ ｉ ｖ ｒ ｇｅ ｄｉｔ ｔｏｎ ｄｕ ｏ ｃ ｎ ｅ ｒ ｏ ｓ ａ ｏｎ ｉｍｅ ｈｅ ｅ ｒｍｅ ａ
（ ｏＶ 的设 计 算法． 用该 算 法 ， 给 定信 道状 态模 型 和存 在 信道 噪 声 的情 况 下 ， 有 效地提 高 Ｃ Ｑ） 采 在 可 矢量量 化 器的性 能 ， 实现 了 Ｃ ｏＶＱ 的设 计． 算 法利 用进 化 策略调 整各 码 矢所确 定 区域 的子误 差 ， 该 从 而进 一 步改善 期 望误差 ． 常 用的码 书设 计 算法相 比较 ， 算 法 能较好 地 调 整各 区域 的 子误 差 ， 与 该

矢量量化定义: 把一个K维模拟矢量的有序集（称为信源矢量集
合） RK中的某个矢量X∈χ映射为N个量化矢量
构成的有限集（码书或码本）中的某个矢量（码字或
码矢）Y∈ ，这种N映射称为矢量量化。
N Y1,Y2 ,,YN | Yi RK
一个矢量量化器可以表示成以下三个部分：
码书： N Yi, | i 1,2,, N,Yi RK
补充： 矢量量化与标量量化的比较
矢量量化是把一个K维模拟矢量映射为一个K 维量化矢量。标量量化实际是维数K=1的矢量量化。 一般情况下，矢量量化均指K≥2的多维量化。与标 量量化的两个主要步骤相对应，矢量量化首先要 将抽样值构成的矢量即K维空间的无穷多点划分成 有限个胞腔，然后从每一个胞腔取一个代表值， 凡是落入该胞腔的矢量均用该代表值进行量化。
Y7
Y6
(a)
(b)
图 7.2 矢量量化示意图
（2）几个概念
量化矢量(或称重构矢量)：利用最小失真原则，
分别计算用量化矢量Yi（i=1，2，……7）替代X所 带来的失真，其中最小失真所对应的那个矢量Yj， 就是模拟矢量X 的量化矢量。
码书：量化矢量构成的集合称为码书(Codebook)。 码字：码书中的每个矢量Yj （i=1，2，……N）称 为码字(Codeword)。
空间划分：S= Si,| i 1,2,, N
映射：q：RK s N 其中，Si是Rk的一个子集且满足
Si X RK , q(X ) Yi
矢量量化器Q( N , S)的性能，以其输入矢量X和输 出矢量Y=q(X)的失真平均值而定，失真平均值为：
D(Q,F)=E[d(X,Y)]=E[d(X,q(X))]
d X,Y X Y 2 Xi Yi 2

矢量量化技术
一、矢量量化的应用
矢量量化技术技术是一种数据压缩和编码技术， 矢量量化压缩技术的应用领域非常广阔，如军事部门 和气象部门的卫星(或航天飞机)遥感照片的压缩编码 和实时传输、雷达图像和军用地图的存储与传输、数 字电视和DVD的视频压缩、医学图像的压缩与存储、 网络化测试数据的压缩和传输、语音编码、图像识别 和语音识别等等 。
Xi
矢量
Yj
量化器
4.判断规则
当给矢量量化器输入一个任意矢量Xi进行矢 量量化时，矢量量化器首先判断它属于那个子空 间，如何判断就是要依据一定的规则，选择一个 合适的失真测度，分别计算每个码字代替Xi所带 来的失真，当确定产生最小失真的那个码字Yj时， 就将Xi量化成Yj， Yj就是Xi的重构矢量（和恢复 矢量）。
d(x,y2)=25
y0
y1
y2
y3
d(x,y3)=46
码字y1最接近输入矢量图象块 x，故用索引“01”编 码
标量量化和矢量量化比较
✓ 标量量化是维数为1的矢量量化。一般矢量量化均指大 于1的多维量化。
分成J个互不相交的子空间R1,R2…RJ ,将Rj称为胞腔。 在每一个子空间Rj找一代表矢量Yj，则J个代表矢量 可以组成矢量集为：
Y={Y1,Y2,…,YJ}构成了一个矢量量化器，Y叫着 码本，J称为码本长度, Yj称为码字，有： Yj={yj1,yj2,…,yjP}，j=1,2,…J。
举例 以P=2为例来说明。当P=2时，所得到的是二✓矢 Nhomakorabea量化器定义：
维数为P，码本长度为J的矢量量化器Q定义： 为从P维欧几里德空间RP到一包含J个输出(重构) 点的有限集合C的映射，
Q：RP→C，其中C={y1 ,y2 ,… ,yJ}

矢量量化矢量量化（VQ —Vector Quantization）是70年代后期发展起来的一种数据压缩技术基本思想：将若干个标量数据组构成一个矢量，然后在矢量空间给以整体量化，从而压缩了数据而不损失多少信息矢量量化编码也是在图像、语音信号编码技术中研究得较多的新型量化编码方法，它的出现并不仅仅是作为量化器设计而提出的，更多的是将它作为压缩编码方法来研究的。

在传统的预测和变换编码中，首先将信号经某种映射变换变成一个数的序列，然后对其一个一个地进行标量量化编码。

而在矢量量化编码中，则是把输入数据几个一组地分成许多组，成组地量化编码，即将这些数看成一个k维矢量，然后以矢量为单位逐个矢量进行量化。

矢量量化是一种限失真编码，其原理仍可用信息论中的率失真函数理论来分析。

而率失真理论指出，即使对无记忆信源，矢量量化编码也总是优于标量量化。

在矢量量化编码中，关键是码本的建立和码字搜索算法。

码本的生成算法有两种类型，一种是已知信源分布特性的设计算法；另一种是未知信源分布，但已知信源的一列具有代表性且足够长的样点集合（即训练序列）的设计算法。

可以证明，当信源是矢量平衡且遍历时，若训练序列充分长则两种算法是等价的。

码字搜索是矢量量化中的一个最基本问题，矢量量化过程本身实际上就是一个搜索过程，即搜索出与输入最为匹配的码矢。

矢量量化中最常用的搜索方法是全搜索算法和树搜索算法。

全搜索算法与码本生成算法是基本相同的，在给定速率下其复杂度随矢量维数K以指数形式增长，全搜索矢量量化器性能好但设备较复杂。

树搜索算法又有二叉树和多叉树之分，它们的原理是相同的，但后者的计算量和存储量都比前者大，性能比前者好。

树搜索的过程是逐步求近似的过程，中间的码字是起指引路线的作用，其复杂度比全搜索算法显著减少，搜索速度较快。

由于树搜索并不是从整个码本中寻找最小失真的码字，因此它的量化器并不是最佳的，其量化信噪比低于全搜索。

23
3. 初始码书的生成
如何选取初始码书，这对于最佳码书的设计有很大影响。 码书在开始时对要编码的数据来说应当有相当的代表性。达到 这一要求的方法之一是直接取输入信号矢量作为码字。由于相 邻的语音信号是高度相关的，在语音波形量化时，应使样本之 间的间隔足够大，这样才能忽略样本之间的互相关。
（1）随机选取法
最简单的方法是从训练序列中随机地选取M个矢量作为初 始码字，从而构成初始码书。
24
3. 初始码书的生成
优点： (1)不用初始化计算，可以大大减少计算时间； (2)初始码字选自训练序列中，无空胞腔问题。
缺点： (1)可能会选到一些非典型的矢量作为码字； (2)会造成在某些空间把胞腔分得过细，而有些 空间分得太大。 以上缺点会导致码字没有代表性，导致码书中有限个码 字得不到充分利用，设计的矢量量化器性能可能较差。
2
7.1 概述
语音数字通信的两个关键问题是：语音质量和传 输数码率。
这两个参数相互矛盾：
（1）要获得较高的语音质量，就必须使用较高的传 输数码率；
（2）为了实现高效地压缩传输数码率，就不能得到 良好的语音质量。 但是，矢量量化却是一种既能高效压缩数码率、 又能保证语音质量的编码方法。
3
7.1 概述
25
3. 初始码书的生成
（2）分裂法
① 先认为码书尺寸为M=1，即初始码书中只包含一个码字。计算所有 训练序列的形心，将此形心作为第一个码字 YM
(1)
（ i = 0） ；
( 2) (1) ② 将它分裂为 YM ，即将一个码字加上或减去一个很小的 YM 扰动，形成两个新码字。此时码书中包含有两个码字，一个是i = 0 ，另 一个是i =1;
二是在给定划分的条件下，寻找最佳码书， 使平均失真最小。 （1）最佳划分

矢量量化编码1. 引言矢量量化是一种高效的数据压缩技术，它具有压缩比大、解码简单和失真较小等优点。

自从1980年提出矢量量化器(Vector Quantizater)码书设计的LBG算法[Linde et al(1980)]以来，矢量量化(Vector Quantization)技术[Gray(1984)]已经成功地应用到图像压缩和语音编码中。

矢量量化压缩中最核心的技术是码书的设计，码书的优化性直接影响到压缩效率和图像复原质量。

这里主要对码书设计算法进行讨论。

首先介绍了经典的LBG算法及其在图像压缩中的应用；然后，针对LBG算法的不足，结合图像处理的特点，提出了改进的覆盖聚类算法，有效改善了系统性能。

2 .码书的设计码书设计是矢量量化压缩系统的关键环节。

码书设计得越优化，矢量量化器的性能就越好。

实际中，不可能单独为每幅待编码的图像设计一个码书，因此通常是以一些代表性图像构成的训练集为基础，为一类图像设计一个最优码书。

从数学的观点看，矢量量化中的码书设计，实质是把系统的率失真函数看成目标函数，并使之在高维空间中成为最小的全局优化问题。

假设采用平方误差测度作为失真测度，训练集中的矢量数为M，目的是生成含N(N<M)个码字(码矢量)的码书。

码书设计过程就是寻求把M 个训练矢量分成N类的一种最佳方案(使均方误差最小)，而把各类的质心矢量作为码书的码字。

可以证明，各种可能的码书个数为(1/ N!)Σ(一1)(N-i)CNiM，其中( 为组合数。

通过测试所有码书的性能可得到全局最优码书。

然而，在N 和M 比较大的情况下，搜索全部码书是根本不可能的。

为了克服这个困难，各种码书设计方法都采取搜索部分码书的方法得到局部最优或接近全局最优的码书。

因此，研究码书设计算法的目的就是寻求有效的算法尽可能找到全局最优或接近全局最优的码书以提高码书性能，并尽可能减少计算复杂度。

3 LBG算法描述经典的码书设计算法是LBG算法[它是Y．Linde，A．Buzo与R．M．Gray 在1980年推出的，其思想是对于一个训练序列，先找出其中心，再用分裂法产生一个初始码书A0，最后把训练序列按码书A0中的元素分组，找出每组的中心，得到新的码书，转而把新码书作为初始码书再进行上述过程，直到满意为止。