第四章 限失真信源编码

4) 信息率失真函数R(D)物理意义 1°R(D)是信源给定的情况下, 在可容忍的失真度内再现
信源消息所必须获得的最小平均信息量 . 2°R(D)是反映给定信源可压缩的程度. 3°R(D)求出后 , 就与选择的试验信道无关 , 而只是信源
特性的参量 , 不同的信源 , 其R(D)是不同的 .
5) 信息率失真函数R(D)的计算 已给定信源概率P(X)和失真函数d ( xi , yj ) ,求信息率
波形信道
｛y(t)｝
v X ( X1,L , X N )
Xi [a, b]
v Y (Y1 ,L ,YN )
Yi [c, d ]
vv
v
vv
v
vv
I( X;Y ) h( X ) h( X | Y ) h(Y ) h(Y | X )
4.2 信息率失真函数
实际应用中 , 允许信号有一定的失真 , 当失真超过一定 限度后 , 信息将失去实用价值 , 因此要规定失真的限度.
x( t ) lim 1
T
x( t )dt
T 2T T
二、连续信源的熵
X p(x)
R p(x)
p(x)dx 1
R
1、方法
变量X的概率分布与概率密度函数的关系为：
p( x) d P( x)
x
P( x) p( x)dx
dx
二、连续信源的熵
对连续变量X的量化方法如下：
将X的取值范围[a,b]作n等分，每份=(b-a)/n
信息率失真是A/D转换、量化、频带压缩和数据压缩的 理论基础. 4.2.1 失真函数
1) 失真函数定义
信源 U {u1,u2 , ,un} 经过信源编码后输出 V {v1, v2 , , vm}
对于每一对( ui , vj ) , 指定一个非负函数 d ( ui , vj ) ≥ 0 i = 1 , 2 , … , n j = 1 , 2 , … , m 称 d ( xi , yj ) 为单个符号的失真函数. 表示信源发出符 号 xi , 接收端再现 yj 所引起的误差或失真. d ( xi , yj ) = 0 无失真 , d ( xi , yj ) > 0 有失真.
表4－1 各种图像信号应用的码率
象素数 行 数
应用种类
/行
/帧
HDTV 普通电视
1920 720
1080 480
会议电视 352
288
电视电话 128
112
码率bps 压缩前 压缩后 1.18G 20~25M
167M
4~8M
36.5M 1.5~2M
5.2M
56k
4.1 连续信源的熵和互信息
一、连续消息的统计特性
为随机变量 , d ( xi , yj )的平均失真用其数学期望或统计平
均值描述 , 用
符号 D 表示.
nm
nm
D
p(ui , v j )d (ui , v j )
p(ui ) p(v j | ui )d (ui , v j )
i1 j 1
i1 j1
4.2.3 信息率失真函数R(D)
1) 受信道容量的限制 , 实际应用中必须对信源进行 压缩 , 应
（2）x在ai之上或之下，量化输出分别为恒定值
4.3.2 最优量化
最优量化与p (x)有关，区间分割也与p (x)有 关，N足够大时，近似认为在各个区间[ai,ai+1] 上的概率分布p (x)为一常数，各子区间上被 视为均匀分布。
对于x的概率分布非均匀的标量量化采用MaxLivod算法。
对ai取偏导并置零
N维信源符号序列的信息率失真函数RN(D):
RN
(D)
min {I (U;V
p( y|s);D ( N )ND
)}
4) 连续信源的信息率失真函数
连续信源平均失真度为:
D E[d (u, v)] p(u) p(v | u)d (u, v)dudv
连续信源的信息率失真函数:
R(D) inf {I (U;V )} P ( v|u )BD
长,则一定存在一种编码方法 , 使其译码失真≤D+ε,反
之 , 若R ＜R(D) , 无论用什么编码方法 , 其译码失真
必＞D
存在性定理
※ 任何信源的信息率失真函数R(D)是该信源在限 失真条件下进行编码的最小信息传输率。
4.3 标量量化编码
标量量化----零记忆量化 每次只量化一个模拟样本值。
均匀量化：线性量化 最优量化：使量化器的均方误差σe2最小或信
噪比SNR最小的量化。 （概率非均匀分布的最优量化算法）
4.3.1 均匀量化
量化器输入：x，对应实数值域空间为R；
量化器输出：y，对应实数值域空间为Rc；
对应取值范围[a0,an]
y=Q (x)
均匀量化：将区间[a0,an]分割为n个相等距离 且互不重叠的子区间[ai,ai+1]，取每个小区间 的中点值作为量化值yi，即ai≤x≤ai+1时， yi=(ai+1+ai)/2
b
p( x)log
1wk.baidu.com
dx
a
p( x)
或:h( X ) R p( x) log p( x)dx
h( X
Y
)
p( xy)log
1 p( x
y)
dxdy
h(Y
X)
p( xy)log
1 p( y
dxdy x)
h(XY ) p(xy)log p(xy)dxdy
三、平均互信息
基本公式
｛x(t)｝
p( y x)
BD={ p( v j | u i ): ≤ D ; i=1,2, … ,n ; j=1,2,…m } p(v j | u i )为信道的传递概率。
3)离散信源的信息率失真函数
R(D) min {I (U;V )} p(v j |ui )BD
在允许信道 BD 中 , 寻求一个信道p( V |U ) , 使给定的信源经 过此信道后 , 互信息量I(U ;V )达到最小. 该最小互信息量称 为信息率失真函数R(D) , 简称率失真函数
语音信号传输
语音（音频）信号的带宽 ：20～20000HZ
实际应用音频范围:
电话质量:
300～3.4KHZ 电话公用网
调幅广播质量: 50 ～7 KHZ 有现场感的语音传输
高保真音频信号: 20 ～20 KHZ 高保真音响
图像信号传输 一路6MHz的普通电视信号数字化后，其数码率将
高达167Mbps，对储存器容量要求很大，占有的带宽将 达80MHz左右
,tn
一、波形信源的特性
2.描述:
n
➢ 独立的随机过程：pn ( x1,L , xn , t1,L , tn ) p( xk , tk )
k 1
➢平稳随机过程：统计特性不随时间平移而变化的随机过程。
pn x1, x2,L , xn,t1,t2,L ,tn pn x1, x2,L , xn,t1 ,t2 ,L ,tn
1°使其压缩后的信息传输率小于信道容量;
2°保证压缩所引入的平均失真 D不超过预先给定
的允许失真度D;
3°在满足 D≤ D的前提下 , 使编码后的信息率尽
可能小.
不等式 D ≤ D 称为保真度准则
2) 试验信道
1°有失真的信源编码器视作有干扰的信道(假想信道) 2°当信源已知 (即B(U)已知)时 , 单个符号的失真度给 定, 选择一类假想信道 , 使得 D ≤ D ,这类假想信道称为 D 失真允许信道 , 或 D 失真允许试验信道. 记为
均匀量化的量化误差： e x Q(x) x yi
量化器均方误差：
e2
2
x Q(x) p(x)dx
N
i 1
ai ai1
(x
yi
)2
p(x)dx
量化器输入方差： 2 x2 p(x)dx N ai x2 p(x)dx
i 1 ai1
量化器的信噪比SNR：
SNR
10
lg
2) 常用的失真函数
1°平方误差失真函数 d ( xi , yj ) = (xi - yj )2
2°绝对误差失真函数 d ( xi , yj ) = | xi - yj |
3°相对误差失真函数 d ( xi , yj ) = | xi - yj |/ | xi |
4°误码失真函数
0 d( xi , y j ) 1
★ ➢
★
遍等{x(历于t)}平其在稳时时过间刻程平t=：均ti的若，集则一平称平均{{稳xx:(随(t)t})机}在为过某遍程一历{时的x(刻t平)}ti的稳变集过量平程x(t均。i)的以统概计率平1 均
{x(ti)}的E时[ x间ti 平] 均：{xx(t(i)t}某i )一p[样x本(ti函)]数dxx’((tt)i的) 时间平均值
则X落在第i区间内的概率为：
ai
Pi P a (i 1) x a i a(i1) p( x)dx p( xi )
p(x)
Pi
xi [a (i 1), a i)
Δ
a
0
a+(i-1)Δ a+iΔ
x b
二、连续信源的熵
则连续信源X:
X p(x)
R p(x)
p(x)dx 1
第四章 限失真信源编码
连续信源的熵和互信息 信息率失真理论 标量量化编码 矢量量化编码 语音压缩编码 图象压缩编码
第四章 限失真信源编码
限失真编码：信源编码经过译码后能保留应用要求的 信息，允许信源有一定的失真。
为什么要限失真编码 1°连续信源的绝对熵为无限大，由于信道的带宽有限， 受信道容量的限制。不可能实现完全无失真的信源信息的 传输。(可能性) 2°信道资源和技术经济因素的限制。(可实现性) 3°实际应用不必要无失真地恢复信源消息, 不必要完全 无失真的信源信息的传输. (必要性) 4°数字系统的应用 ,模拟量的采样,量化也会引入失真.
R
变为:
XN P( x)
x1 ,
p( x1),
x2, L
p( x2 ),L
, ,
xi ,L
p( xi ),L
, ,
xN p( xN
)
N
N
且: p( xi )
ai
b
p( x)dx p( x)dx 1
a(i 1)
a
i 1
i 1
此信源合理！
二、连续信源的熵
2、相对熵
h( X )
e 2 ai
(ai
yi1)2 p(ai ) (ai
yi )2 p(ai ) 0
d(ai,yi-1)=d(ai,yi) 对于均方失真和绝对失真，有
ai=(yi+yi-1)/2
可知此时边界点在相邻量化值之中点， σe2最 小。
量化值的选定则与概率密度有关。 对于均方失真，
e2
yi
ai1
i j 其他
失真函数1°,2°,3°用于连续信源 , 失真函数4°用
于离散信源 , 失真函数4°也称Hanmming失真函数.
3) 失真矩阵d
n × m 矩阵
d( x1 , y1 )
d
d ( xn , y1 )
d( x1 , ym )
d ( xn , ym )
4.2.2 平均失真 xi 和 yj 均为随机变量 , 所以d ( xi , yj ) 也
2 ( x yi ) p( x)dx 0
ai
ai1
xp( x)dx
yi
ai ai1
p( x)dx
ai
E[ x] ai1 p( x)dx
ai
yi最佳位置在ai和ai+1区间的概率中心。
Max-Livod迭代方法：
1）任取y0;
2）由
a1 a0
(x
y0
)
p(x)dx
0
，计算a1;
3）根据公式
失真函数R(D)的问题 , 可以归结为在约束条件保真度准 则 D ≤ D 下, 求极小值的问题 .
6) 限失真信源编码定理 (香农第三定理)
设离散无记忆信源X的信息率失真函数R(D) , 并
选定失真函数 , 对于任意允许平均失真度 D ≥0 和任
意小的ε≥0, 当信息率R ≥R(D) ,只要信源序列 L足够
ai
yi1 yi ,i 1,2,....,n 2
计算y1;
4）重复步骤（2）、（3），分别计算出a2,y2,a3,y3,….,直至最 后求得yn-1
5）检验yn是否为[an-1,an]的概率中心，
即
an an1
(x
yn1 )
p(x)dx
0
是否成立，或在允许的一定误差范
围内成立。
6）若步骤（5）满足，则过程结束，否则，重新选y0。
2 e2
量化器的工作区域：
1. 正常量化区：
x [a0, an ] 量化器能得到正常量化。
2. 限幅区： x a0或x an 量化器处于限幅或过载工 作状态，产生较大失真。
3. 空载区： / 2 x ai / 2
（1）当x=ai时，量化器输出在两个量化级间往返跳动， 形成一个矩形输出，结果将产生点状噪声。
1.波形信源：
2.描述:
x(t) { xv(t1 ), xv(t2 ),L , xv(tn )}
在一个具体的时间点ti ，{x(ti)} 为一个取值 连续的随机变量，可用有限维概率密度函数族
描述：
p1 p2
x1 , x1 ,
t1 t1
,
x2
,
t2
M
pn
x1
,
x2
,L
, xn , t1 , t2 ,L