第6章 限失真信源编码
一、例题：
【例6.1】 二元对称信源，信源{0,1}U =，接收变量{0,1}V =，在汉明失真定义下，失真函数为：
(0,0)(1,1)0d d ==，(0,1)(1,0)1d d ==
其失真矩阵为
011
0⎡⎤=⎢
⎥⎣⎦
D 容易看出：对于离散对称信源，其汉明失真矩阵D 为一个方阵，且对角线上的元素为零，即：
011110111
1011
1
1
0⎡⎤
⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦
D
【例6.2】 信源U ＝{0,1,2}，接收变量V ＝{0,1,2},失真函数为2
(,)()i j i j d u v u v =-，求失真矩阵。由失真定义得：
d (0,0)＝d (1,1)＝d (2,2)＝0
d (0,1)＝d (1,0)＝d (1,2)＝d (2,1)＝1 d (0,2)＝d (2,0)＝4
所以失真矩阵D 为
141
014
1
4⎡⎤
⎢⎥=⎢⎥⎢⎥⎣⎦
D
【例 6.3】 离散无记忆信源输出二维随机序列12()U U =U ，其中(1,2)i U i =取自符号集
{0,1}，通过信道传输到信宿，接收N 维随机序列12()V V =V ，其中(1,2)i V i =取自符号集
{0,1}，定义失真函数
(0,0)(1,1)0(0,1)(1,0)1
d d d d ====
求符号序列的失真矩阵。
解： 由N 维信源序列的失真函数的定义得
1
1(,)(,)(,)
,k
k N
N N i j i j k d d d u
v N
αβ===
∈∈∑u v u U v V
所以
[][]1(00,00)(0,0)(0,0)0211(00,01)(0,0)(0,1)2
2
N N d d d d d d =+==
+=
类似计算其他元素值，得到信源序列的失真矩阵为
11012211012211102211102
2
N
⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢
⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣
⎦
D
【例6.4】 设信源符号有8种，而且等概率，即1()8
i P u =
。失真函数定义为
0(,)1i j i j
d u v i j =⎧=⎨≠⎩
假如允许失真度12
D =，即只要求收到的符号平均有一半是正确的。我们可以设想这
样的方案：
方案一：对于1234,,,u u u u 这四个信源符号照原样发送，而对于5678,,,u u u u 都以4u 发送。如图6.1(a )所示。
方案二：对于1234,,,u u u u 这四个符号照原样发送，而对于5678,,,u u u u 分别以
1234,,,u u u u 发送。如图6.1(b )所示。
1u 1u 2u 2u 3u 3u 4u 4
u 5u 6u 7u 8
u 1u 1u 2u 2u 3u 3u 4u 4
u 5u 6u 7u 8
u
(a ) 方案一 (b ) 方案二
图6.1 例6.4有失真信源编码方案
如果进行无失真编码，即无失真传送这个信源，编码信息率为2log 83=比特/信源符号。在上述要求下，试问需要多少信息率？
方案一编码后需要的信息率为
12341
115(,,,),
,,
1.5498
888R H u u u u H ⎛⎫
'=== ⎪⎝⎭
比特/信源符号 方案二编码后需要的信息率为
()12341
111,,,,
,
,
24
444R H u u u u H ⎛⎫
'=== ⎪⎝⎭
比特/信源符号 可见，限失真信源编码需要的信息率小于信源熵()H U ，而且不同的编码方案可能得到不同的信息率R '。
【例6.5】 设二元对称信源{0,1}U =，其概率分布[]()P u ωω=，2
1≤
ω。而接收
变量{0,1}V =，设汉明失真矩阵为
11
0D ⎡⎤=⎢
⎥⎣⎦
计算这个信源的m in D 和m in ()R D 。
解： 因为最小允许失真度
min 1
()m in (,)0r
i
i
j
j
i D P u d u v
==
=∑
并能找到满足该最小失真的试验信道，且是一个无损无噪的试验信道，信道矩阵为
100
1⎡⎤=⎢
⎥⎣⎦
P 因此
{}(|)(0)m in
(;)()()j i D
P v u B R I U V H U H ω∈=
=
=
【例6.6】 设二元对称信源{}0,1U =，其概率分布[]()P u ωω=，2
1≤
ω。而接收
变量{}0,1V =，采用汉明失真测度，计算m ax D 和max ()R D 。
解： 可计算出最大允许失真度为
[][]m ax m in ()m in
()(,)
m in (0)(0,0)(1)(1,0);(0)(0,1)(1)(1,1)m in (1);V
V
U
D d v P u d u v P d P d P d P d ωωω
'===++=-=∑∑ 要达到最大允许失真度的试验信道，唯一确定为
010
1⎡⎤=⎢
⎥⎣⎦
P 即这个试验信道能正确传送信源符号1u =，而传送0u =时，接收信号一定为1v =。那么，凡发送符号0u =时，一定都错了。而0u =出现的概率为ω，所以信道平均失真为ω。在这种试验信道条件下，可计算得
max ()()(;)0R D R I U V ω===
【例 6.7】 某二元对称信源()⎥⎦
⎤
⎢⎣⎡=⎥⎦⎤⎢
⎣⎡75.025
.010
U u P ，采用汉明失真。假设允许失真度1.0D =，试分析信息源所能压缩的理论极限值为多少？
分析：在保真度准则下信息源所能压缩的理论极限值，就是()D R 函数。
解：该二元对称信源的率失真函数为
