第七章_保真度准则下的信源编码

i=1 j=1
若平均失真度 D 不大于我们所允许的失真D，我们 称此为保真度准则，即
D≤D
凡满足保真度准则的这些试验信道称为D失真许可的试验 信道。把所有D失真许可的试验信道组成一个集合，用符 号 BD 表示。
7.2 信息率失真函数及其性质
7.2.1 信息率失真函数
当信源和失真函数给定后，我们总希望在满足保真 度准则下寻找平均互信息的最小值。也就是在 BD 中找 一个信道，使平均互信息取极小值。这个最小值就是 在 D ≤ D 的条件下，信源必须传输的最小平均信息 量。
d (ui , v j ) ≥ 0 称为单个符号的失真度（或称失真函数）
失真函数用来表征信源发出一个符号 ui ，而在接收 端再现成符号 v j 所引起的误差或失真。d 越小表示失真 越小，等于0表示没有失真。
可以将所有的失真函数排列成矩阵的形式：
⎡ d (u1, v1) d (u1, v2 ) ... d (u1, vs )⎤
1、符合实际信源的R(D)函数的计算相当困难。 1）需要对实际信源的统计特性有确切的描述 2）需要对符合主客观实际的失真给予正确的描述 3）即使满足了前两条，R(D)的计算也比较困难
2、即使求得很好的R(D)函数，还需要研究采取何种编 码方法才能达到极限值R(D)。
5
这种编码方法，可以看成是一种特殊的试验信道
⎧1 P(vj / ui ) = ⎨⎩0
vj ∈C,vj = f (ui ) vj ≠ f (ui )
4
单个符号的平均失真度
d (C) = 1 ∑ P(U )P(V /U )d[u, f (u)] NU
= 1 ⋅ 1 [0 + 1 + 1 + 1 + 0 + 1 + 1+ 1] = 1

一.填空题（每空1分，共20分）1.香农信息论的三个基本概念分别为_______________ 、_____________ 、 ____________ 。

2•对离散无记忆信源来说，当信源呈_______________ 分布情况下，信源熵取最大值。

3•写出平均互信息的三种表达公式________________ 、_____________ 、 ____________ 。

4.若连续信源输出的平均功率和均值被限定，则其输出信号幅度的概率密度函数为______________ 时，信源具有最大熵值；若连续信源输出非负信号的均值受限，则其输出信号幅度呈____________ 分布时，信源具有最大熵值。

5. ________________________________ 信道容量是为了解决通信的_________________________ 问题，而信息率失真函数是为了解决通信的___________ 问题。

6. ______________________________________________________ 费诺编码比较适合于的信源。

7•无记忆编码信道的每一个二元符号输出可以用多个比特表示，理想情况下为实数，此时的无记忆二进制信道又称为__________________________ 。

&差错控制的4种基本方式是：_________________ 、_____________ 、 ____________ 、______________ 。

9 . （n,k）线性码能纠t个错误，并能发现I个错误（l>t）,码的最小距离为：10.循环码码矢的i次循环移位等效于将码多项式乘___________________ 后再模______________ 。

二.简答题（每小题5分，共30分）1 •分别说明平均符号熵与极限熵的物理含义并写出它们的数学表达式。

2•写出二进制均匀信道的数学表达式，并画出信道容量C与信道转移概率 p的曲线图。

《信息论基础》参考答案一、填空题1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。

2、信源的剩余度主要来自两个方面，一是信源符号间的相关性,二是信源符号的统计不均匀性。

3、三进制信源的最小熵为0，最大熵为bit/符号。

4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r （S））。

5、当R=C或（信道剩余度为0）时，信源与信道达到匹配.6、根据信道特性是否随时间变化,信道可以分为恒参信道和随参信道。

7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。

8、若连续信源输出信号的平均功率为，则输出信号幅度的概率密度是高斯分布或正态分布或时，信源具有最大熵，其值为值。

9、在下面空格中选择填入数学符号“”或“"（1）当X和Y相互独立时，H（XY)=H(X）+H（X/Y）=H（Y)+H（X）。

（2)（3）假设信道输入用X表示，信道输出用Y表示.在无噪有损信道中，H(X/Y)〉 0, H（Y/X)=0,I(X；Y）<H(X)。

二、若连续信源输出的幅度被限定在【2，6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少.=2bit/自由度该信源的绝对熵为无穷大.三、已知信源(1）用霍夫曼编码法编成二进制变长码;（6分)（2）计算平均码长;（4分）（3）计算编码信息率；（2分）（4）计算编码后信息传输率；（2分）（5)计算编码效率。

(2分）(1)编码结果为：（2）（3）（4）其中，（5)四、某信源输出A、B、C、D、E五种符号，每一个符号独立出现,出现概率分别为1/8、1/8、1/8、1/2、1/8。

如果符号的码元宽度为0。

5。

计算:（1）信息传输速率。

（2）将这些数据通过一个带宽为B=2000kHz的加性白高斯噪声信道传输，噪声的单边功率谱密度为。

试计算正确传输这些数据最少需要的发送功率P。

解：（1）（2）五、一个一阶马尔可夫信源，转移概率为.（1) 画出状态转移图。

预测编码
最佳量化
不带量化器的DPCM线性预测编码，属于无失真编码系统； 带有量化器的DPCM线性预测编码，属于有失真编码系统。 DPCM线性预测系统是一个负反馈系统，对误差有收敛性。 发送端与接收端之间的误差等于量化误差。 最佳量化器的设计，可利用人眼的视觉可见度阈值和视 觉掩蔽效应等生理特征，来确定量化器的级数和步距，使量 化误差总处于人眼难以觉察的范围内，达到主观评定准则的 要求。
{I (U ,V )} 率失真函数公式 R( D) p (min v|u )B
D
存在符合条件的C2,使pe0
存在符合条件的C3，使D’<D
熵压缩编码
重点介绍三种有代表性的方法 1）量化 标量量化 矢量量化 2）变换编码 3）预测编码 习惯上对把矢量量化和变换编码称为熵压 缩分组编码，预测编码称为熵压缩树码 前面提到就是允许一定D，把熵率压缩最小， 即，使率失真函数最小。
0.0024 99
说法：随k增加，L一M算法明显比均匀量化好， 对无记忆高斯连续信源。标量压缩相当有效，矢 量量化性质同标量量化）（略）
变换编码：
它是熵压缩编码中的一种，还一种是什么 （矢量量化） 思想：（P243）
特点：多了两个限加：
§7.4:限失真信源编码定理－1

限失真信源编码定理

限失真信源编码定理的证明 编码定理－2

限失真信源编码定理

设R(D)为一离散无记忆平稳信源的信息率失真函数， 并且有有限的失真测度。对于任意D≥0，ε＞0，δ ＞0以及任意足够长的码长n，则一定存在一种信源 编码C，其码字个数为: M= exp{n［R(D)+ε］} 而编码后码的平均失真度: d(C)≤D+δ 如果用二元编码，R(D)取比特为单位，则上式M可 写成: M=2{n［R(D)+ε］}