率失真理论和保真度准则下的信源编码定理

《信息论与编码》课程自学报告题目：AAC音频压缩编码学号：xxxxxxxxx姓名：xxxxxxx任课教师：xxxxxxx联系方式：xxxxxxxxxxxxx二零一六年一月一日一、自学内容小结与分析1. 基本概念要想无失真地传送连续信源的消息，要求信息率R 必须为无穷大。

这实际上是做不到的，因此实际通信系统允许一定的失真存在，那么对信息率的要求便可降低，换言之，就是允许压缩信源输出的信息率。

信息率失真理论研究的就是信息率与允许失真之间的关系。

1.1 失真函数与平均失真度为了定量地描述信息率与失真的关系，首先定义失真的测度。

设离散无记忆信源1212 , ,, (),(),,()()n n a a a X p a p a p a P X ⎛⎫⎛⎫= ⎪⎪⎝⎭⎝⎭。

信源符号通过信道传送到接收端Y ，1212 , , , (),(),,()()m m b b b Y p b p b p b P Y ⎛⎫⎛⎫= ⎪ ⎪⎝⎭⎝⎭。

对于每一对(),i j a b ，指定一个非负的函数(),0i j d a b ≥ (1) 称d(a i ,b j )为单个符号的失真度或失真函数。

用它来表示信源发出一个符号a i ，而在接收端再现b j 所引起的误差或失真。

由于a i 和b j 都是随机变量，所以失真函数d(a i ,b j )也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真度，记为11[(,)]()(/)(,)nmi j i j i i j i j D E d a b p a p b a d a b ====∑∑ (2)1.2 信息率失真函数的定义 1.2.1 D 允许试验信道平均失真由信源分布p(a i )、假想信道的转移概率p(b j /a i )和失真函数d(a i ,b j )决定，若p(a i )和d(a i ,b j )已定，则调整p(b j /a i )使D̅≤D ，称P D ={p (bj ai):D ̅≤D}为D 失真许可的试验信道。

对香农三大定理的分析与探讨摘要本文针对香农三大定理的内容，进行理论分析，探讨了无失真信源编码、有噪信道编码和保真度准则下的信源编码定理。

通过对离散信源熵的分析，延伸到了对扩展信源的理解，同时结合著名的香农公式和信息论与编码的发展史，指出了香农三大定理的意义。

一、香农第一定理香农第一定理主要研究信息的测度，对应的是无失真信源编码定理。

采用无失真最佳信源编码，可以使得用于每个信源符号的编码位数尽可能地小，但它的极限是原始信源的熵值，超过了这一极限就不可能实现无失真的译码。

1.1 离散信源熵1.1.1 信源的概念信源发出消息，消息载荷信息，而消息又具有不确定性，故而可以用随机变量或随机矢量来描述信源输出的消息。

从随机变量出发来研究信息，这正是香农信息论的基本假说。

而离散信源指的是这类信源输出的消息常以一个符号、一个符号的形式出现，这些符号的取值是有限的或者是可数的。

单符号离散信源只涉及一个随机事件，多符号离散信源则涉及多个随机事件。

1.1.2 信源熵的概念及其性质在度量信息的各种方法中，香农提出了解决信息度量问题的方法——熵，这是香农信息论最基本的，也是最重要的概念[1]。

信源熵，即信源的信息熵，又称香农熵、无条件熵，简称熵。

信源各个离散消息的自信息量的数学期望是信源的平均信息量，实质上是无记忆信源平均不确定度的度量。

信源熵表示在信源输出消息前，信源的平均不确定度，也表示在信源输出消息后，平均每个离散消息所提供的信息量，能够反映变量的随机性。

当消息出现的概率相同时，猜测每一个消息发生错误的概率均相同，说明等概率信源的不确定性最大，具有最大熵[2]。

1.2 无失真离散信源编码1.2.1 信源编码的概念信源编码处于通信系统的前端，直接对信源发出的信号进行变换处理。

通过压缩每个信源符号的平均比特数或信源的码率，以较少的码率来传送同样多的信息，增加单位时间内传送的平均信息量，来压缩信源的冗余度，从而提高通信的有效性。

1.信源编码的主要目的是提高有效性, 信道编码的主要目的是提高可靠性。

2、信源的剩余度主要来自两个方面, 一是信源符号间的相关性, 二是信源符号的统计不均匀性。

3.三进制信源的最小熵为0, 最大熵为 bit/符号。

4.无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= Hr(S)）。

5.当R=C 或（信道剩余度为0）时, 信源与信道达到匹配。

6.根据信道特性是否随时间变化, 信道可以分为恒参信道和随参信道。

7、根据是否允许失真, 信源编码可分为无失真信源编码和限失真信源编码。

8、若连续信源输出信号的平均功率为 , 则输出信号幅度的概率密度是高斯分布或正态分布或 时, 信源具有最大熵, 其值为值 。

9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时, H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。

（2）()()1222H X X H X =≥()()12333H X X X H X = （3）假设信道输入用X 表示, 信道输出用Y 表示。

在无噪有损信道中, H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。

无穷大。

1、在认识论层次上研究信息的时候, 必须同时考虑到 形式、含义和效用 三个方面的因素。

2、1948年, 美国数学家 香农 发表了题为“通信的数学理论”的长篇论文, 从而创立了信息论。

3、按照信息的性质, 可以把信息分成 语法信息、语义信息和语用信息 。

4、按照信息的地位, 可以把信息分成 客观信息和主观信息 。

5、人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。

6、信息的 可度量性 是建立信息论的基础。

7、 统计度量 是信息度量最常用的方法。

8、 熵 是香农信息论最基本最重要的概念。

9、事物的不确定度是用时间统计发生 概率的对数 来描述的。

10、单符号离散信源一般用随机变量描述, 而多符号离散信源一般用 随机矢量 描述。

随着现代信息技术的不断发展，对原始通过应用密码学、概率论、信息熵、通信系统、随机过程等方法的信息论科目提出了进一步的发展要求。

而编码技术研究的主要内容是如何既可靠又有效地传输信息。

从1948年香农在《贝尔系统技术杂志》上发表了《通信的数学理论》开始。

次年，他又发表了另一篇著作《噪声下的通信》。

人们认为这两篇文章成了现在信息论的奠基著作。

1959年香农发表了“保真度准则下的离散信源编码定理”，首先提出了率失真函数及率失真信源编码定理，此后发展成为信息率失真编码理论。

现在，信息理论广泛应用在通信、计算机等领域，随着通信安全与质量的高要求化，编码技术也在不断地突飞猛进。

编码技术的分类：信源编码、信道编码信源编码：概念：信源编码是一种以提高通信有效性为目的而对信源符号进行有目标的变换。

具体说，就是针对信源的输出符号序列统计特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的符号序列。

作用：信源编码的作用之一是，即通常所说的数据压缩；作用之二是将信源的模拟信号转化成数字信号，以实现模拟信号的数字化传输。

发展：最原始的信源编码就是莫尔斯电码，另外还有ASCII码和电报码都是信源编码。

但现代通信应用中常见的信源编码方式有：Huffman编码、算术编码、L-Z编码，这三种都是无损编码，另外还有一些有损的编码方式。

信源编码的目标就是使信源减少冗余，更加有效、经济地传输，最常见的应用形式就是压缩。

另外，在数字电视领域，信源编码包括通用的MPEG—2编码和H.264（MPEG—Part10 AVC）编码等。

相应地，信道编码是为了对抗信道中的噪音和衰减，通过增加冗余，如校验码等，来提高抗干扰能力以及纠错能力。

分类：信源编码根据信源的性质进行分类，则有信源统计特性已知或未知、无失真或限定失真、无记忆或有记忆信源的编码；按编码方法进行分类可分为分组码或非分组码、等长码或变长码等。

第七章保真度准则下的信源编码7．1．1 失真度(失真函数)与平均失真度1．离散信源单符号的失真度与平均失真度设离散无记忆信源输出随机变量U，U={u1，u2，…，u r}，概率分布为P(u)=[P(u1)，P(u2)，…，P(u r)]，其通过某信道传输到信宿，接收的随机变量为V，V={v1，v2，…，v s}。

(1)离散信源单个符号的失真度它是对应于每一对(u，v)所指定的一个非负函数3．连续信源的失真度和平均失真度设连续信源输出随机变量U，U取值于实数域R，其概率密度分布为p(u)。

通过某连续信道传输到信宿，接收的随机变量为V，V也取值于实数域R。

(1)连续信源的失真度7．1．2 信息率失真函数1．离散信源的信息率失真函数设离散信源输出随机变量U，其概率分布为P(u)，接收随机变量为V，失真测度为d(u，v)，则信息率失真函数7．1．3 信息率失真函数的特性7．1．4 R(D)函数的参量表述及其计算1．离散信源已知信源的概率分布P(u)和失真函数d(u，v)，离散信源的R(D)函数是选取试验信道P(v|u)满足斜率S必为非正的。

当D由D min增大到D max时，S的数值也随之S min= -∞增至S max=0。

除某些特例外，S在D=D max处是不连续的，从某一负值跳到零。

2．连续信源已知连续信源概率密度函数p(u)和失真函数d(u，v)，连续信源的R(D)函数是在概率密度函数p(v|u)满足3．差值失真度下连续信源的香农下界限连续信源U，u∈R，概率密度函数p U(u)。

其失真函数为差值量度的函数4．高斯波形信源信源输出的是一个均值为零的平稳高斯随机过程{U(t)，-∞<t<∞}。

在均方误差失真度下，信息率失真函数和平均失真度的参量表达式7．1．5 常见信源的R(D)函数1．二元离散对称信源U7．1．6 保真度准则下信源编码定理(香农第三定理)1．保真度准则下信源编码定理及其逆定理保真度准则下信源编码定理又称限失真信源编码定理：离散信源的信息率失真函数为R(D)，并有有限的失真函数。

现代通信与香农三大定理姓名：杨伟章学号：201110404234摘要：当我们提起信息论，就不得不把香农和信息论联系在一起，因为正是香农为通信理论的发展所做出的划时代贡献，宣告了一门崭新的学科——信息论的诞生。

从此，在香农信息论的指导下，为了提高通信系统信息传输的有效性和可靠性，人们在信源编码和信道编码两个领域进行了卓有成效的研究，取得了丰硕的成果。

其实，信息论是人们在长期通信实践活动中，由通信技术与概率论、随机过程、数理统计等学科相互结合而逐步发展起来的一门新兴交叉学科。

关键词：信息论基础现代通信系统香农三大定理上个世纪四十年代，半导体三极管还未发明，电子计算机也尚在襁褓之中。

但是通信技术已经有了相当的发展。

从十九世纪中叶，电报就已经很普遍了。

电报所用的摩斯码（Morse Code），就是通信技术的一项杰作。

摩斯码用点和线（不同长度的电脉冲）来代表字母，而用空格来代表字母的边界。

但是每个字母的码不是一样长的。

常用的字母E只有一个点。

而不常用的Z有两划两点。

这样，在传送英语时，平均每个字母的码数就减少了。

事实上，摩斯码与现代理论指导下的编码相比，传送速度只差15%。

这在一百五十多年前，是相当了不起了。

在二次世界大战时，雷达和无线电在军事上广泛应用。

无线电受各种噪声的干扰很厉害，这也给通讯技术提出了新的课题。

各种不同的调制方式也纷纷问世。

于是就出现了这样一个问题：给定信道条件，有没有最好的调制方式，来达到最高的传送速率？“传输速率是波特率与每波特所含比特数的乘积。

波特率受频宽的限制，而每波特所含比特数受噪声的限制。

”前一个限制，由那奎斯特（Harry Nyquist）在1928年漂亮地解决了。

而后一个问题则更复杂。

1928年，哈特利（R. V. L. Hartley）首先提出了信息量的概念，并指出编码（如摩斯码）在提高传送速度中的重要作用。

但是他未能完整定量地解决这个问题。

二战期间，维纳（Norbert Wiener）发展了在接收器上对付噪声的最优方法。

《信息论与编码》课程自学报告题目：信息论与编码自学报告学号：姓名：任课教师：联系方式：二零一四年2 月15 日1 自学内容阐述1.1 信息率失真函数1.1.1 失真函数与平均失真度失真函数：设离散信源概率分布为： 经信道传输后输出序列为: ，对任一 指定一个非负数 称为单个符号的失真度（或称失真函数）。

失真函数用来表征信源发出一个符号i a ，而在接收端再现成符号j b 所引起的误差或失真。

d 越小表示失真越小，等于0表示没有失真。

可以将所有的失真函数排列成矩阵的形式： 平均失真度：由于i a 和j b 都是随机变量，所以失真函数),(j i b a d 也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真度，记为1.1.2 信息率失真函数的定义由于互信息取决于信源分布和信道转移概率分布，当信源的分布概率已知时，互信息I 是关于p(bj/ai) 的下凸函数，存在极小值。

该最小的互信息就称为信息率失真函数R(D)： 对于离散无记忆信源，R(D)可以写成：);(m in )()()/(N N P p N Y X I D R N D i j ∈=αβ1.1.3 信息率失真函数的性质 率失真函数的定义域： 。

允许失真度D 的下限可以是零，即不允许任何失真的情况。

率失真函数对允许平均失真度的下凸性：设21,D D 为任意两个平均失真，10≤≤a ，则有： )(,),(,),(),( , , , , ,)( 2121⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡n i n i a p a p a p a p a a a a X P X }...{21m b b b Y =),(j i b a 0),(≥ji b a d ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=),(...),(),(............),(...),(),(),(...),(),(][212221212111m n n n m m b a d b a d b a d b a d b a d b a d b a d b a d b a d D ∑∑∑∑====-===n i mj j i i j i n i m j j i j i ji b a d a b p a p b a d b a p b a d E D 1111),()/()(),()()],([);(min )()/(Y X I D R D i j P a b p ∈=min max 0D D D ≤≤≤1212((1))()(1)()R aD a D aR D a R D +-≤+-率失真函数的单调递减和连续性：由信息率失真函数的下凸性可知， R(D)在),(max min D D 上连续。