信息论与编码答案傅祖芸
【篇一：信息论与编码课程设计报告】
t>设计题目：统计信源熵与香农编码
专业班级学号学生姓名指导教师教师评分
2014年3月24日
目录
一、设计任务与要求................................................. 2 二、设计思路....................................................... 2 三、设计流程图..................................................... 3 四、程序运行及结果................................................. 5 五、心得体会....................................................... 6 参考文
献 .......................................................... 6 附录：源程序.. (7)
一、设计任务与要求
1、统计信源熵
要求：统计任意文本文件中各字符（不区分大小写）数量，计算字
符概率，并计算信源熵。 2、香农编码
要求：任意输入消息概率，利用香农编码方法进行编码，并计算信
源熵和编码效率。
二、设计思路
1、统计信源熵：
统计信源熵就是对一篇英文文章（英文字母数为n），通过对其中
的a,b,c,d/a,b,c,d.....(不区分大小写)统计每个字母的个数n，有这个
公式p=n/n可得每个字母的概率，最后又信源熵计算公式h（x）=??p(xi)logp(xi)
i?1n
，
可计算出信源熵h,所以整体步骤就是先统计出英文段落的总字符数，在统计每个字符的个数，即每遇到同一个字符就++1，直到算出每个
字符的个数，进而算出每个字符的概率，再由信源熵计算公式计算
出信源熵。 2、香农编码：
香农编码主要通过一系列步骤支出平均码长与信源之间的关系，同
时使平均码长达到极限值，即选择的每个码字的长度ki满足下式：
i(xi)?ki?i(xi)?1,?i
具体步骤如下：
a、将信源消息符号按其出现的概率大小依次排列为：
p1?p2?......?pn b、确定满足下列不等式的整数码长ki
为：?lb(pi)?ki??lb(pi)?1 c、为了编成唯一可译码，计算第i个消息
的累加概率：pi??p(ak)
k?1i?1
d、将累加概率pi变换成二进制数。
e、取pi二进制数的小数点后ki位即为该消息符号的二进制码字。
在香农编码中对于求解编码效率主要是依靠这个公式:r=h(x)/k,其中
k??p(aik)i
i?1n
h（x）=??p(xi)logp(xi)
i?1n
对于求解信源熵主要依靠公式：，
三、设计流程图
1、统计信源熵：
2、香农编码
【篇二：信息论与编码论文(香农信息论对现代的影响)】txt>摘要：1948年香农在bell system technical journal上发表了
《a mathematical theory of communication 》。论文由香农和威
沃共同署名。这篇奠基性的论文是建立在香农对通信的观察上，即“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文
应该精确地或者近似地重现”。这篇论文建立了信息论这一学科，给
出了通信系统的线性示意模型，即信息源、发送者、信道、接收者、信息宿，这是一个新思想。此后，通信就考虑为把电磁波发送到信
道中，通过发送1和0的比特流，人们可以传输图像、文字、声音
等等。今天这已司空见惯，但在当时是相当新鲜的。他建立的信息
理论框架和术语已经成为技术标准。他的理论在通信工程师中立即
获得成功，并刺激了今天信息时代所需要的技术发展。
关键词：香农、通信、编码
abstract: in 1948, shannon bell system technical journal published a mathematical theory of communication. paper co-signed by the hong farmers. this ground-breaking paper is based on shannons observation of the communication that the fundamental problem of communication is the message of regeneration, at some point with another point to report the
selected text should be reproduced exactly or approximately. this paper established the discipline of information theory,
given the linear signal model of communication system, that information source, sender, channel, receiver, message places, this is a new idea. since then, the communication to consider the electromagnetic waves sent to the channel, by sending a stream of bits 1 and 0, one can transfer images, text, and so on. it has become commonplace today, but was very fresh. he established the theoretical framework and terminology of information technology has become the standard. his theory in communications engineer in immediate success, and stimulate the need for the information age of todays technology.
keywords: shannon、communications、coding
信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科
学家香农在他1948年的著名论文《通信的数学理论》所定义的，它
为信息论奠定了理论基础。后来其他科学家，如哈特莱、维纳、朗
格等人又对信息理论作出了更加深入的探讨。使得信息论到现在形
成了一套比较完整的理论体系。
上个世纪四十年代，半导体三极管还未发明，电子计算机也尚在襁
褓之中。但是通信技术已经有了相当的发展。从十九世纪中叶，电
报就已经很普遍了。电报所用的摩斯码（morse code），就是通信
技术的一项杰作。摩斯码用点和线（不同长度的电脉冲）来代表字母，而用空格来代表字母的边界。但是每个字母的码不是一样长的。常用的字母e只有一个点。而
不常用的z有两划两点。这样，在传送英语时，平均每个字母的码
数就减少了。事实上，摩斯码与现代理论指导下的编码相比，传送
速度只差15%。这在一百五十多年前，是相当了不起了。
除了用点，划来表示两个状态外，后来的电报也用极性相反的电流
来代表这两个状态，从而使“点”和“划”都能用短的脉冲来表达，加
快了传送速度。爱迪生更发明了用四个不同的电流值来同时传输两
路电报。这和今天用的数字调幅（ask）很像，只是没有载波而已。
另一方面，电话在二十世纪初也迅速发展。电话公司通过在不同载
波上的调制，可以用一路电线传输多路电话。
在二次世界大战时，雷达和无线电在军事上广泛应用。无线电受各
种噪声的干扰很厉害，这也给通讯技术提出了新的课题。各种不同
的调制方式也纷纷问世。于是就出现了这样一个问题：给定信道条件，有没有最好的调制方式，来达到最高的传送速率？
在这种情况下，香农（claude e shannon）在1948年发表了《通
信的一个数学理论》，完整地解决了通讯速度上限的问题。“信息论”（information science）从此诞生。
要建立信息理论，首先要能够度量信息。信息是由信号传播的。但
是信息与信号有本质的区别。所以如何度量一个信号源的信息量，
就不是简单的问题。从直觉上说，如果一个信号源发出不变的符号
值（比如总是1），它是没有信息量的，因为它没有告诉别人任何东西，而且如果信号源发出的符号值是变化的但是可以预计的（比如
圆周率的数字序列），那也是没有信息量的，因为我不需要接受任
何东西，就可以把这些符号值重复出来。而且，即使信号源发出的
符号不是完全可确定的，它的信息量也和“确定”的程度有关。例如，如果一个地方90%的时候是晴天，气象报告就没有多大用处。而如
果50%的时候是晴天其余时候下雨，人们就需要气象报告了。
从这点出发，香农就把信息量与信号源的不确定性，也就是各个可
能的符号值的几率分布联系起来。他从直观上给出了信息量需要满
足的几个简单的数学性质（如连续性，单调性等），而给出了一个
唯一可能的表达形式。
那么这样定义的信息量与我们通常所说的数据量，也就是需要多少
比特来传送数据，有什么关系呢？（比特就是二进制数据的位数）。为此，我们来看看一个含有固定符号数的序列（也就是信号或码字）。由于每个符号值的出现是随机的，这样的序列就有很多可能性。显然，每个可能的符号在序列中出现次数，对于所有可能序列
的平均值正比于符号出现的几率。我们把每个符号出现次数“正好”
等于其次数平均值的序列叫做“典型序列”，而其他的就叫作“非典型
序列”。而数学上可以证明，当n趋于无穷大时，“非典型序列”出现
的几率趋于零。也就是说，我们只要注意“典型序列”就行了。而典
型序列的个数，就是它们出现概率的倒数（因为总概率为1）。而码
字所携带的数据量，就是它的个数以2为底的对数。所以，这样的
分析就得出了序列所含的数据量。除以序列的长度，就得到每个符
号所含的数据量。而这个结果恰好就等于上面所说的信息量！
至此，香农开创性地引入了“信息量”的概念，从而把传送信息所需
要的比特数与信号源本身的统计特性联系起来。这个工作的意义甚
至超越了通信领域，而成为信息储存，数据压缩等技术的基础。解
决了信号源的数据量问题后，我们就可以来看信道了。信道（channel）的作用是把信号从一地传到另一地。在香农以前，那奎
斯特已经证明了：信道每秒能传送的符号数是其频宽的一半。但问
题是，即使这些符号，也不是总能正确地到达目的地的。在有噪声
的情况下，信道传送的信号会发生畸变，而使得接收者不能正确地
判断是哪个符号被发送，对付噪声的办法是减少每个符号所带的比
特数：
“而每个波特所含的比特数，则是受噪声环境的限制。这是因为当每
个波特所含的比特数增加时，它的可能值的数目也增加。这样代表
不同数据的信号就会比较接近。例如，假定信号允许的电压值在正
负1伏之间。如果每个波特含一个比特，那么可能的值是0或1。这样
我们可以用-1伏代表0，用1伏代表1。而假如每波特含两个比特，
那么可能的值就是0，1， 2，3。我们需要用-1伏，-0.33伏，0.33伏，1伏来代表着四个可能值。这样，如果噪声造成的误差是0.5伏
的话，那么在前一种情况不会造成解读的错误（例如把-1v错成了-
0.5伏，它仍然代表0）。而在后一种情况则会造成错误（例如把-1v 错成了-0.5伏，它就不代表0，而代表1了）。所以，每个波特所含
的比特数也是不能随便增加的。以上两个因素合起来，就构成了对
于数据传输速率的限制。”
其实，除此之外，还有一个对付噪声的办法，就是在所有可能的符
号序列中只选用一些来代表信息。例如，如果符号值是0和1，那么
三个符号组成的序列就有8个：000，001，010，011，100，101，110，111。我们现在只用其中两个来代表信息：000和111。这样，如果噪声造成了一个符号的错误，比如000变成了010，那我们还
是知道发送的是000而不是111。这个方法的代价与前面的方法一样，就是降低了传送速率。这种选取特定序列，而不是使用所有序
列的方法称为编码。以上的例子，是一个极为简单的码，远非最优。可见，用降低速率来减少错误的方法有很多选项。那么怎样才能达
到速度和准确度之间最好的权衡呢？这看来是一个非常棘手的问题。然而，香农却得出了一个非常简明的结论：对于一个信道，有这样
一个速率（称为信道的容量）：一定有一个方法能在这个速率以下
传送数据而误差的几率达到任意小；而超过这个速率的话，误差的
几率就一定会大于某个下限。也就是说，香农同时给出了无错误的
条件下传送速度的上限（即不可能超过）和下限（即有办法达到），而这两者是同一个值！
不仅结论出乎意料地简单，香农的证明也是如此。他的基本思路是：噪声使得接收端收到信号后，对于所发送的信号仍然有个不确定性。也就是说，一个收到的序列可能对应多个发送的序列。这个对应的
个数可以用上面讲到的“典型序列”的个数来估计。因为如此，我们
只能用这多个发送序列之中的一个来作为码字，代表要传送的信息，而其余都弃之不用。这样才能避免混淆。所以，我们的传送速率就
要降低了。这个直观解释听起来简化得离谱。我们知道，随机过程
是很复杂的，怎么可能用平均值就搞定呢？然而，香农在数学上严
格地证明了这些结论。关键在于：他考虑序列长度趋向于无穷的情况。这样，在样本数量趋于无穷的情况下，实际情况偏于平均值的
几率趋向于零。所以说，香农的简化显示他真正抓住了问题的关键。对于通常遇到的信道，香农定理说：信道容量（即最高传送速率）
与频宽成正比，与信噪比的对数（底数为2）成正比。信噪比是在接
收端信号功率与噪声功率的比。增加发射功率能增加信噪比从而增
加容量，但因为是对数关系，不是那么有效。而增加频宽则是线性
地增加容量。通常，频率较低的频道频宽也小。如前一讲中提到的
调幅（am）广播，在几百千赫频段，频宽是20千赫。而调频（fm）广播是在一百兆赫频段，频宽是200千赫。这就是调频广播音质较
好的主要原因。所以现代的数字通信服务不断往高频段扩展（目前
已到2千兆赫）。当我们听到某个服务能提供更高速率的时候，并
不等于它使用了性能更好的技术。很可能它只是用了更宽的频道而已。
香农完美地给出了信道容量，所以有人说他“开创并结束”了信息论。但是香农还是留下了一些困难的问题。比如，当信道随时间变化时，应用香农理论就远不是直截了当的。最重要的，是为了达到香农极限，我们处理的符号序列必须无限长。而实际上，信道编码的长度
受着传送延迟和系统复杂性的限制。在这样的限制下，如何达到最
高的传送速度？六十年后的今天，人们还在为此奋斗。
参考文献：1.傅祖芸.信息论—基础理论与运用.北京：电子工业出版社,2009
2.王育民，梁传甲编著.信息与编码理论.西安：西安电子科技大学出
版社，1986
3．王新梅.纠错码与差错控制.北京：人民邮电出版社，2001
4．张宗橙.纠错编码原理与应用.北京：电子工业出版社，2003
【篇三：信息论与编码教学大纲】
t>电子信息工程专业（本科）
课程编号：（）
课程名称：信息论与编码参考学时：52其中实验或上机学时：0 说
明部分
1．课程性质
本课程是电子信息类专业的技术基础课
2．课程教学的目的及意义
人类社会的生存和发展无时无刻都离不开信息的获取、传递、处理、控制和利用。特别是迈入21世纪――高度信息化时代，信息的重要
性更是不言而喻。信息业的发展，需要大量从事信息、通信、电子
工程类专业的人才，而《信息论和编码》课程为电子信息工程学科
的基础课，同时也可作为信息科学其它相关学科的选修课，掌握它，可以指导理论研究和工程应用。
本课程注重基本概念、基本理论和基本分析方法的论述，并结合实
例建立数学模型，给出推演过程，力求物理概念清晰、数学结构严
谨和完整、逐步深入展开。通过该课程的学习，使学生掌握香农信
息论的三个基本概念，与之相应的三个编码定理，以及信源编码、
信道编码和信息保密编码的基本理论和主要方法，培养学生能够适
应数字通信、信息处理、信息安全、计算机信息管理等编码工作的
要求。使学生掌握信息理论的基本概念和信息分析方法及主要结论，为今后从事信息领域的科研和工程工作进一步研究打下坚实的理论
基础。
3．教学内容及教学要求
该课程是电子信息工程、信息安全工程专业的专业课。是为了适应
数字通信、信息处理和信息安全等方面的专业需要开设。该课程着
重介绍信息论应用概率论、随机过程和现代数理统计方法，研究信
息提取、传输和处理的一般规律，提高信息系统的有效性和可靠性，实现信息系统的最优化。
信息论是现代通信与信息工程的理论基础，主要内容包括：信息的
定义和测度；各类离散信源和信息熵；剩余度；信道和互信息；平
均互信息和信道容量；数据处理和信息测量理论；信息率失真函数
和数据压缩原理；离散信源无失真和限失真信源编码理论和编码方法；离散有噪信道编码理论和编码原则。
教学基本要求：
了解通信系统各部分的主要组成以及作用、香农的三大编码定理；
掌握各类离散信源和信息熵、信道及其信道容量、信息率失真函数和数据压缩原理、离常用的无失真信源编码方法、纠错码基本思想及常用的纠错编码方法。
4. 教学重点、难点
教学重点：
信息以及失真的测度、信道及信道容量、无失真信源编码方法以及有噪信道编码方法。教学难点：
?典型序列以及由此推导出的香农三大编码定理及其逆定理。
5. 教学方法及教学手段
课堂讲学为主，习题讲解为辅。
6. 教学学材及主要参考书
1. 傅祖芸编著，《信息论－基础理论与应用》，北京：电子工业出版社，2001年
2. 姜丹，《信息论与编码》，合肥，中国科学技术大学出版社，2001年
3. 曹雪虹，张宗橙，信息论与编码，北京，清华大学出版社，2004年
7. 其它
考核形式：考试（笔试），教学环境：课堂
本课程应开设在概率论与随机过程等数学学科信号与系统之后，是数字图像处理的基础课程。
总学时数
课程总学时数： 52
其中，课堂讲授： 46作业：6
二、正文部分
第一章：绪论
一、教学要求
了解信息论研究对象、目的、发展简史与现状；
了解通信系统的模型以及通信系统各部分的主要组成以及作用
二、教学内容
第一节信息的概念
知识要点：信息的概念及自信息
第二节信息论研究的对象、目的和内容
知识要点：信息论研究的对象、目的和内容
第三节：信息论发展简史
知识要点：信息论发展简史
三、本章学时数
2学时
第二章：离散信源及其测度
一、教学要求
了解信源的相关性和剩余度的概念，信息的概念，信息，信号，消息，数据的关系与联系。
掌握信源的数学模型、离散无记忆信源、离散平稳信源和马尔可夫信源基本理论。
二、教学内容
第一节信源的数学模型及分类
知识要点：信源的数学模型，离散无记忆信源及其扩展信源。
第二节信息熵及其基本性质
知识要点：自信息及信息熵离散无记忆扩展信源熵，熵的基本性质及最大离散熵定理。
第三节离散平稳信源
知识要点：离散平稳信源定义，联合熵，条件熵以及极限熵。
第四节马尔可夫信源
知识要点：马尔可夫信源定义，马尔可夫信源熵
第四节信息剩余度
知识要点：信息剩余度以及自然语言熵
三、本章学时数
8学时
第三章：离散信道及其信道容量
一、教学要求
了解一般信道容量计算。
掌握信道的数学模型，离散无记忆信道以及一些特殊信道容量的计算方法。
二、教学内容
第一节信道数学模型及分类
知识要点：信道数学模型及不同的分类，信道矩阵。
第二节平均互信息及特点
知识要点：信道疑义度，互信息和平均互信息及其特性，平均条件互信息。
第三节信道容量及一般计算方法
知识要点：离散无噪信道及信道容量，对称离散信道、准对称信道的容量计算。
第四节离散无记忆扩展信道及其容量
知识要点：离散无记忆扩展信道及其容量，信源与信道的匹配。
三、本章学时数
6学时
第四章：无失真信源编码
一、教学要求
了解其它一些无失真信源编码方法。
理解渐近等分割性及?典型序列，算术编码方法及具体实现方案；掌握编码的定义，码的分类，定长编码定理，变长编码定理，最佳编码方法：香农编码方法，费诺编码方法，哈夫曼编码方法。
二、教学内容
第一节等长码及等长信源编码定理
知识要点：编码器的概念，码的定义，等长码及等长信源编码定理，?典型序列及其性质，编码效率。
第二节变长码及变长信源编码定理
知识要点：唯一可译码定义及其判断方法，即时码的树图法构造，kraft不等式，紧致码，变长信源编码定理。
第三节编码方法
知识要点：香农编码，费诺编码，香农－费诺－埃利斯编码，哈夫曼编码，游程编码，算术编码和其它一些编码方法。
三、本章学时数
10学时
第五章：有噪信道编码
一、教学要求
了解检错码与纠错码的方法。
理解渐近等分割性及?典型序列。
掌握的重点内容有：有噪离散信道的编码定理，差错控制与信道编译码的基本原理，线性分组码，卷积码，网格编码调制与级联码简介。
二、教学内容
第一节错误概率与译码规则和编码方法
知识要点：最小错误概率译码准则，最大似然译码准则，最小距离
译码准则及其之间相互关系，平均译码错误概率，错误概率与译码
规则和编码方法关系，信道编码的编、译基本准则。
第二节有噪信道编码定理
知识要点：有噪信道编码定理及其逆定理，信源信道编码定理。
第三节纠错码
知识要点：纠错码分类，分组码的最小距离与检、纠错能力，分组
码的码率，线性分组码的特性，生成矩阵和一致监督矩阵及其关系，线性分组码的编、译码方法，汉明码，卷积码及其构造方法。
三、本章学时数
10学时
第六章：波形信源和波形信道
一、教学要求
了解连续信源和波形信源的信息测度，连续信道和波形信道的分类，连续信源熵的变换，连续信道和波形信道的信道容量的计算方法。
掌握连续信源和波形信源的信息测度。
二、教学内容
第一节连续信源和波形信源的信息测度
知识要点：连续信源的差熵、波形信源的差熵和两种特殊信源的差熵。
第二节连续信道和波形信道的分类
知识要点：按噪声统计特性分类，按噪声对信号的作用和功能分类。第三节连续信道和波形信道的信息传输率
知识要点：单符号连续信道的平均交互信息，连续信道的平均交互
信息的特性。
第四节连续信道和波形信道的信道容量
知识要点：单符号高斯加性信道的信道容量，单符号非高斯加性信
道的信道容量，多维无记忆高斯加性信道的信道容量。
三、本章学时数
8学时
第七章：限失真信源编码
一、教学要求
了解保真度准则下的信源编码定理
掌握失真度与平均失真度，信息率失真函数与特性，r(d)函数的参数表述及其计算。
二、教学内容
第一节失真度与平均失真度
知识要点：失真度与平均失真度，d失真许可试验信道。
第二节信息率失真函数与特性
知识要点：信息率失真函数r(d)的定义，离散信源的r(d)函数，高斯连续信源的r(d)函数，r(d)的定义域和单调性等性质。
第三节信息率失真函数的参量表述与计算
知识要点：信息率失真函数的计算
第四节保真度准则下的信源编码定理
知识要点：失真限?典型序列，失真信源编码定理和编码逆定理，有失真信源编码定理的实用意义。
三、本章学时数
8学时
执笔人：胡学友教研室：xxx系主任审核签名：xxx
信息论与编码答案傅祖芸 【篇一：信息论与编码课程设计报告】 t>设计题目：统计信源熵与香农编码 专业班级学号学生姓名指导教师教师评分 2014年3月24日 目录 一、设计任务与要求................................................. 2 二、设计思路....................................................... 2 三、设计流程图..................................................... 3 四、程序运行及结果................................................. 5 五、心得体会....................................................... 6 参考文 献 .......................................................... 6 附录：源程序.. (7) 一、设计任务与要求 1、统计信源熵 要求：统计任意文本文件中各字符（不区分大小写）数量，计算字 符概率，并计算信源熵。 2、香农编码 要求：任意输入消息概率，利用香农编码方法进行编码，并计算信 源熵和编码效率。 二、设计思路 1、统计信源熵： 统计信源熵就是对一篇英文文章（英文字母数为n），通过对其中 的a,b,c,d/a,b,c,d.....(不区分大小写)统计每个字母的个数n，有这个 公式p=n/n可得每个字母的概率，最后又信源熵计算公式h（x）=??p(xi)logp(xi) i?1n ， 可计算出信源熵h,所以整体步骤就是先统计出英文段落的总字符数，在统计每个字符的个数，即每遇到同一个字符就++1，直到算出每个 字符的个数，进而算出每个字符的概率，再由信源熵计算公式计算 出信源熵。 2、香农编码： 香农编码主要通过一系列步骤支出平均码长与信源之间的关系，同 时使平均码长达到极限值，即选择的每个码字的长度ki满足下式： i(xi)?ki?i(xi)?1,?i
2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =， ()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =， ()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2， (1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。 画出状态图，并计算各状态的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01) (10|01)p p == (0|11)(10|11)0.2p p == (0|10)(00|10)p p == (1|00)(01|00)0.2p p == (1|01)(11|01)p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==
第三章 信道容量-习题答案 3.1 设二元对称信道的传递矩阵为? ? ? ???3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1) symbol bit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbol bit x y p x y p x p X Y H symbol bit x p X H j j i j i j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/() /()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167 .03 2 413143)/()()/()()()()(5833.031 413243)/()()/()()()()(/ 918.0 10 log )3 2 lg 324131lg 314131lg 314332lg 3243( ) /(log )/()()/(/ 811.0)41 log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==?+?-=-==?+?=+=+==?+?= +=+==??+?+?+?-=-==?+?-=-=∑∑∑∑ 2) 2 1 )(/ 082.010log )3 2 lg 3231lg 31(2log log );(max 222= =?++=-==i mi x p symbol bit H m Y X I C 3.2 解： (1)αα-==1)(,)(21x p x p ??????=4/14/12/102/12/1P ，?? ? ???---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p 接收端的不确定度： ))1(41 log()1(41)4141log()4141()2log(21)(αααα---++-=Y H )1log(41)1log(4123αααα---++-= (2)
信息论与编码第三版答案 《信息论与编码》是一本非常经典的书籍，已经成为了信息科 学领域中的经典教材。本书的第三版已经出版，相比于前两版， 第三版的变化不小，主要是增加了一些新内容，同时也对一些旧 内容做了修改和完善。 作为一本教材，上面的题目和习题都是非常重要的，它们可以 帮助读者更好地理解书中的相关概念和知识点，同时也可以帮助 读者更好地掌握理论和技术。因此，本文将介绍《信息论与编码》第三版中部分习题的答案，方便读者快速查阅和学习。 第一章：信息量和熵 1.1 习题1.1 Q：两个随机变量的独立性和无关性有什么区别？ A：独立性和无关性是两个不同的概念。两个随机变量是独立的，当且仅当它们的联合概率分布等于乘积形式的边缘概率分布。两个随机变量是无关的，当且仅当它们的协方差等于0。
1.2 习题1.7 Q：什么样的随机变量的熵等于0？ A：当随机变量的概率分布是确定的（即只有一个概率为1，其余全为0），其熵等于0。 第二章：数据压缩 2.5 习题2.9 Q：为什么霍夫曼编码比熵编码更加高效？ A：霍夫曼编码能够更好地利用信源的统计特征，将出现频率高的符号用较短的二进制编码表示，出现频率低的符号用较长的二进制编码表示。这样一来，在编码过程中出现频率高的符号会占用较少的比特数，从而能够更加高效地表示信息。而熵编码则是针对每个符号分别进行编码，没有考虑符号之间的相关性，因此相比于霍夫曼编码更加低效。
第四章：信道编码 4.2 习题4.5 Q：在线性块码中，什么是生成矩阵？ A：在线性块码中，生成矩阵是一个包含所有二元线性组合系 数的矩阵。它可以用来生成码字，即任意输入信息序列可以通过 生成矩阵与编码器进行矩阵乘法得到相应的编码输出序列。 4.3 习题4.12 Q：简述CRC校验的原理。 A：CRC校验是一种基于循环冗余校验的方法，用于检测在数 字通信中的数据传输错误。其基本思想是将发送数据看作多项式 系数，通过对这个多项式进行除法运算，得到余数，将余数添加 到数据尾部，发送给接收方。接收方将收到的带有余数的数据看 做多项式，使用同样的多项式除以一个预先定义好的生成多项式，
2-1、一阶马尔可夫链信源有3个符号 {}123,,u u u ，转移概率为：1 112 ()u p u =， 2112()u p u =，31()0u p u =，1213()u p u = ，22()0u p u =，3223()u p u =，1313()u p u =，2323()u p u =，33()0u p u =。画出状态图并求出各符号稳态概率。 解：由题可得状态概率矩阵为： 1/21/2 0[(|)]1/302/31/32/30j i p s s ????=?? ???? 状态转换图为： 令各状态的稳态分布概率为1W ，2W ，3W ，则： 1W = 121W +132W +133W ， 2W =121W +233W , 3W =2 3 2W 且：1W +2W +3W =1 ∴稳态分布概率为： 1W =25，2W =925，3W = 6 25 2-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为： P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。 解：状态转移概率矩阵为： 令各状态的稳态分布概率为1w 、2w 、3w 、4w ，利用（2-1-17）可得方程组。 111122133144113 211222233244213 311322333344324411422433444424 0.80.50.20.50.50.20.50.8w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w =+++=+??=+++=+?? =+++=+??=+++=+? 且12341w w w w +++=； 0.8 0.2 0 00 0 0.5 0.5()0.5 0.5 0 00 0 0.2 0.8j i p s s ???? ? ?=????? ?
1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=符号 2．设有一个无记忆信源发出符号A 和B ，已知4 3 41)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( = bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 1614141)(=?=AA p 1634341 )(=?=AB p 1634143)(=?=BA p 1694343)(=?=BB p 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3
一填空题（本题20分，每小题2分） 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 按照信息的地位，可以把信息分成客观信息和主观信息。 人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 信息的可度量性是建立信息论的基础。 统计度量是信息度量最常用的方法。 熵是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。 21、平均功率为P 的高斯分布的连续信源，其信源熵，Hc （X ）=eP π2log 21 2。 22、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。 23、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。 24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功率P 之比 。 25、若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 26、m 元长度为ki ，i=1，2，···n 的异前置码存在的充要条件是：∑=-≤n i k i m 11 。 27、若把掷骰子的结果作为一离散信源，则其信源熵为 log26 。 28、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 log218（1+2 log23）。 29、若一维随即变量X 的取值区间是[0，∞]，其概率密度函数为m x e m x p -=1)(，其中：0≥x ，m 是X 的 数学期望，则X 的信源熵=)(X H C me 2log 。 30、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为 52log 2 。 31、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续 信道。 32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 无记忆 信道。
*** 1 《信息论与编码》课后习题解答 2.2假设一副充分洗乱了的扑克牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52张牌共有52！种排列方式，任一特定的排序方式是等概率出现的，则所给出的信息量是： ! 521)(=i x p bit x p x I i i 581.225!52log )(log )(==-= (2) 52张牌共有4种花色、13种点数，从中抽取13张点数不同的牌的概率如下： bit C x p x I C x p i i i 208.134log )(log )(4)(1352131352 13 =-=-== 2.3 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设随机变量X 代表女孩子学历，则是大学生的概率为P(x)1=0.25，不是大学生的概率为P(x)2=0.75。 设随机变量Y 代表女孩子身高,则身高大于160cm 和小于160cm 的概率分别为P(y 1)=0.5、P(y 2)=0.5 又有已知：在女大学生中有75%是身高160厘米以上的， 即：bit x y p 75.0)/(11= 所以身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15 .075.025.0log )()/()(log )/(log )/(11111111=?-=-=-= 2.4 设离散无记忆信源? ?????=====??????8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？ 解： (1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是： 6 2514814183?? ? ?????? ?????? ??=p 此消息的信息量是：bit p I 811.87log =-= (2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/== 2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？
信息论与编码课后习题答案 第二章 2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解： (1) bit x p x I x p i i i 170.418 1 log )(log )(18 1 61616161)(=-=-== ?+?= (2) bit x p x I x p i i i 170.536 1 log )(log )(36 1 6161)(=-=-== ?= (3) 两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 共有21种组合： 其中11，22，33，44，55，66的概率是36 16161=? 其他15个组合的概率是18 1 61612=? ? symbol bit x p x p X H i i i / 337.4181log 18115361log 3616)(log )()(=??? ?? ?+?-=-=∑
参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下： symbol bit x p x p X H X P X i i i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 36 12 ) (log )()(36112181111211091936586173656915121418133612)(=? ?? ?? +?+?+?+?+?-=-=??????????=? ?????∑(5) bit x p x I x p i i i 710.136 11 log )(log )(3611116161)(=-=-== ??= 2.4 2.12 两个实验X 和Y ，X={x 1 x 2 x 3},Y={y 1 y 2 y 3},l 联合概率(),i j ij r x y r =为 1112132122233132 337/241/2401/241/41/2401/247/24r r r r r r r r r ???? ? ?= ? ? ? ????? （1） 如果有人告诉你X 和Y 的实验结果，你得到的平均信息量是多少？ （2） 如果有人告诉你Y 的实验结果，你得到的平均信息量是多少？ （3） 在已知Y 实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少？
信息论与编码习题解答 第一章 1.一位朋友很不赞成“通信的目的是传送信息”及“消息中未知的成分才算是信息”这些说法。他举例说：我多遍地欣赏梅兰芳大师的同一段表演，百看不厌，大师正在唱的正在表演的使我愉快，将要唱的和表演的我都知道，照你们的说法电视里没给我任何信息，怎么能让我接受呢？请从信息论的角度对此做出解释。（主要从狭义信息论与广义信息论研究的内容去理解和解释） 答：从狭义信息论角度，虽然将要表演的内容观众已知，但是每一次演出不可能完全相同。而观众在欣赏的同时也在接受着新的感官和视听享受。从这一角度来说，观众还是可以得到新的信息的。另一种解释可以从广义信息论的角度来分析，它涉及了信息的社会性、实用性等主观因素，同时受知识水平、文化素质的影响。京剧朋友们在欣赏京剧时也因为主观因素而获得了享受，因此属于广义信息论的范畴。 2．利用下图（图1.2）所示的通信系统分别传送同样时间（例如十分钟）的重大新闻公告和轻音乐，它们在接收端各方框的输入中所含的信息是否相同，为什么？ 图1.2 通信系统的一般框图 答：重大新闻是语言，频率为300~3400Hz，而轻音乐的频率为20~20000Hz。同样的时间内轻音乐的采样编码的数据要比语音的数据量大，按码元熵值，音乐的信息量要比新闻大。但是在信宿端，按信息的不确定度，信息量就应分别对待，对于新闻与音乐的信息量大小在广义上说，因人而异。
第二章 1．一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。（1）一人随手取出3颗，经测量恰好找出了假珠，问这一事件大约给出了多少比特的信息量；（2）不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，问后一事件给出多少信息量；（3）对上述结果作出解释。 解：（1）从240颗珍珠中取3颗，其中恰好有1颗假珠的概率为： 2 2393240 239! 2!237!240!3!237! 11/80240/3 C P C ??= == = 所以，此事件给出的信息量为：I = – log 2P = log 280=6.32 (bit) （2）240颗中含1颗假珠，用天平等分法最多6次即可找到假珠，这是一个必然事件，因此信息量为0。 （3）按照Shannon 对信息量的定义，只在事件含有不确定成分，才有信息量，并且不确定成分越大，信息量也越大，必然事件则没有信息量。但是从广义信息论的角度，如果那个人不知道用天平二分法找假珠，另一个告诉他这个方法，使他由不知道到知道，也应该含有一定的信息量。 2．每帧电视图像可以认为是由3?105个象素组成，所有象素均独立变化，且每一象素又取128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量？如果一个广播员在约10000个汉字的字汇中选取1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，且彼此独立）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？ 解：由于每一象素取128个不同的亮度电平，各个亮度电平等概率出现。因此每个亮度电平包含的信息量为 I (X ) = – lb(1/128)=lb128=7 bit/像素 每帧图像中像素均是独立变化的，因此每帧图像信源就是离散亮度电平信源的无记忆N 次扩展。由此，每帧图像包含的信息量为 I (X N ) = NI (X )= 3?105?7 =2.1?106 bit/帧 广播员在约10000个汉字中选取字汇来口述此电视图像，各个汉字等概分布，因此每个汉字包含的信息量为 I (Y) = – lb(1/10000)=lb1000=13.29 bit/字 广播员述电视图像是从这个汉字字汇信源中独立地选取1000个字进行描述，因此广播员描述此图像所广播的信息量是 I (Y N ) = NI (Y )= 1000?13.29 =1.329 ?104 bit/字 由于口述一个汉字所包含的信息量为I (Y)，而一帧电视图像包含的信息量是I (X N )，因此广播员要恰当地描述此图像，需要的汉字数量为： 65() 2.110 1.5810() 13.29 N I X I Y ?= =?字 3．已知 X ： 1, 0 P (X )： p , 1 – p （1）求证：H (X ) = H (p )
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源） 2.连续信源的熵是（无穷大），不再具有熵的物理含义。 3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性 3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。 4.数据处理过程中信息具有（不增性）。 5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。 6.单符号连续信道的信道容量取决于（信噪比）。 7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。 8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。 9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。 10.立即码指的是（接收端收到一个完整的码字后可立即译码）。 11.算术编码是（非）分组码。 12.游程编码是（无）失真信源编码。 13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。 14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。 15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。 16.卷积码的自由距离决定了其（检错和纠错能力）。 （对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。 （错）3、马尔可夫信源是离散无记忆信源。 （错）4、不可约的马尔可夫链一定是遍历的。 （对）5、单符号连续信源的绝对熵为无穷大。 （错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。 （对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。（对）8、信源X,经过处理后，输出为Y，H(Y)小于H(X),说明信息不增。 （对）9、如果一个消息包含的符号比表达这个消息所需要的符号多，那么该消息存在冗余度。 （错）10、有噪无损离散信道的输入为X,输出为Y，那么其信道容量Ｃ＝ｍａｘＨ（Ｙ）。（错）11、非高斯噪声信道的信道容量比高斯噪声信道的信道容量小。 （对）12、信息率失真函数具有单调递减性。 （错）13、异前缀码不能及时可译。 （对）14、用码树构造的一定是及时码。 （对）15、香农编码压缩了符号相关造成的冗余。 （对）16、有失真信源编码指的是保真度准则下的信源编码。 （对）17、变长无失真信源编码比定长编码的编码效率高。 （错）18、香农编码是最佳编码。 （对）19、卷积、交织都可以达到差错随机化的目的。。 （错）20、卷积码的序列距离决定了其检错和纠错能力。 信息、消息、信号的定义是什么？三者的关系是什么？ 答：定义：信息是指各个事物运动的状态及状态变化的方式。 消息是指包含信息的语言、文字和图像。 信号是消息的物理体现。
第三章习题参考答案 3-1 解：(1)判断唯一可译码的方法：①先用克劳夫特不等式判定是否满足该不等式；②若满足再利用码树，看码字是否都位于叶子结点上。如果在叶节点上则一定是唯一可译码，如果不在叶节点上则只能用唯一可译码的定义来判断是不是。 其中C1,C2,C3,C6都是唯一可译码。 对于码C2和C4都满足craft 不等式。但是不满足码树的条件。就只能举例来判断。 对C5：6 1319225218 ki i ---==+⨯=>∑，不满足该不等式。所以C5不是唯一可 译码。 (2)判断即时码方法：定义：即时码接收端收到一个完整的码字后，就能立即译码。特点：码集任何一个码不能是其他码的前缀，即时码必定是唯一可译码, 唯一可译码不一定是即时码。 其中C1,C3,C6都是即时码。 对C2：“0”是“01”的前缀，……，所以C2不是即时码。 (1) 由平均码长6 1()i i i K p x k ==∑得 1236 3 1111712(3456) 24168 11117 12(3456) 2416811152334 24162 K bit K bit K bit K bit ==⨯+⨯+⨯+++==⨯+⨯+⨯+++==⨯+⨯+⨯⨯=
6 21 11 22 33 66 ()()log () 2 /()2 66.7%3()294.1%178 ()294.1% 178 ()280.0% 52 i i i H U p u p u H U K H U K H U K H U K ηηηη==-===== ========∑比特符号 3-7 解：(1)信源消息的概率分布呈等比级数，按香农编码方法，其码长集合为自然数数列1, 2, 3, ···, i, ···；对应的编码分别为：0, 10, 110, ···, 111…110 ( i – 1个1), ···。 (2) 先求熵和平均码长，二者的比值即信息传输速率 2()()log () 2 /()...2/() 1 bit/i i I i i I H p x p x bit k p x k H R k =-===== =∑∑X X 符号 码元符号 码元时间 (3)编码效率：η = 1 =100%
篇一：信息论与编码期末题(全套) 〔一〕 7、某二元信源 一、判断题共 10 小题，总分值 20 分. 1. 当随机变量X和Y相互独立时，条件熵H(X|Y)等于信源熵H(X). 〔〕 2. 由于构成同一空间的基底不是唯一的，所以不同的基 1X0 P(X)1/21/2，其失真矩阵 0a ，那么该信源的Dmax= Da0 三、此题共 4 小题，总分值 50 分. 1、某信源发送端有2种符号xi(i1,2),p(x1)a；接收端 底或生成矩阵有可能生成同一码集.符号 y( j 1 ,2) ，转移概率矩阵为有3 种,3〔〕 3.一般情况下，用变长编码得到的平均码长比定长编码大得多. 〔〕 4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通 信 〔〕 5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. 〔〕 6. 连续信源和离散信源的熵都具有非负性. 〔〕 7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小. 8. 汉明码是一种线性分组码. 〔〕 9. 率失真函数的最小值是0 . 〔〕 10.必然事件和不可能事件的自信息量都是0. 〔〕 二、填空题共 6 小题，总分值 20 分. 1 、 码
的 检 、 纠 错 能 力 取 决 于 . 2、信源编码的目的是的目的是 . 3、把信息组原封不动地搬到码字前k位的(n,k)码就叫做 . 4、香农信息论中的三大极限定理 是、、. 5、设信道的输入与输出随机序列分别为X和Y，那么 I(XN,YN)NI(X,Y)成立的 条件 6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 . iP1/21/20 1/21/41/4. 〔1〕计算接收端的平均不确 定度H(Y)；〔2〕计算由于噪声产生的不 确定度H(Y|X)；〔3〕计算信道容量以及最正确入口分布. 2、一阶马尔可夫信源的状态转移 图2-13 图如右图所示，信源X的符号集为{0,1,2}. 〔1〕求信源平稳后的概率分布； 〔2〕求此信源的熵； 〔 3 〕近似地认为此信源为无记忆时，符号的概率分布为平 X )
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤ ⎢⎥⎣⎦ ；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤ ⎢ ⎥⎣⎦ 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 四、计算题 1.已知(),X Y 的联合概率(),p x y 为： 求()H X ，()H Y ，(),H X Y ，();I X Y 解: (0)2/3p x == (1)1/3p x == (0)1/3p y == (1)2/3 p y == ()()(1/3,2/3)H X H Y H ===0.918 bit/symbol (),(1/3,1/3,1/3)H X Y H ==1.585 bit/symbol ();()()(,)I X Y H X H Y H X Y =+-=0.251 bit/symbol 2.某系统（7，4）码 )()(01201230123456c c c m m m m c c c c c c c ==c 其三位校验 位与信息位的关系为： 2310 13210 210c m m m c m m m c m m m =++⎧⎪ =++⎨⎪=++⎩ 01 X Y 011/31/30 1/3
信息论与编码试题集与答案考试必看 信息论与编码试题集与答案考试必看在无失真的信源中，信源输出由H(X)来度量； 在有失真的信源中，信源输出由R(D)来度量。 1.要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后_____加密____编码，再______信道 _____编码，最后送入信道。 2.带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是； 当归一化信道容量C/W趋近于零时，也即信道完全丧失了通信能力，此时Eb/N0为-1.6dB，我们将它称作香农限，是一切编码方式所能达到的理论极限。 3.保密系统的密钥量越小，密钥熵H(K)就越小，其密文中含有的关于明文的信息量I(M； C)就越大。 4.已知n＝7的循环码，则信息位长度k为3，校验多项式h(x)=。 5.设输入符号表为X＝{0，1}，输出符号表为Y＝{0，1}。输入信号的概率分布为p＝(1/2，1/2)，失真函数为d(0，0)=d(1，1)=0，d(0，1)=2，d(1，0)=1，则Dmin＝0，R(Dmin)＝1bit/symbol，相应的编码器转移概率矩阵[p(y/x)]＝； Dmax＝0.5，R(Dmax)＝0，相应的编码器转移概率矩阵
[p(y/x)]＝。 6.已知用户A的RSA公开密钥(e,n)=(3,55)，,则40，他的秘密密钥(d,n)＝(27,55)。若用户B向用户A发送m=2的加密消息，则该加密后的消息为8。 二、判断题1.可以用克劳夫特不等式作为唯一可译码存在的判据。 （Ö） 2.线性码一定包含全零码。 （Ö） 3.算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4.某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 5.离散平稳有记忆信源符号序列的平均符号熵随着序列长度L的增大而增大。 （×） 6.限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X，当它是正态分布时具有最大熵。 （Ö） 7.循环码的码集中的任何一个码字的循环移位仍是码
2-1、一阶马尔可夫链信源有3个符号(f úh ào)，转移(zhu ǎny í)概率 为： ， ， ， ，， ， ， ， 。 画出状态图并求出各符号(f úh ào)稳态概率。 解：由题可得状态概率(g àil ǜ)矩阵为： 状态(zhu àngt ài)转换图为： 令各状态的稳态分布概率为，，，则： 1W = 1W + 2W +133W ， 2W =1 21W + 3W , 3W = 2 3 2W 且：1W +2W +3W =1 稳态分布概率为： 1W =，2W = ，3W = 2-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为： P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。 解：状态转移概率矩阵为： 令各状态的稳态分布概率为 、 、 、 ，利用（2-1-17）可得方程组。
且； 解方程组得：即： 2-3、同时掷两个正常(zhèngcháng)的骰子，也就是各面呈现的概率都是，求： （1）、“3和5同时(tóngshí)出现”事件(shìjiàn)的自信息量； （2）、“两个1同时(tóngshí)出现”事件(shìjiàn)的自信息量； （3）、两个点数的各种组合的熵或平均信息量； （4）、两个点数之和的熵； （5）、两个点数中至少有一个是1的自信息量。 解：（1）3和5同时出现的概率为： （2）两个1同时出现的概率为： （3）两个点数的各种组合（无序对）为： (1,1),(1,2),(1,3),(1,4),(1,5),(1,6) (2,2),(2,3),(2,4),(2,5),(2,6) (3,3), (3,4),(3,5),(3,6) (4,4),(4,5),(4,6) (5,5),(5,6) (6,6)
一、（11’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信 源的信源熵H（X） 等于，对信源进行 等长的无失真二进 制编码，则编码长 度至少为 3 。 （6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。 （8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关 二、（9'）判断题 （1）信息就是一种消息。（⨯） （2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（√） （3）概率大的事件自信息量大。（⨯） （4）互信息量可正、可负亦可为零。（√） （5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。 （⨯） （6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（√）
（7） 非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。 （ ⨯ ） （8） 信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。 （ √ ） （9）信息率失真函数R(D)是关于平均失真度D 的上凸函数. ( ⨯ ) 三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的， 而女孩中身高1.6米以上的占总数的一半。 假如我们得知“”的消息，问获得多少信息量？ 解：设A 表示“大学生”这一事件，B 表示“”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分） 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分） 四、（5'）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明： ()()() () ()()()() ()() Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i X Y i j i j i -=⎥⎦⎤ ⎢⎣⎡---==∑∑∑∑∑∑log log log ; （2分） 同理 ()()() X Y H Y H Y X I -=; （1分） 则 () ()()Y X I Y H X Y H ;-=