信息论与编码习题参考答案
第一章 单符号离散信源
1.1同时掷一对均匀的子，试求：
(1)“2和6同时出现”这一事件的自信息量；
(2)“两个5同时出现”这一事件的自信息量；
(3)两个点数的各种组合的熵；
(4)两个点数之和的熵；
(5)“两个点数中至少有一个是1”的自信息量。
解：
bitPaINnPbitPaINnPccN17.536loglog)(361)2(17.418loglog)(362)1(3666样本空间：2221111616
(3)信源空间：
X
(1,1) (1,2) (1,3) (1,4) (1,5) (1,6)
P(X) 1/36 2/36 2/36 2/36 2/36 2/36
X (2,2) (2,3) (2,4) (2,5) (2,6)
P(x) 1/36 2/36 2/36 2/36 2/36
X (3,3) (3,4) (3,5) (3,6)
P(x) 1/36 2/36 2/36 2/36
X (4,4) (4,5) (4,6)
P(x) 1/36 2/36 2/36
X (5,5) (5,6) (6,6)
P(x) 1/36 2/36 1/36
bitxH32.436log3616236log36215)(
(4)信源空间：
X 2 3 4 5 6 7 8 9 10 11 12
P(x) 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36
bitxH71.3636log366536log3610 436log368336log366236log36436log362)(＋＋
(5) bitPaINnP17.11136loglog)(3611333
信息论与编码习题解答
信息论与编码习题解答
第⼀章1.⼀位朋友很不赞成“通信的⽬的是传送信息”及“消息中未知的成分才算是信息”这些说法。他举例说：我多遍地欣赏梅兰芳⼤师的同⼀段表演，百看不厌，⼤师正在唱的正在表演的使我愉快，将要唱的和表演的我都知道，照你们的说法电视⾥没给我任何信息，怎么能让我接受呢？请从信息论的⾓度对此做出解释。（主要从狭义信息论与⼴义信息论研究的内容去理解和解释）
答：从狭义信息论⾓度，虽然将要表演的内容观众已知，但是每⼀次演出不可能完全相同。⽽观众在欣赏的同时也在接受着新的感官和视听享受。从这⼀⾓度来说，观众还是可以得到新的信息的。另⼀种解释可以从⼴义信息论的⾓度来分析，它涉及了信息的社会性、实⽤性等主观因素，同时受知识⽔平、⽂化素质的影响。京剧朋友们在欣赏京剧时也因为主观因素⽽获得了享受，因此属于⼴义信息论的范畴。2．利⽤下图（图1.2）所⽰的通信系统分别传送同样时间（例如⼗分钟）的重⼤新闻公告和轻⾳乐，它们在接收端各⽅框的输⼊中所含的信息是否相同，为什么？
图1.2 通信系统的⼀般框图
答：重⼤新闻是语⾔，频率为300~3400Hz，⽽轻⾳乐的频率为20~20000Hz。同样的时间内轻⾳乐的采样编码的数据要⽐语⾳的数据量⼤，按码元熵值，⾳乐的信息量要⽐新闻⼤。但是在信宿端，按信息的不确定度，信息量就应分别对待，对于新闻与⾳乐的信息量⼤⼩在⼴义上说，因⼈⽽异。
第⼆章1．⼀珍珠养殖场收获240颗外观及重量完全相同的特⼤珍珠，但不幸被⼈⽤外观相同但重量仅有微⼩差异的假珠换掉1颗。（1）⼀⼈随⼿取出3颗，经测量恰好找出了假珠，问这⼀事件⼤约给出了多少⽐特的信息量；（2）不巧假珠⼜滑落进去，那⼈找了许久却未找到，但另⼀⼈说他⽤天平最多6次能找出，结果确是如此，问后⼀事件给出多少信息量；（3）对上述结果作出解释。 解：（1）从240颗珍珠中取3颗，其中恰好有1颗假珠的概率为：2
2393240
信息论与编码第三版答案
《信息论与编码》是一本非常经典的书籍，已经成为了信息科学领域中的经典教材。本书的第三版已经出版，相比于前两版，第三版的变化不小，主要是增加了一些新内容，同时也对一些旧内容做了修改和完善。
作为一本教材，上面的题目和习题都是非常重要的，它们可以帮助读者更好地理解书中的相关概念和知识点，同时也可以帮助读者更好地掌握理论和技术。因此，本文将介绍《信息论与编码》第三版中部分习题的答案，方便读者快速查阅和学习。
第一章：信息量和熵
1.1 习题1.1
Q：两个随机变量的独立性和无关性有什么区别？
A：独立性和无关性是两个不同的概念。两个随机变量是独立的，当且仅当它们的联合概率分布等于乘积形式的边缘概率分布。两个随机变量是无关的，当且仅当它们的协方差等于0。
1.2 习题1.7
Q：什么样的随机变量的熵等于0？
A：当随机变量的概率分布是确定的（即只有一个概率为1，其余全为0），其熵等于0。
第二章：数据压缩
2.5 习题2.9
Q：为什么霍夫曼编码比熵编码更加高效？
A：霍夫曼编码能够更好地利用信源的统计特征，将出现频率高的符号用较短的二进制编码表示，出现频率低的符号用较长的二进制编码表示。这样一来，在编码过程中出现频率高的符号会占用较少的比特数，从而能够更加高效地表示信息。而熵编码则是针对每个符号分别进行编码，没有考虑符号之间的相关性，因此相比于霍夫曼编码更加低效。
第四章：信道编码
4.2 习题4.5
Q：在线性块码中，什么是生成矩阵？
A：在线性块码中，生成矩阵是一个包含所有二元线性组合系数的矩阵。它可以用来生成码字，即任意输入信息序列可以通过生成矩阵与编码器进行矩阵乘法得到相应的编码输出序列。
4.3 习题4.12
Q：简述CRC校验的原理。
A：CRC校验是一种基于循环冗余校验的方法，用于检测在数字通信中的数据传输错误。其基本思想是将发送数据看作多项式系数，通过对这个多项式进行除法运算，得到余数，将余数添加到数据尾部，发送给接收方。接收方将收到的带有余数的数据看做多项式，使用同样的多项式除以一个预先定义好的生成多项式，计算出余数，若余数等于0，则认为数据传输成功；否则认为数据传输出错，并进行相应的纠错处理。
..
..
... . . 信息论与编码习题参考答案
第一章 单符号离散信源
1.1同时掷一对均匀的子，试求：
(1)“2和6同时出现”这一事件的自信息量；
(2)“两个5同时出现”这一事件的自信息量；
(3)两个点数的各种组合的熵；
(4)两个点数之和的熵；
(5)“两个点数中至少有一个是1”的自信息量。
解：
bitPaINnPbitPaINnPccN17.536loglog)(361)2(17.418loglog)(362)1(36662221111616样本空间：
(3)信源空间：
X (1,1) (1,2) (1,3) (1,4) (1,5) (1,6)
P(X) 1/36 2/36 2/36 2/36 2/36 2/36
X (2,2) (2,3) (2,4) (2,5) (2,6)
P(x) 1/36 2/36 2/36 2/36 2/36
X (3,3) (3,4) (3,5)
(3,6)
P(x) 1/36 2/36 2/36 2/36
X
(4,4) (4,5) (4,6)
P(x) 1/36 2/36 2/36
X (5,5) (5,6) (6,6)
P(x) 1/36 2/36 1/36
bitxH32.436log3616236log36215)(
(4)信源空间：
X 2 3 4 5 6 7 8 9 10 11 12
P(x) 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36
bitxH71.3636log366536log3610 436log368336log366236log36436log362)(＋＋
