试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？
解：
四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}
八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7}
二进制脉冲可以表示2个不同的消息，例如：{0, 1}
假设每个消息的发出都是等概率的，则：
四进制脉冲的平均信息量symbolbitnXH/ 24loglog)(1
八进制脉冲的平均信息量symbolbitnXH/ 38loglog)(2
二进制脉冲的平均信息量symbolbitnXH/ 12loglog)(0
所以：
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
一副充分洗乱了的牌（含52张牌），试问
(1) 任一特定排列所给出的信息量是多少？
(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？
解：
(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：
!521)(ixp
bitxpxIii 581.225!52log)(log)(
(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：
(a)p(xi)=52/52 * 48/51 * 44/50 * 40/49 * 36/48 * 32/47 * 28/46 * 24/45 * 20/44 * 16/43 * 12/42
* 8/41 * 4/40=
(b)总样本：C1352, 其中13点数不同的数量为4*4*4*…*4=413。所以，抽取13张点数不同的牌的概率：
bitCxpxICxpiii 208.134log)(log)(4)(135213135213
居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？
2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：
(1) “3和5同时出现”这事件的自信息；
(2) “两个1同时出现”这事件的自信息；
(3) 两个点数的各种组合（无序）对的熵和平均信息量；
(4) 两个点数之和（即2, 3, … , 12构成的子集）的熵；
(5) 两个点数中至少有一个是1的自信息量。
解：
(1)
bitxpxIxpiii 170.4181log)(log)(18161616161)(
(2)bitxpxIxpiii 170.5361log)(log)(3616161)(
(3)两个点数的排列如下：
11 12 13 14 15 16
21 22 23 24 25 26
31 32 33 34 35 36
41 42 43 44 45 46
51 52 53 54 55 56
61 62 63 64 65 66
共有21种组合：
其中11，22，33，44，55，66的概率是3616161
其他15个组合的概率是18161612
symbolbitxpxpXHiii/ 337.4181log18115361log3616)(log)()(
(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：
symbolbitxpxpXHXPXiii/ 274.3 61log61365log365291log912121log1212181log1812361log3612 )(log)()(36112181111211091936586173656915121418133612)((5)
bitxpxIxpiii 710.13611log)(log)(3611116161)( 2-4
第二章信息的度量
2.1 自信息和互信息2.2 平均自信息2.3 平均互信息2.1自信息和互信息2.1.1 自信息定义一个事件（消息）本身所包含的信息，它是由事件的不确定性决定的。自信息量一个事件（消息）本身所包含的信息量，记为。自信息量为概率的函数。)(ixI)(ixp2.1.1自信息根据客观事实和人们的习惯概念，自信息量应满足以下条件（公理化条件）：1. 是的严格递减函数。当时，，概率越小，事件发生的不确定性越大，事件发生以后所包含的自信息量越大。2．极限情况下当=0时，；当=1时，=0。3．另外，从直观概念上讲，由两个相对独立的不同的消息所提供的信息量应等于它们分别提供的信息量之和。可以证明，满足以上公理化条件的函数形式是对数形式。)(ixI)(ixp)(ixI)(ixp12()()pxpx12()()IxIx)(ixp()iIx
定义：随机事件的自信息量定义为该事件发生概率的对数的负值。设事件的概率为，则它的自信息定义为
由图可见：上述信息量的定义正是满足上述公理性条件的函数形式。含义：1）当事件发生以前，等于事件发生的不确定性的大小；2）当事件发生以后，表示事件所含有或所能提供的信息量。ix)(ixp1()log()log()defiiiIxpxpx
)(ixI2.1.1 自信息
自信息量的单位：与所用对数的底a有关。
单位换算关系：1奈特= 比特=1.443比特e2log
1哈特莱= 比特=3.322比特10log21
r进制单位= 比特r2log2.1.1 自信息
a=2 I= -log2P 单位为比特（bit）I= -logPa=eI= -ln P单位为奈特（nat）a=10 I= -lg P单位为哈特莱（hartley）a=rI= -logrP单位为r进制信息单位
[例1]（1）英文字母中“a”出现的概率为0.064，“c”出现的概率为0.022，分别计算他们的自信息量。（2）假定前后两字母出现是互相独立的，求“ac”的自信息量。（3）假定前后字母出现不是独立的，当“a”出现后，“c“出现的概率为0.04，计算”a“出现后，”c”出现的自信息量。（4）比较（3）中计算出的信息量，并与“c“的信息量进行比较和分析。2.1.1 自信息解：字母出现相互独立，742.9022.0064.0cIaIlog0.022log0.064logacI[例1]（1）英文字母中“a”出现的概率为0.064，“c”出现的概率为0.022，分别计算他们的自信息量。（2）假定前后两字母出现是互相独立的，求“ac”的自信息量。
信息论基础第二版习题答案
信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。
第一章：信息论基础
1.1 信息的定义和度量
习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。求当p=0.5时，事件的信息量。
答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。
习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B同时发生的信息量。
答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。
1.2 信息熵和条件熵
习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。
答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。
习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。
答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。
第二章：信道容量
2.1 信道的基本概念
习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。
答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。
习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。
答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。
