信息论与编码习题参考答案(全)
- 格式：doc
- 大小：872.00 KB
- 文档页数：46
信息论与编码习题参考答案
第一章 单符号离散信源
1.1同时掷一对均匀的子，试求：
(1)“2和6同时出现”这一事件的自信息量；
(2)“两个5同时出现”这一事件的自信息量；
(3)两个点数的各种组合的熵；
(4)两个点数之和的熵；
(5)“两个点数中至少有一个是1”的自信息量。
解：
bitPaINnPbitPaINnPccN17.536loglog)(361)2(17.418loglog)(362)1(36662221111616样本空间：
(3)信源空间：
X
(1,1) (1,2) (1,3) (1,4) (1,5) (1,6)
P(X) 1/36 2/36 2/36 2/36 2/36 2/36
X (2,2) (2,3) (2,4) (2,5) (2,6)
P(x) 1/36 2/36 2/36 2/36 2/36
X (3,3) (3,4) (3,5) (3,6)
P(x) 1/36 2/36 2/36 2/36
X (4,4) (4,5) (4,6)
P(x) 1/36 2/36 2/36
X (5,5) (5,6) (6,6)
P(x) 1/36 2/36 1/36
bitxH32.436log3616236log36215)(
(4)信源空间：
X 2 3 4 5 6 7 8 9 10 11 12
P(x) 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36
bitxH71.3636log366536log3610 436log368336log366236log36436log362)(＋＋
(5) bitPaINnP17.11136loglog)(3611333
1.2如有6行、8列的棋型方格，若有两个质点A和B，分别以等概落入任一方格，且它们的坐标分别为（Xa，Ya）, （Xb，Yb）,但A，B不能同时落入同一方格。
（1） 若仅有质点A，求A落入任一方格的平均信息量；
（2） 若已知A已落入，求B落入的平均信息量；
（3） 若A，B是可辨认的，求A，B落入的平均信息量。
解：
bitaPaPaaPaIaPAi58.548log)(log)()(H48log)(log)(481)(:)1(481iiiii落入任一格的概率
bitbPbPbbPbIbPAi55.547log)(log)()(H47log)(log)(471)(:B,)2(481iiiii落入任一格的概率是落入任一格的情况下在已知bitABPABPABHABPABIABPABiiiiiii14.11)4748log()(log)()()(log)(471481)()3(47481是同时落入某两格的概率
1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？
解：
bitwPwPwPwPmmPmIwPwIbitmPmPmPmPmbitmPmIbitmPmInnyynnyynnyynnyy0454.0log99.5%99.5%-log0.5%-0.5% )(log)()(log)()(H%5.99log)(log)(%5.0log)(log)(366.0log93%93%-log7%-7% )(log)()(log)()(H105.0%93log)(log)(84.3%7log)(log)(:平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于女：平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于男士
1.4某一无记忆信源的符号集为｛0，1｝，已知。，323110pp
（1） 求符号的平均信息量；
（2） 由1000个符号构成的序列，求某一特定序列（例如有m个“0”,（1000-m）个“1”）的自信量的表达式；
（3） 计算（2）中序列的熵。
解：
32log3)1000(231log3loglog)( cebit/sequen 918918.01000)(1000)(3 32log)1000(31loglog)1000(log)(2/ 918.032log3231log31loglog)(1100011110001100mimimmppppAHXHAHbitmmpmpmAIsymblebitppppxH）（）（）（
1.5设信源X的信源空间为：
• 0.3 0.18 0.16 0.18 0.19 0.17 X)( a a a a a a X][654321ppx：：
求信源熵，并解释为什么H(X)>log6，不满足信源熵的极值性。
解：
。立的约束条件，所以不满足信源熵最大值成但是本题中的约束条件下求得的，值是在这是因为信源熵的最大，不满足信源熵的极值性可见log6H(X)18.1 1 585.2log62.725H(X) bit/symble 725.2 3.0log3.016.0log16.018.0log18.0219.0log19.017.0log17.0 )(log)()(61161iiriiiiippapapXH
1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率（bit/s）。
解：
bit/s 104.98310661.130)/)(()/(Rbit/frame 10661.1322.3105)(H105)(H bit/pels 322.310log)(log)()(H
7665051010framebitXHsframerxXapapxiii所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性：由于亮度电平等概出现
1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。
证:
.5.2,,5.25.2477.210log300log)(H)(Hpels/bit300log)(log)()(H bit3001030,10,,300130011倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加xxbpbpxiii
1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？
解:
个汉字最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量55665510322.6/10322.61.0log101.2)()()()(,logH(c):1.0100001000symble/bit101.2128log103)(103)(:framecHXHncnHXHnppxHXH
1.9给定一个概率分布),...,,(21nppp和一个整数m，nm0。定义miimpq11，证明：)log(),,...,,(),...,,(2121mnqqpppHpppHmmmn。并说明等式何时成立？
证：
nmiiimiiinpppppppHxxxxfxexxxfxxexxxfxxxxf1121loglog),...,,( )0(log)( 0log)log()(0 log)log()()0(log)(又为凸函数。即又为凸函数，如下：先证明 时等式成立。当且仅当时等式成立。当且仅当即可得：的算术平均值的函数，函数的平均值小于变量由凸函数的性质，变量nmmmmmnmmmiiimmmmmmiiinmiiimiiinnmmmmmnmiiimmnmiinmiinmiinmiinmiiipppmnqqpppHpppHqqppqpppHmnqqqpppppppppHpppmnqqqppmnqqmnpmnpmnmnpfmnmnpfmnpp...)log(),,...,,(),...,,(loglog),,...,,()log(loglogloglog),...,,(...)log(loglogloglog)()()()()(log2121211211112121111111
1.10找出两种特殊分布:
p1≥p2≥p3≥…≥pn，p1≥p2≥p3≥…≥pm,使H(p1,p2,p3,…,pn)=H(p1,p2,p3,…,pm)。
解：miiimniiinqqqqqHpppppH121121log),...,,(log),...,,(
