信息论与编码习题课新

格式：ppt
大小：677.58 KB
文档页数：56

下载文档原格式

信息论与编码习题

1 0 G 0 0 0 0 0 1 1 0 1 0 0 0 1 1 0 1 0 1 1 1 0 0 1 1 0 1
1 0 1 1 1 0 0 H 1 1 1 0 0 1 0 0 1 1 1 0 0 1
13为提高通信系统传输消息有效性，信源编码采用的方法是
A.压缩信源的冗余度 C.研究码的生成矩阵 B.在信息比特中适当加入冗余比特 D.对多组信息进行交织处理
14、给定xi条件下随机事件yj所包含的不确定度和条件自信息量p(yj /xi)，（） A．数量上不等，单位不同 B．数量上不等，单位相同 C．数量上相等，单位不同 D．数量上相等，单位相同 15、条件熵和无条件熵的关系是： A．H(Y/X)＜H(Y) B．H(Y/X)＞H(Y) C．H(Y/X)≤H(Y) D．H(Y/X)≥H(Y)
8、对于相同的信息，不同的观察者所获得的信息量可能不同，指的是信息的（） A 可度量性 B 相对性 C 可替代性 D 可共享性 9、信源熵不满足以下哪个性质？（） A 确定性 B 非负性 C 连续性 D 可加性 10、二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件，u0:一个0发出， u1:一个1发出，v0 :一个0收到，v1:一个1收到。则已知收到的符号，被告知发出的符号能得到的信息量是（）。 A H(U/V) B H(V/U) C H(U,V) D H(UV)

2,二元对称信道如图。
2）求该信道的信道容量。
x3 x4 x5 x6 x7 X x1 x2 3,.信源空间为 P( X ) 0.2 0.19 0.18 0.17 0.15 0.1 0.01 ，试构造二元霍夫曼码，计算其平均码长和编码效率（要求有编码过程）。

信息论编码与基础课后题(第二章)

第二章习题解答2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2、设某班学生在一次考试中获优（A ）、良（B ）、中（C ）、及格（D ）和不及格（E ）的人数相等。

当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？解：根据题意，“没有不及格”或“pass”的概率为54511pass =-=P 因此当教师通知某甲“没有不及格”后，甲获得信息在已知“pass”后，成绩为“优”（A ），“良”（B ），“中”（C ）和“及格”（D ）的概率相同：41score )pass |()pass |()pass |()pass |(=====D P C P B P A P P 为确定自己的成绩，甲还需信息bits 241loglog score score =-=-=P I 3、中国国家标准局所规定的二级汉字共6763个。

设每字使用的频度相等，求一个汉字所含的信息量。

设每个汉字用一个1616⨯的二元点阵显示，试计算显示方阵所能表示的最大信息。

显示方阵的利用率是多少？解：由于每个汉字的使用频度相同，它们有相同的出现概率，即67631=P 因此每个汉字所含的信息量为bits 7.1267631loglog =-=-=P I 字每个显示方阵能显示256161622=⨯种不同的状态，等概分布时信息墒最大，所以一个显示方阵所能显示的最大信息量是bits322.054log log passpass =-=-=P Ibits 25621loglog =-=-=P I 阵显示方阵的利用率或显示效率为0497.02567.12===阵字I I η 4、两个信源1S 和2S 均有两种输出：1 ,0=X 和1 ,0=Y ，概率分别为2/110==X X P P ，4/10=Y P ，4/31=Y P 。

信息论编码与基础课后题(第二章)

第二章习题解答2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2、设某班学生在一次考试中获优（A ）、良（B ）、中（C ）、及格（D ）和不及格（E ）的人数相等。

设每字使用的频度相等，求一个汉字所含的信息量。

设每个汉字用一个1616⨯的二元点阵显示，试计算显示方阵所能表示的最大信息。

显示方阵的利用率是多少？解：由于每个汉字的使用频度相同，它们有相同的出现概率，即67631=P 因此每个汉字所含的信息量为bits 7.1267631loglog =-=-=P I 字每个显示方阵能显示256161622=⨯种不同的状态，等概分布时信息墒最大，所以一个显示方阵所能显示的最大信息量是bits 322.054loglog passpass =-=-=P Ibits 25621loglog 256=-=-=P I 阵显示方阵的利用率或显示效率为0497.02567.12===阵字I I η 4、两个信源1S 和2S 均有两种输出：1 ,0=X 和1 ,0=Y ，概率分别为2/110==X X P P ，4/10=Y P ，4/31=Y P 。

信息论与编码第四章课后习题答案

p( x2 | x1 ) = p ( x 2 ) p( x3 | x1 x 2 ) = p ( x3 ) …… p( x N | x1 x2 L x N −1 ) = p( x N ) 即 p( x1 x 2 ) = p ( x1 ) p( x 2 ) p( x1 x 2 x3 ) = p ( x1 ) p( x 2 ) p ( x3 ) …… p( x1 x 2 L x N ) = p ( x1 ) p( x2 )L p( x N ) 【4.8】设连续随机变量 X ，已知 X ≥ 0 ，其平均值受限，即数学期望为 A ，试求在此条件下获得的最大熵的最佳分布，并求出最大熵。解：给定条件如下：
2 2 x1 + x2 2
− ∞ < x1 , x2 < ∞
求随机变量 Y1 = X 1 + X 2 的概率密度函数，并计算变量 Y 的熵 h(Y ) 。解： 1 − p( x1 x 2 ) = e 2π
2 2 x1 + x2 2
1 − 21 = e 2π
x2
1 − 22 e = p( x1 ) p ( x 2 ) 2π
0 = − log λ + log et ln t 1 − log e ∫ dt
= − log λ + log e = log （2） e λ
h( X ) = − ∫ p ( x ) log p ( x)dx ∞ 1 1 −λ x −λ x = −∫ λe log λe dx −∞ 2 2 ∞ 1 = − ∫ λe −λx log λe −λx dx 0 2 ∞ ∞ 1 = − ∫ λe −λx log dx − ∫ λe −λx log λe −λx dx 0 0 2 e = log 2 + log λ 2e = log λ 注：（2）题直接借用了（1）的结论。

《信息论与编码》部分课后习题参考答案

i
1 5 1 5 1 1 1 1 1 1 1 1 = − 2 × log + 2 × log + 2 × log + 2 × log + 2 × log + log 6 36 6 36 9 9 12 12 18 18 36 36 = 3.274 bit / symbol
2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，从别人的答案中你能获得多少信息量（假设已知星期一至星期日得排序）？答：若不知道今天是星期几，则答案可能有 7 种，这 7 种都是有价值的，所以答案的信息量为：
2.5 4 个等概率分布的消息 M1、M2、M3、M4 被送入如题所示的信道进行传输，通过编码使 M1=00，M2=01、M3=10、M4=11.求输入是 M1 和输出的第一个符号是 0 的互信息量是多少?如果知道第二个符号也是 0，这时带来多少附加信息量？ X 0 p p 1 1-p 1-p Y
I(X N ) I (Y )
=
2.1 × 106 13.29
= 1.58 ×105 字
2.4 某居住地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6 米以上的，而女孩中身高 1.6 米以上的占总数一半。假如我们得知“身高 1.6 米以上的某女孩是大学生”的
消息，问获得多少信息量？答：设随机变量 X 代表女孩子学历 X x1（是大学生） x2（不是大学生） P(X) 0.25 0.75 设随机变量 Y 代表女孩子身高 Y y1（身高>160cm） P(Y) 0.5
第二章
2.1 同时掷两个骰子，设每个骰子各个面向上的概率都是 1/6。试求：（1）事件“2 和 6 同时出现”的自信息量；（2）事件“两个 3 同时出现”的自信息量；（3）事件“两个点数中至少有一个是 5”的自信息量；（4）两个点数之和的熵。答：（1）事件“2 和 6 同时出现”的概率为：

《信息论与编码》习题集

第二章习题：补充题：掷色子，（1）若各面出现概率相同（2）若各面出现概率与点数成正比试求该信源的数学模型解：（1）根据61()1ii p a ==∑，且16()()p a p a ==，得161()()6p a p a ===，所以信源概率空间为123456111111666666⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦P （2）根据61()1i i p a ==∑，且126(),()2,()6p a k p a k p a k ===，得121k =。

123456123456212121212121⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦P 2-2 由符号集{}0,1组成的二阶马尔可夫链，其转移概率为P(0/00)=0.8，P(0/11)=0.2，P(1/00)=0.2， P(1/11)=0.8，P(0/01)=0.5，P(0/10)=0.5，P(1/01)=0.5，P(1/10)=0.5。

画出状态图，并计算各状态的稳态概率。

解：由二阶马氏链的符号转移概率可得二阶马氏链的状态转移概率为： P(00/00)=0.8 P(10/11)=0.2 P(01/00)=0.2 P(11/11)=0.8 P(10/01)=0.5 P(00/10)=0.5 P(11/01)=0.5 P(01/10)=0.5二进制二阶马氏链的状态集S={,1S 432,,S S S }={00，01，10，11}0.80.20.50.50.50.50.20.8⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦P 状态转移图各状态稳定概率计算：⎪⎪⎩⎪⎪⎨⎧==∑∑==41411i jij i j j WP W W 即 ⎪⎪⎪⎩⎪⎪⎪⎨⎧=++++++=+++=+++=+++=143214443432421414434333232131342432322212124143132121111W W W W P W P W P W P W W P W P W P W P W W P W P W P W P W w P W P W P W P W W0.80.8得：14541==W W 14232==W W 即：P(00)=P(11)=145 P(01)=P(10)=1422-6掷两粒骰子，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？解：2211111(3)(1)(2)(2)(1)666618(3)log (3)log 18()P P P P P I p ⎧=⋅+⋅=⨯+⨯=⎪⎨⎪=-=⎩比特 226(7)(1)(6)(2)(5)(3)(4)(4)(3)(5)(2)(6)(1)36(7)log (7)log 6()P P P P P P P P P P P P P I p ⎧=⋅+⋅+⋅+⋅+⋅+⋅=⎪⎨⎪=-=⎩比特2-72-7设有一离散无记忆信源,其概率空间为⎥⎥⎦⎤⎢⎢⎣⎡=====⎥⎦⎤⎢⎣⎡81,41,41,833,2,1,04321x x x x P X该信源发出的消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210),求此消息的自信息量是多少及平均每个符号携带的信息量?解:消息序列中,“0”个数为1n =14,“1”个数为2n =13,“2”个数为3n =12,“3”个数为4n =6. 消息序列总长为N =1n +2n +3n +4n =45(个符号)(1) 消息序列的自信息量: =I ∑==41)(i iix I n -)(log 412i i ix p n∑== 比特81.87)3(log 6)2(log 12)1(log 13)0(log 142222=----p p p p(2) 平均每个符号携带的信息量为:)/(95.14571.87符号比特==N I 2-14 在一个二进制信道中，信息源消息集X={0，1}，且P(1)=P(0),信宿的消息集Y={0，1}，信道传输概率P （1/0）=1/4，P （0/1）=1/8。

信息论与编码理论-11习题课

2012-4-27
15
解（1）消息符合的平均熵
1 1 3 3 H ( X ) = − log − log = 0.81( bit ) 4 4 4 4
（2）自信息量为
4 I ( X ) = m log4 + (100 − m) log = 200 − (100 − m) log3 3
熵为
H(X) = 1 m I ( X ) = 2 − 1 − log3 100 100
8
4. 棒球比赛中大卫和麦克在前面的比赛中打平，最后 3 场与其他选手的比赛结果最终决定他们的胜、负或平。试问： (1) 假定最后 3 场他们与其他选手的比赛结果胜负的概率均为 0.5，把麦克的最终比赛结果{胜、负、平}作为随机变量，计算他的商；（2）假定大卫最后 3 场比赛全部获胜，计算麦克的最终比赛结果的条件商；
因为
H ( X ) = log 4 = C2
所以信道 2 无噪声。
2012-4-27
14
X 0 6. 某一无记忆信源的符号集合为{0,1}，已知信源的概率空间为 =1 P 4
构成自信息量的表达式以及它的熵。
1 3 。 4
求（1）消息符合的平均熵；（2）由 100 个符号构成的序列中，有 m 个“0”和 100-m 个“1”
X Y Y X
= −0.49log0.49 − 0.01log0.01 − 0.1log0.1 − 0.4log0.4 = 1.34(bit ) I ( X ;Y ) = H ( X ) + H (Y ) − H ( X ,Y ) = 1 + 0.93 − 1.34 = 0.59(bit )
2012-4-27
I ( a1;b1 ) = I ( b1; a1 ) = log I ( a1;b2 ) = I ( b2; a1 ) = log

信息论编码与基础课后题(第二章)

信息论编码与基础课后题(第二章)第二章习题解答2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7}二进制脉冲可以表示2个不同的消息，例如：{0, 1}假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1===八进制脉冲的平均信息量symbolbit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbolbit n XH / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2、设某班学生在一次考试中获优（A ）、良（B ）、中（C ）、及格（D ）和不及格（E ）的人数相等。

当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？解：根据题意，“没有不及格”或“pass”的概率为54511pass =-=P因此当教师通知某甲“没有不及格”后，甲获得信息在已知“pass”后，成绩为“优”（A ），“良”（B ），“中”（C ）和“及格”（D ）的概率相同：41score )pass |()pass |()pass |()pass |(=====D P C P B P A P P为确定自己的成绩，甲还需信息bits 241log log score score =-=-=P I 3、中国国家标准局所规定的二级汉字共6763个。

设每字使用的频度相等，求一个汉字所含的信息量。

设每个汉字用一个1616⨯的二元点阵显示，试计算显示方阵所能表示的最大信息。

显示方阵的利用率是多少？解：由于每个汉字的使用频度相同，它们有相同的出现概率，即 67631=P 因此每个汉字所含的信息量为bits 7.1267631log log =-=-=P I 字每个显示方阵能显示256161622=⨯种不同的状态，bits 322.054loglog passpass =-=-=P I等概分布时信息墒最大，所以一个显示方阵所能显示的最大信息量是bits25621loglog 256=-=-=P I 阵显示方阵的利用率或显示效率为0497.02567.12===阵字I I η4、两个信源1S 和2S 均有两种输出：1 ,0=X 和1 ,0=Y ，概率分别为2/110==X XP P ，4/10=YP ，4/31=YP 。

信息论与编码习题

C 某事件为不可能事件，其信息量为0 D 信息量是一个随机变
量
7、当信源符合（）时，信源熵最大。
A 均匀分布 B 等概分布 C 泊松分布 D 正态分布
8、对于相同的信息，不同的观察者所获得的信息量可能不同，指的是信息的（）
A 可度量性 B 相对性 C 可替代性 D 可共享性
9、信源熵不满足以下哪个性质？（） A 确定性 B 非负性 C 连续性 D 可加性
1 0 0 0 1 1 0 G 0 1 0 0 0 1 1
0 0 1 0 1 1 1 0 0 0 1 1 0 1
1 0 1 1 1 0 0 H 1 1 1 0 0 1 0
0 1 1 1 0 0 1
性发病率为0.5%，如果问一位男士他是否色盲，他的回答有可能是“是”，或者“否”，从该男士的回答中得到平均信息量是
A 0.366bit/sym B 0.414bit/sym C 0.259bit/sym D 0.887bit/sym
12、彩色电视显像管的屏幕上有5×105 个像元，设每个像元有64
4、下列离散信源，熵最大的是（）。
A. H（1/3,1/3,1/3）； B. H（1/2,1/2）；
C. H（0.9,0.1）；
D. H（1/2,1/4,1/8,1/8)
5、以下选项中不是香农信息论中主要研究对象的是 A 信息的测度 B 信道容量 C 信息率失真函数 D 信息的
变换
6、以下关于信息量性质描述正确的是（）。 A 信息量可以为负 B 信息量是事件发生概率的递增函数
8、若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为。
9、___提高通信的有效性，____目的是提高通信的可靠性，__

信息论编码部分课后习题习题

7
第3章习题章习题
8
第3章习题章习题
9
第3章习题章习题
10
第3章习题章习题
11
第4章习题章习题
12
第4章习题章习题
13
第6章习题章习题
14
第6章习题章习题
15
第8章习题章习题
16
第8章习题章习题
17
第8章习题章习题
18
第8章习题章习题
19
第8章习题章习题
20
第8章习题章习题
21
第9章习题章习题
某线性分组码的生成矩阵为
0 0 G= 1 1 1 0 1 0 1 0 1 1 1 0 0 1 1 1 0 0 1 0 0 1 0 1 0 1
求：（1）用系统码的形式表示G；（2）计算系统码的校验矩阵H；（3）若接收到的码字为R1=0010100，检验它是否为码字？
解：(1)对G作行运算，得到系统化后的生成矩阵为
1 0 G= 0 0 0 1 0 0 0 0 1 0 0 0 0 1 1 1 0 1 1 1 1 0 0 1 1 1
(3)计算
1 1 0 1 1 0 0 T R1 H = [ 0 0 1 0 1 0 0] 1 1 1 0 0 1 0 0 1 1 1 0 0 1 = [1 0 1] ≠ 0
T
(2)由系统化后的生成矩阵得系统码的校验矩阵H为
1 1 0 1 1 0 0 H = 1 1 1 0 0 1 0 0 1 1 1 0 0 1
因此可断言R1不是码字。
22
信息论课后习题答案信息论基础课后答案信息论导引习题答案信息论与编码信息论与编码论文信息论基础习题解答信息论基础习题信息论与编码试卷信息论与编码试题信息论与编码答案第2章 Nhomakorabea题章习题

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

2-9 国际莫尔斯电码用点和划的序列发送英文字母，划用连续三个单位的电流脉冲表示，点用持续一个单位的电流脉冲表示。其划出现的概率是点出现概率的1/3，计算：（1）点和划的信息量；
（2）点和划的平均信息量。
解：
“－”出现的概率是
“•”出现概率的1/3
p(•)
(1) I(•)＝ Log43
3.27b4i/tsymbol
(5)包含1的组合：{(1,2),(1,3),(1,4),(1,5),(1,6), (2,1), (3,1),(4,1), (5,1),(6,1),(1,1)}
p(xi )1616113161 I(xi)logp(xi)log31611.710bit
2.7 设有一离散无记忆信源，其概率空间为
I(xi)lopg (xi)
条件自信息量：I(xi yi)lop(gxi yi)
平均自信息量、平均不确定度、信源熵：
条件熵：
H (X ) p(xi)lop(g xi) i
H (X Y ) p (x i,yj)I(x iyj) p (x i,yj)lo p (x g iyj)
ij
ij
联合熵：H (X Y ) p (x i,y j)I(x i,y j) p (x i,y j)lo p (x g i,y j)
(4)两个点数求和的概率分布如下：
P(XX)312611381142195
67 51
366
89 51
369
110111112 121836
H(X) p(xi)logp(xi)
i
21log121log121log121lo1g25log51lo1g 36 36 18 18 12 12 9 9 36 366 6
X x10 x21x32 x43
P3/8
1/4
1/4
1/8
（1）求每个符号的自信息量。（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量。
解： I(x1)log2 1 log281.415bit
3
p() 1
4
4
Байду номын сангаас
0.41b5it I( )= Lo(4g)2bit
(2) H= 1 4Lo(4g)3 4Log 4 3 0.81Bit1/符号
2-10 在一个袋中放5个黑球、10个白球，以摸一个球为一次实验，摸出的球不再放进去。求：（1）一次实验包含的不确定度；（2）第一次实验X摸出的是黑球，第二次实验Y给出的不确定度；（3）第一次实验X摸出的是白球，第二次实验Y给出的不确定度；（4）第二次实验Y包含的不确定度。
解：(1)
p(xi )16161616118
I(xi)logp(xi)log1184.170bit
(2)
p(xi )1616316
(3)两个点数I(的xi)排列l如o下gp(：xi)log3165.170bit
共有21种组合：其中11，22，33，1211
12 22
13 14 23 24
15 16 25 26
假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量
H (X 1)lon glo4 g2b/istymb
八进制脉冲的平均信息量
H (X 2)lon glo8 g 3b/istymb
二进制脉冲的平均信息量
H (X0)lon glo2 g1b/istymb
所以，四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
ij
ij
互信息：I(X ;Y ) ijp (x i,yj)lop ( p g y (y jx )i) ijp (x i)p (yjx i)lop ( p g y (y jx )i)
j
j
熵的基本性质：非负性、对称性、确定性
2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
第一章
信息、消息、信号的定义？三者的关系？通信系统的模型？各个主要功能模块及作用？
第二章
• 信源的分类？
• 自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？计算方法?
• 冗余度?
具有概率为 p(xi) 的符号 x i 自信息量：
平均每个符号携带的信息量为 87.81 1.95 bit/符号 45
2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息：{0, 1, 2, 3}
八进制脉冲可以表示8个不同的消息：{0, 1, 2, 3, 4, 5, 6, 7}
二进制脉冲可以表示2个不同的消息：{0, 1}
44，55，66的概率是
31 32 33 34 35 36
11 1 6 6 36
41 42 43 44 51 52 53 54 61 62 63 64
45 46 55 56 65 66
其他15个组合的概率是 211 1 6 6 18
H (X ) i p (x i)lo p (x ig ) 6 3 1l6 o 3 1 g 1 6 1 1 5l8 o 1 1 g 8 4 .3b 3/si7tym
p(x1)
3
同理可以求得
I( x 2 ) 2 b ,I( i x 3 ) t 2 b ,I( i x 4 ) t 3 bi
因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和，就有：
I 1 4 I ( x 1 ) 1 3 I ( x 2 ) 1 2 I ( x 3 ) 6 I ( x 4 ) 8 7 . 8 1 b i t
解：（1） p(黑） 5 1 p(白) 10 2
15 3
15 3
H(Y)=
(2) P(黑/黑)=
P(白/黑)=
H (Y/黑 4 ） lo 1g 4 1l0 o 1g 4 0 .6 8 1441410
(3) P(黑/白)= H(Y/白)=

信息论与编码习题课新

合集下载

信息论与编码习题

信息论编码与基础课后题(第二章)

信息论编码与基础课后题(第二章)

信息论与编码第四章课后习题答案

《信息论与编码》部分课后习题参考答案

《信息论与编码》习题集

信息论与编码理论-11习题课

信息论编码与基础课后题(第二章)

信息论与编码习题

信息论编码部分课后习题习题

文档推荐

最新文档