信息071信息论试卷-A
- 格式:pdf
- 大小:213.02 KB
- 文档页数:5
《信息论基础》参考答案一、填空题(共15分,每空1分)1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面,一是信源符号间的相关性,二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0,最大熵为32log bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr= H r (S))。
5、当R=C 或(信道剩余度为0)时,信源与信道达到匹配。
6、根据信道特性是否随时间变化,信道可以分为恒参信道和随参信道。
7、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为2σ,则输出信号幅度的概率密度是高斯分布或正态分布或()222x f x σ-=时,信源具有最大熵,其值为值21log 22e πσ。
9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”(1)当X 和Y 相互独立时,H (XY )=H(X)+H(X/Y)=H(Y)+H(X)。
(2)()()1222H X X H X =≥()()12333H X X X H X = (3)假设信道输入用X 表示,信道输出用Y 表示。
在无噪有损信道中,H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。
二、(6分)若连续信源输出的幅度被限定在【2,6】区域内,当输出信号的概率密度是均匀分布时,计算该信源的相对熵,并说明该信源的绝对熵为多少。
()1,2640,x f x ⎧≤≤⎪=⎨⎪⎩Q 其它()()()62log f x f x dx ∴=-⎰相对熵h x=2bit/自由度该信源的绝对熵为无穷大。
三、(16分)已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦(1)用霍夫曼编码法编成二进制变长码;(6分) (2)计算平均码长L ;(4分)(3)计算编码信息率R ';(2分)(4)计算编码后信息传输率R ;(2分) (5)计算编码效率η。
一.填空1.设X的取值受限于有限区间[a,b ],则X 服从 均匀 分布时,其熵达到最大;如X 的均值为μ,方差受限为2σ,则X 服从 高斯 分布时,其熵达到最大。
2.信息论不等式:对于任意实数0>z ,有1ln -≤z z ,当且仅当1=z 时等式成立。
3.设信源为X={0,1},P (0)=1/8,则信源的熵为 )8/7(log 8/78log 8/122+比特/符号,如信源发出由m 个“0”和(100-m )个“1”构成的序列,序列的自信息量为)8/7(log )100(8log22m m -+比特/符号。
4.离散对称信道输入等概率时,输出为 等概 分布。
5.根据码字所含的码元的个数,编码可分为 定长 编码和 变长 编码。
6.设DMS 为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡03.007.010.018.025.037.0.654321u u u u u u P U U ,用二元符号表}1,0{21===x x X 对其进行定长编码,若所编的码为{000,001,010,011,100,101},则编码器输出码元的一维概率=)(1x P 0.747 , =)(2x P 0.253 。
12设有DMC,其转移矩阵为[]⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=2/16/13/13/12/16/16/13/12/1|XY P ,若信道输入概率为[][]25.025.05.0=X P ,试确定最佳译码规则和极大似然译码规则,并计算出相应的平均差错率。
解:⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=8/124/112/112/18/124/112/16/14/1][XYP最佳译码规则:⎪⎩⎪⎨⎧===331211)()()(ab F a b F a b F ,平均差错率为1-1/4-1/6-1/8=11/24;极大似然规则:⎪⎩⎪⎨⎧===332211)()()(ab F a b F a b F ,平均差错率为1-1/4-1/8-1/8=1/2。
安徽大学2011—2012学年第1学期 《信息论》考试试卷(AB 合卷)院/系 年级 专业 姓名 学号一、填空题1、接收端收到y 后,获得关于发送的符号是x 的信息量是 。
2、香农信息的定义 。
3、在已知事件z Z ∈的条件下,接收到y 后获得关于事件x 的条件互信息(;|)I x y z 的表达式为 。
4、通信系统模型主要分成五个部分分别为: 。
5、研究信息传输系统的目的就是要找到信息传输过程的共同规律,以提高信息传输的可靠性、有效性、 和 ,使信息传输系统达到最优化。
6、某信源S 共有32个信源符号,其实际熵H ∞=1.4比特/符号,则该信源剩余度为 。
7、信道固定的情况下,平均互信息(;)I X Y 是输入信源概率分布()Px 的 型凸函数。
信源固定的情况下,平均互信息(;)I X Y 是信道传递概率(|)P y x 的 型凸函数。
8、当信源与信道连接时,若信息传输率达到了信道容量,则称此信源与信道达到匹配。
信道剩余度定义为 。
9、已知信源X 的熵H (X )=0.92比特/符号,则该信源的五次无记忆扩展信源X 5的信息熵5()H X = 。
10、将∞H ,6H ,0H ,4H ,1H 从大到小排列为 。
11、根据香农第一定理,对于离散无记忆信源S ,用含r 个字母的码符号集对N 长信源符号序列进行变长编码,总能找到一种无失真的唯一可译码,使每个信源符号所需平均码长满足: 。
12、多项式剩余类环[]())q F x f x 是域的充要条件为 。
13、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为 。
14、有限域122F 的全部子域为 。
15、国际标准书号(ISBN )由十位数字12345678910a a a a a a a a a a 组成(诸i a ∈11F ,满足:1010(mod11)ii ia=≡∑),其中前九位均为0-9,末位0-10,当末位为10时用X 表示。
安徽大学《信息论》考试试卷(A 卷)(闭卷 时间120分钟)院/系 年级 专业 姓名 学号一、填空题(每小题2分,共20分) 1、香农信息的定义 。
2、在已知事件z Z ∈的条件下,接收到y 后获得关于事件x 的条件互信息(;|)I x y z 的表达式为 。
3、研究信息传输系统的目的就是要找到信息传输过程的共同规律,以提高信息传输的可靠性、有效性、 和 ,使信息传输系统达到最优化。
4、某信源S 共有32个信源符号,其实际熵H ∞=1.4比特/符号,则该信源剩余度为 。
5、信源固定的情况下,平均互信息(;)I X Y 是信道传递概率(|)P y x 的 型凸函数。
6、已知信源X 的熵H (X )=0.92比特/符号,则该信源的五次无记忆扩展信源X 5的信息熵5()H X = 。
7、根据香农第一定理,对于离散无记忆信源S ,用含r 个字母的码符号集对N 长信源符号序列进行变长编码,总能找到一种无失真的唯一可译码,使每个信源符号所需平均码长满足: 。
8、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为 。
9、有限域122F 的全部子域为。
10、国际标准书号(ISBN )由十位数字12345678910a a a a a a a a a a 组成(诸i a ∈11F ,满足:1010(mod11)ii ia=≡∑),其中前九位均为0-9,末位0-10,当末位为10时用X 表示。
《Coding and Information Theory 》的书号为ISBN :7-5062-3392- 。
二、判断题(每小题2分,共10分)1、离散信源的信息熵是信源无失真数据压缩的极限值。
( )2、对于有噪无损信道,其输入和输出有确定的一一对应关系。
( )3、在任何信息传输系统中,最后获得的信息至多是信源所提供的信息。
如果一旦在某一过程中丢失一些信息,以后的系统不管如何处理,如不触及到丢失信息过程的输入端,就不能再恢复已丢失的信息。
一、填空题(每空1分,共35分)1、1948年,美国数学家发表了题为“通信的数学理论”的长篇论文,从而创立了信息论.信息论的基础理论是,它属于狭义信息论。
2、信号是的载体,消息是的载体。
3、某信源有五种符号,先验概率分别为,,,,则符号“a”的自信息量为 bit,此信源的熵为 bit/符号.4、某离散无记忆信源X,其概率空间和重量空间分别为和,则其信源熵和加权熵分别为和.5、信源的剩余度主要来自两个方面,一是,二是。
6、平均互信息量与信息熵、联合熵的关系是。
7、信道的输出仅与信道当前输入有关,而与过去输入无关的信道称为信道。
8、马尔可夫信源需要满足两个条件:一、 ;二、。
9、若某信道矩阵为,则该信道的信道容量C=__________。
10、根据是否允许失真,信源编码可分为和。
11、信源编码的概率匹配原则是:概率大的信源符号用,概率小的信源符号用 .(填短码或长码)12、在现代通信系统中,信源编码主要用于解决信息传输中的性,信道编码主要用于解决信息传输中的性,保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为、和混合纠错。
14、某线性分组码的最小汉明距dmin=4,则该码最多能检测出个随机错,最多能纠正个随机错.15、码字101111101、011111101、100111001之间的最小汉明距离为。
16、对于密码系统安全性的评价,通常分为和两种标准。
17、单密钥体制是指。
18、现代数据加密体制主要分为和两种体制。
19、评价密码体制安全性有不同的途径,包括无条件安全性、和.20、时间戳根据产生方式的不同分为两类:即和。
二、选择题(每小题1分,共10分)1、下列不属于消息的是()。
A。
文字 B。
信号 C。
图像 D。
语言2、设有一个无记忆信源发出符号A和B,已知,发出二重符号序列消息的信源,无记忆信源熵为()。
A。
0.81bit/二重符号B。
1。
62bit/二重符号 C. 0。
1、选择题(共10分,每题2分) B D B C B2、(本题10分)一个消息由符号0,1,2,3组成,已知p(0)=3/8, p(1)= 1/8, p(2)=1/4, p(3)= 1/4。
求此消息的剩余度为多少?试求由无记忆信源产生的60个符号构成的所有消息所含的平均信息量(bit/消息)。
解: H (X )=H (3/8,1/8,1/4,1/4)(2) =1.9bit/符号(2)05.029.114log )(1≈-≈-=X H γ(3) H (X 60)=60*H (X )=114bit/消息(3)3、(本题12分)某一离散平稳信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡4/19/436/11210)(u p U ,并设发出的符号只与前一个符号有关,即可用条件概率P(uj / ui)给出它们的关联程度如下表所示:求此平稳信源的极限熵及信源效率。
H ∞=H(U 2 /U 1)=0.872bit/符号(3)H 0=H (1/3,1/3,1/3)=1.6bit/符号(3) 信源效率:H ∞/H 0=54.5%(3)4、(12分)设信源X 的符号集为{0,1,2},其概率分布为1014P P==,122P =,每信源符号通过信道传输,输出为Y ,信道转移概率如图所示:求(1)H (Y ); (6分) (2)H (XY ); (2分) (3)I (X;Y )。
(4分) 解:(4)(1)353355888888()(,)log log 0.955 /H Y H ==--=比特符号(2)(2) 11114882()(,,,) 1.75 /H XY H ==比特符号(2)(3) 111442()(,,) 1.5 /H X H ==比特符号(2)(;)()()()1.50.9551.750.705I X Y H X H Y H X Y =+-=+-=比特符号(2)5、(共20分)某离散无记忆信源符号集为{}129,,,a a a ,所对应的概率分别为:0.4,0.2,0.1,0.1,0.07,0.05,0.05,0.02,0.01,码符号集为{0,1,2,3}。
考试科目名称:信息论一. 单选(每空2分,共20分)1.信道编码的目的是(C ),加密编码的目的是(D )。
A.保证无失真传输B.压缩信源的冗余度,提高通信有效性C.提高信息传输的可靠性D.提高通信系统的安全性2.下列各量不一定为正值的是(D )A.信源熵B.自信息量C.信宿熵D.互信息量3.下列各图所示信道是有噪无损信道的是(B )A.B.C.D.4.下表中符合等长编码的是( A )5.联合熵H(XY)与熵H(X)及条件熵H(X/Y)之间存在关系正确的是(A )A.H(XY)=H(X)+H(Y/X)B.H(XY)=H(X)+H(X/Y)C.H(XY)=H(Y)+H(X)D.若X和Y相互独立,H(Y)=H(YX)6.一个n位的二进制数,该数的每一位可从等概率出现的二进制码元(0,1)中任取一个,这个n位的二进制数的自信息量为(C )A.n2B.1 bitC.n bitnD.27.已知发送26个英文字母和空格,其最大信源熵为H0 = log27 = 4.76比特/符号;在字母发送概率不等时,其信源熵为H1 = 4.03比特/符号;考虑字母之间相关性时,其信源熵为H2 = 3.32比特/符号;以此类推,极限熵H=1.5比特/符号。
问若用一般传送方式,冗余度为( B )∞A.0.32B.0.68C .0.63D .0.378. 某对称离散信道的信道矩阵为 ,信道容量为( B )A .)61,61,31,31(24log H C -= B .)61,61,31,31(4log H C -= C .)61,61,31,31(2log H C -= D .)61,31(2log H C -= 9. 下面不属于最佳变长编码的是( D )A .香农编码和哈夫曼编码B .费诺编码和哈夫曼编码C .费诺编码和香农编码D .算术编码和游程编码二. 综合(共80分)1. (10分)试写出信源编码的分类,并叙述各种分类编码的概念和特性。
考试科目名称:信息论一. 单选(每空2分,共20分)1.一个m位的二进制数的自信息量为(A )A.m bitB.1 bitC.m2mD.22.信源编码的目的是(A )A.提高通信有效性B.提高信息传输的可靠性C.提高通信系统的安全性D.压缩信源的冗余度3.下面属于最佳变长编码的是(C )A.算术编码和游程编码B.香农编码和游程编码C.哈夫曼编码和费诺编码D.预测编码和香农编码4.表中符合即时码的是(A )和(D )5.下列各量可能为负值的是(B )A.自信息量B.互信息量C.信息熵D.平均互信息量6.联合熵H(XY)与熵H(X)及条件熵H(X/Y)之间存在关系错误的是(D )A.H(XY)=H(X)+H(Y/X)B.若X和Y相互独立,H(Y)=H(Y/X)C.H(XY)=H(Y)+H(X/Y)D.H(XY)=H(X)+H(X/Y)7.已知发送26个英文字母(包括空格),其最大信源熵(发送概率相等)为H0 = log27 = 4.76比特/符号;在字母发送概率不等时,其信源熵为H1 = 4.03比特/符号;考虑字母之间相关性时,其信源熵为H2 = 3.32=1.4比特/符号。
问若用一般传送比特/符号;以此类推,极限熵H∞方式,冗余度γ为( B )A.0.58B.0.71C.0.65D.0.298. 某信道传递矩阵为,其信道容量为( D )A .)41log 4143log 43()81,81,41,21(4log ++-=H C B .)41log 4343log 41()81,81,41,21(2log +--=H C C .)41log 4143log 43()81,81,41,21(4log +--=H CD .)41log 4143log 43()81,81,41,21(2log +--=H C9. 下列各图所示信道是对称信道的是( C )A .B .C .⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=8181214181814121PD.二. 综合(共80分)1.(10分)试画出通信系统的模型,并叙述各部分的定义和作用。
信息论与编码总结试 题:一 填空题(共15 分,每题1 分)1 单符号离散信源一般用随机变量描述,而多符号信源一般用随机矢量描述。
2 离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。
3 对于一阶马尔可夫信源,其状态空间共有m n 个不同的状态。
4 根据输入输出的信号特点,可将信道分成离散信道、连续信道、半离散或半连续信道 。
5 对于离散无记忆信道和信源的N 次扩展,其信道容量N C = NC6 信道编码论定理是一个理想编码存在性理论,即:信道无失真传递信息的条件是 信息传输速率小于信道容量。
7 信源编码的目的是 提高通信的有效性 。
8 对于香农编码、费诺编码和哈夫曼编码,编码方法唯一的是 香农编码 。
9 在多符号的消息序列中,大量重复出现的,只起占时作用的符号称为 冗余位 。
10 若纠错码的最小距离为d m in ,则可以纠错任意小于等于21min -d个差错。
11 线性分组码是同时具有 分组特性和线性特性 的纠错码。
12 平均功率为P 的高斯分布的连续信源,其信源熵为 ()eP X H c π2log 212=13 当连续信源和连续信道都是无记忆时,则)()(∑==Ni i i y x I y x I 1,,14 信源编码与信道编码之间的最大区别是,信源编码需 减少 信源的剩余度,而信道编码需 增加 信源的剩余度。
15 离散信源的熵值H(X)越小,说明该信源消息之间的平均不确定性 减弱 。
二 选择题 (共15分,每题3分)1 离散信源熵表示信源输出一个消息所给出的( B )。
A 、实际信息量;B 、统计平均信息量;C 、最大信息量;D 、最小信息量; 解:选择B 。
2 )。
A 、H(X)> H(Y);B 、H(X)< H(Y);C 、H(X)= H(Y);D 、H(Y)=2H(X);解:选择A 。
241log 41)(4=-=⎰dx X H2ln 21181log 81)(4-=-=⎰ydy y Y H3 平均互信息I(X,Y)等于( C )。
信息理论与编码期末试卷A 及答案1 / 6一、填空题(每空1分,共35分) 1、1948年,美国数学家 发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。
信息论的基础理论是 ,它属于狭义信息论。
2、信号是 的载体,消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ,先验概率分别为5.0=a P ,25.0=b P ,125.0=c P ,0625.0==e d P P ,则符号“a ”的自信息量为 bit ,此信源的熵为 bit/符号。
4、某离散无记忆信源X ,其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦,则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面,一是 ,二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关,而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件:一、 ; 二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100,则该信道的信道容量C=__________。
10、根据是否允许失真,信源编码可分为 和 。
11、信源编码的概率匹配原则是:概率大的信源符号用 ,概率小的信源符号用 。
(填短码或长码)12、在现代通信系统中,信源编码主要用于解决信息传输中的 性,信道编码主要用于解决信息传输中的 性,保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4,则该码最多能检测出 个随机错,最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
16、对于密码系统安全性的评价,通常分为 和 两种标准。
安徽大学2011—2012学年第1学期 《信息论》考试试卷参考答案(AB 合卷)一、 填空题 1、()(;)log()()p xy I x y p x p y =;2、事物运动状态或存在方式的不确定性的描述;3、(|)log(|)(|)p xy z p x z p y z ;4、信源 编码器 信道 译码器 信宿;5、保密性 认证性;6、0.72;7、 , ;8、(;)C I X Y - ;9、4.6 ; 10、0H ≥1H ≥4H ≥6H ≥∞H ; 11、()()1log log N L H S H S r N r N≤<+; 12、()f x 在q F 上不可约; 13、()g x |1n x -; 14、2F 、22F 、32F 、42F 、62F 、122F ; 15、8,4.二、判断题1、╳2、√3、√4、╳5、╳6、√7、√8、╳9、 ╳三、计算题 1、解:1111()log log 12222H X =--=1()log24H Y =-= 1()log 38H Z =-=当Z Y X ,,为统计独立时:()()()()1236H XYZ H X H Y H Z =++=++=2、解:二次扩展信源为2111213212223313233,,,,,,,,411111111,,,,,,,,9999363693636x x x x x x x x x x x x x x x x x x X P ⎡⎤⎡⎤=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦信源熵:22HX H X =()()22112log 2log )3366=-+⨯(=2log3-2/3比特/二符号 3、解:1)信道到矩阵为1/31/61/31/61/61/31/61/3P ⎛⎫= ⎪⎝⎭,故此信道为对称信道1111log 4(,,,)3636C H =-5l o g 33=-(比特/符号)相应的最佳输入概率分布为等概率分布。
(2)信道到矩阵为1/21/31/61/61/21/31/31/61/2P ⎛⎫ ⎪= ⎪ ⎪⎝⎭,故此信道为对称信道111l o g 3(,,)236C H =-12log 323=- (比特/符号) 相应的最佳输入概率分布为等概率分布。
期终练习,10%就是胖子 ,80%不胖不瘦 ,10%就是瘦子;已知胖子得高血压的概率 一,某地区的人群中 就是 15% ,不胖不瘦者得高血压的概率就是 10%,瘦子得高血压的概率就是 5% ,就“该地区的 某一位高血压者就是胖子”这句话包含了多少信息量;解: 设大事 A: 某人就是胖子 ; B: 某人就是不胖不瘦 C:某人就是瘦子D: 某人就是高血压者依据题意 ,可知 :P(A)=0 , 1 P(B)=0 , 8 P(C)=0 ,1P(D|A)=0 , 15 P(D|B)=0 , 1 P(D|C)=0 , 05而“该地区的某一位高血压者就是胖子” 这一消息说明在 D 大事发生的条件下 ,A 大事 的发生 ,故其概率为 依据贝叶斯定律 P(A|D),可得 :P(D) = P(A)* P(D|A) + P(B)* P(D|B) +P(C)* P(D|C) = 0, 1P(A|D) = P(AD)/P(D) = P(D|A)*P(A)/ P(D) = 0, 15*0 , 1/0, 1= 0,15故得知“该地区的某一位高血压者就是胖子”这一消息获得的多少信息量为 I(A|D) = - logP(A|D)=log(0 ,15) ≈ 2, 73 (bit): 二,设有一个马尔可夫信源 ,它的状态集为 {S 1,S 2,S 3}, 符号集为 {a 1,a 2,a 3 }, 以及在某状态下发出 p (a k | s i ) (i,k=1,2,3), 如下列图符号集的概率就是 (1) 求图中马尔可夫信源的状态极限概率并找出符号的极限概率(2) 运算信源处在某一状态下输出符号的条件熵 H(X|S=j) (j=s 1,s 2,s 3)(3) 求出马尔可夫信源熵 H解 :(1) 该信源达到平稳后 , 有以下关系成立 :Q( E 1 ) Q(E 3 ) 273727Q(E 1 )3 4 1 4 1 2 1 2 Q( E 2 ) Q(E 1 ) Q( E 2 )Q(E )可得 2 Q( E 3 ) Q(E 1 ) Q( E 2 )Q(E ) 3Q( E 1 ) Q(E 2 ) Q(E 3 ) 133 72 73 7 p(a 1)Q(E i ) p( a 1 |E i ) i 13 p(a 2 )Q(E i ) p(a 2 |E i ) i 1 3p(a ) Q(E ) p(a |E ) 3 i 3 i i 13 p(a k |S 1 ) log p(a k | S 1) 1.(5 bit/ 符号)H ( X | S 1 ) k 13(1 bit/ 符号)(2) H ( X | S 2 ) p(a k |S 2 ) log p(a k | S 2 ) k 13p(a k |S 3 ) log p(a k | S 3 ) 0(bit/ 符号)H ( X | S 3 ) k 13(3) H Q(E i ) H (X | E i ) 2 / 7*3/ 2 3/ 7*1 2 / 7*0 6 / 7 (比特 /符号 )i 1三,二元对称信道的传递矩阵为 (1) 如 P(0)=3/4,P(1)=1/4, 求 H(X),H(X|Y) 与 I(X;Y)(2) 求该信道的信道容量及其最大信道容量对应的正确输入分布2解: ⑴ H ( X ) = p(x i )log p( x i ) 75 25 0, 811(比特 /符号 )= i 1p( y 1 ) p( x 1 ) p( y 1 | x 1 ) p( x 2 ) p( y 1 | x 2 ) =0,75*0 ,6+0 , 25*0 , 4=0 , 55 p( y 2 ) p( x 1 ) p( y 2 | x 1 ) p( x 2 ) p( y 2 | x 2 ) 0, 75*0 , 4+0 , 25*0 , 6=0, 45 H (Y) 0, 992(比特 /符号 )H (Y | X ) p( x)H (Y | x 1) p(x 2 ) H (Y | x 2 ) H (0.6,0.4) H (0.4,0.6) 0.4)7(1 比特 / 符号)H ( X | Y ) H ( XY ) H (Y) H ( X ) H (Y | X ) H (Y)0, 811+0, 971-0 , 992=0, 79 (比特 /符号 )I(X;Y)=H(X)-H(X|Y) =0, 811-0, 79=0, 021(比特 /符号 )(2) 此信道为二元对称信道 ,所以信道容量为C=1-H(p)=1-H(0 , 6)=1-0 , 971=0, 029( 比特 /符号 )当输入等概分布时达到信道容量p p 22pp2244,其中p 1 p ;四,求信道的信道容量0 44 0p p 22pp22解: 这就是一个准对称信道,可把信道矩阵分为: ,N1 M 1 1 4 , N 2 4 , M 422C log r H ( p 2, p 2 ,0,4 ) Nk log Mkk 1log 2 H ( p 2 , p 2 ,0,4 )(1 4 )log(1 44)4log 4(比特/ 符号)故1H ( p 2 , p 2 ,4 ) (1 4 )log(1 4 ) log 4 当输入等概分布时达到信道容量;1XP( x) x1x2x3x4x5x6五,信源(1) 利用霍夫曼码编成二元变长的惟一可译码,并求其L,并求其L(2) 利用费诺码编成二元变长的惟一可译码(3) 利用香农码编成二元变长的惟一可译码(1) 香农编码:,并求其信源符号x 1x 2x 3x 4x 5x 6概率P(x i)0,40,20,20,10,050,05码长233455累积概率0,40,60,80,90,95码字0001110011001110011110l i PL =0 ,4×2+0,2×3+0,2×3+0,1×4+0,05×5+0,05×5=2,9(码元/信源符号)η=H(X)/( L logr)=2 ,222/2,9=0 ,7662(2) 霍夫曼编码:L =0 ,4×2+0,2×2×2+0 ,1×3+0,05×4×2=2,3(码元/信源符号)η=H(X)/( L logr)=0 ,9964(3)费诺编码:L =0 ,4×2+0,2×2×2+0 ,1×3+0,05×4×2=2,3(码元/信源符号)η=H(X)/( L logr)= 0 ,99641 21312161613121613六,设有一离散信道,传递矩阵为设P(x1 )= P(x 2)=1/4,P(x 3)=1/2,试分别按最小错误概率准就与最大似然译码准就确定译码规章并相应的运算机平均错误概率的大小;解:(1) 按最大似然译码准就,F(y1)=x1 F(y2)=x2 F(y3)=x3P(E)=1/2(1/3+1/6)+1/4 ×2×(1/3+1/6)=1/2(2) 联合概率矩阵为,就按最小错误概率准1 8 1 24 1 61121811212411214F(y1)=x3 F(y2)=x2 F(y3)=x3 P(E)= 1/8+1/24+2/12 +1/24+1/12=11/240,131,13213UP(u)八,一个三元对称信源0 1 1 1 0 1 11接收符号为 V = {0,1,2}, 其失真矩阵为 (1)求 D max 与 D min 及信源的 R(D) 函数;(2)求出达到 R(D ) 的正向试验信道的传递概率1 r2 3解 :(1) D max = min P ( u ) d(u ,v) 1 V U 3D min = P ( u ) min d (u , v) 0 j i 1由于就是三元对称信源 ,又就是等概分布 ,所以依据 r 元离散对称信源可得 R(D) =log3 - Dlog2 -H(D) = log3 - D - H(D) 0<=D<=2/3= 0 D>2/3(2)满意 R(D) 函数的信道其反向传递概率为1 D (i j )P(u i | v j ) D2 (i j )13以及有 P(v j )= 依据依据贝叶斯定律 ,可得该信道的正向传递概率为 :1 D2 D (i j )P( v j | u i ) (i j )九,设二元码为 C=[11100,01001,10010,00111](1) 求此码的最小距离 d min ;(2) 采纳最小距离译码准就 ,试问接收序列 10000,01100 与 00100 应译成什么码字?(3) 此码能订正几位码元的错误?解:(1) 码距如左图11100 01001 10010 001111110001001 10010 00111 33 4 43 3故 d min = 3(2) 码距如右图故 10000 译为 译为 11100,00100 译为 11100 或 0011110010,01100 d min 2 e 1,知此码能订正一位码元的错误;(3) 依据。
【关键字】精品2.1 同时掷出两个正常的骰子,也就是各面呈现的概率都为1/6,求:(1) “3和5同时出现”这事件的自信息;(2) “两个1同时出现”这事件的自信息;(3) 两个点数的各种组合(无序)对的熵和平均信息量;(4) 两个点数之和(即2, 3, … , 12构成的子集)的熵;(5) 两个点数中至少有一个是1的自信息量。
解:(1)(2)(3)两个点数的排列如下:11 12 13 14 15 1621 22 23 24 25 2631 32 33 34 35 3641 42 43 44 45 4651 52 53 54 55 5661 62 63 64 65 66共有21种组合:其中11,22,33,44,55,66的概率是其他15个组合的概率是(4)参考上面的两个点数的排列,可以得出两个点数求和的概率分布如下:(5)2.3 设离散无记忆信源,其发出的信息为(0223210),求(1) 此消息的自信息量是多少?(2) 此消息中平均每符号携带的信息量是多少?解:(1) 此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概率是:此消息的信息量是:(2) 此消息中平均每符号携带的信息量是:2.5 设信源,求这个信源的熵,并解释为什么H(X) > log6不满足信源熵的极值性。
解:不满足极值性的原因是。
2.6 每帧电视图像可以认为是由3105个像素组成的,所有像素均是独立变化,且每像素又取128个不同的亮度电平,并设亮度电平是等概出现,问每帧图像含有多少信息量?若有一个广播员,在约10000个汉字中选出1000个汉字来口述此电视图像,试问广播员描述此图像所广播的信息量是多少(假设汉字字汇是等概率分布,并彼此无依赖)?若要恰当的描述此图像,广播员在口述中至少需要多少汉字?解:1)2)3)2.7 为了传输一个由字母A、B、C、D 组成的符号集,把每个字母编码成两个二元码脉冲序列,以“代表A,“代表B,“代表C,“代表D。