当前位置：文档之家 › 《信息论》试题及答案

《信息论》试题及答案

  • 格式：doc
  • 大小：295.00 KB
  • 文档页数：6

期终练习
一、某地区的人群中，10％是胖子，80％不胖不瘦，10％是瘦子。已知胖子得高血压
的概率是15％，不胖不瘦者得高血压的概率是10％，瘦子得高血压的概率是5％，则“该
地区的某一位高血压者是胖子”这句话包含了多少信息量。
解：设事件A：某人是胖子； B：某人是不胖不瘦 C：某人是瘦子
D：某人是高血压者
根据题意，可知：P（A）= P（B）= P（C）=
P（D|A）= P（D|B）= P（D|C）=
而“该地区的某一位高血压者是胖子” 这一消息表明在D事件发生的条件下，A事件
的发生，故其概率为P（A|D）
根据贝叶斯定律，可得：
P（D）＝P（A）* P（D|A）＋P（B）* P（D|B）＋P（C）* P（D|C）＝
P（A|D）＝P（AD）/P（D）＝P（D|A）*P（A）/ P（D）＝*＝
故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为：
I（A|D） = - logP（A|D）=log（）≈ （bit）
二、设有一个马尔可夫信源，它的状态集为{S1，S2，S3}，符号集为{a1，a2，a3}，以及

在某状态下发出符号集的概率是(|)kipas（i，k=1，2，3），如图所示

（1）求图中马尔可夫信源的状态极限概率并找出符号的极限概率
（2）计算信源处在某一状态下输出符号的条件熵H(X|S=j) (j=s1，s2，s3)
（3）求出马尔可夫信源熵H
解：（1）该信源达到平稳后，有以下关系成立：

13212312123()()31()()()4211()()()42()()()1QEQEQEQEQEQEQEQEQEQEQE 可得1232()73()72()7QEQEQE
3
111322133313()()(|)72()()(|)73()()(|)7ii
iiiiiiipaQEpaEpaQEpaEpaQEpaE








（2）311113222133331(|)(|)log(|)1.5bit/(|)(|)log(|)1bit/(|)(|)log(|)0bit/kkkkkkkkkHXSpaSpaSHXSpaSpaSHXSpaSpaS（符号）（符号）（符号）
（3）31()(|)2/7*3/23/7*12/7*06/7iiiHQEHXE（比特/符号）
三、二元对称信道的传递矩阵为0.60.40.40.6
（1）若P(0)=3/4，P(1)=1/4，求H（X），H（X|Y）和I（X；Y）
（2）求该信道的信道容量及其最大信道容量对应的最佳输入分布

解：⑴()HX=21()log()iiipxpx=0.75log750.25log25(比特/符号)

1111212
()()(|)()(|)pypxpyxpxpyx
=*+*=

2121222
()()(|)()(|)pypxpyxpxpyx
*+*=

()0.55log0.550.45log0.45HY

(比特/符号)

122
(|)()(|)()(|)0.75(0.6,0.4)0.25(0.4,0.6)(0.6log0.60.4log0.4)0.971/HYXpxHYxpxHYxHH

（比特符号）

(|)()()()(|)()HXYHXYHYHXHYXHY

+ (比特/符号)

I(X;Y)=H(X)-H(X|Y)=比特/符号)
（2）此信道为二元对称信道，所以信道容量为
C=1-H(p)=1-H==(比特/符号)
当输入等概分布时达到信道容量
四、求信道22042240pppp的信道容量，其中1pp。
解：这是一个准对称信道，可把信道矩阵分为：2222pppp，0440
1114NM，22
4,4NM

故21log(2,2,0,4)loglog2(2,2,0,4)(14)log(14)4log41(2,2,4)(14)log(14)4log4(/kkkCrHppNMHppHpp比特符号）
当输入等概分布时达到信道容量。 1
五、信源123456()0.4xxxxxxXPx

（1）利用霍夫曼码编成二元变长的惟一可译码，并求其L
（2）利用费诺码编成二元变长的惟一可译码，并求其L
（3）利用香农码编成二元变长的惟一可译码，并求其
(1)香农编码：
信源符号 概率P(xi) 码长li 累积概率P 码字
x1 2 0 00
x2 3 011
x3 3 100
x4 4 1100
x5 5 11100
x6 5 11110

L
=×2＋×3＋×3＋×4＋×5＋×5＝(码元/信源符号)

η＝H(X)/( L logr)==（2）霍夫曼编码：
L
=×2+×2×2+×3+×4×2=(码元/信源符号)

η＝H(X)/( L logr)=
(3)费诺编码：

L
=×2+×2×2+×3+×4×2=(码元/信源符号)

η＝H(X)/( L logr)=

六、设有一离散信道，传递矩阵为111236111623111362
设P(x1)= P(x2)=1/4，P(x3)=1/2，试分别按最小错误概率准则和最大似然译码准则确
定译码规则，并相应的计算机平均错误概率的大小。
解：（1）按最大似然译码准则
F(y1)=x1 F(y2)=x2 F(y3)=x3
P(E)=1/2(1/3+1/6)+1/4×2×(1/3+1/6)=1/2
(2) 联合概率矩阵为，则按最小错误概率准

11
1

812
24

111
24812
1
11

4
612










F(y1)=x3 F(y2)=x2 F(y3)=x3 P(E)= 1/8+1/24+2/12

+1/24+1/12=11/24
八、一个三元对称信源0,1,2111()333UPu
接收符号为V＝{0，1，2}，其失真矩阵为011101110
（1）求Dmax和Dmin及信源的R(D)函数。
（2）求出达到()RD的正向试验信道的传递概率

解：（1）max12D)(,)13UPduvrV＝min（u
3
min
1D)(,)0iPduv

j＝（umin

因为是三元对称信源，又是等概分布，所以根据r元离散对称信源可得
R（D）＝log3－Dlog2－H（D）＝log3－D－H（D） 0<=D<=2/3
＝0 D>2/3
（2）满足R（D）函数的信道其反向传递概率为

1()(|)()213ijDijPuvDij




j
以及有P(v)=

根据根据贝叶斯定律，可得该信道的正向传递概率为：
1()(|)()2jiDijPvuDij




九、设二元码为C=[11100，01001，10010，00111]
（1）求此码的最小距离mind；
（2）采用最小距离译码准则，试问接收序列10000，01100和00100应译成什么码字
（3）此码能纠正几位码元的错误
解：（1）码距如左图

0011111100010011001011100010011001000111334433

故dmin＝3
（2）码距如右图
故10000译为10010，01100译为11100，00100译为11100或00111

（3）根据min21de,知此码能纠
正一位码元的错误。
精心搜集整理，只为你的需要

合集下载

信息论与编码试卷及答案2

信息论与编码试卷及答案2

篇一：信息论与编码期末题(全套)〔一〕7、某二元信源一、判断题共 10 小题，总分值 20 分.1. 当随机变量X和Y相互独立时，条件熵H(X|Y)等于信源熵H(X). 〔〕2. 由于构成同一空间的基底不是唯一的，所以不同的基1X0P(X)1/21/2，其失真矩阵0a，那么该信源的Dmax= Da0三、此题共 4 小题，总分值 50 分.1、某信源发送端有2种符号xi(i1,2),p(x1)a；接收端底或生成矩阵有可能生成同一码集.符号 y( j 1 ,2) ，转移概率矩阵为有3 种,3〔〕3.一般情况下，用变长编码得到的平均码长比定长编码大得多. 〔〕4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信〔〕 5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. 〔〕 6. 连续信源和离散信源的熵都具有非负性. 〔〕7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小. 8. 汉明码是一种线性分组码. 〔〕 9. 率失真函数的最小值是0. 〔〕10.必然事件和不可能事件的自信息量都是0. 〔〕二、填空题共 6 小题，总分值 20 分.1、码的检、纠错能力取决于 .2、信源编码的目的是的目的是 .3、把信息组原封不动地搬到码字前k位的(n,k)码就叫做 .4、香农信息论中的三大极限定理是、、. 5、设信道的输入与输出随机序列分别为X和Y，那么I(XN,YN)NI(X,Y)成立的条件6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 . iP1/21/201/21/41/4.〔1〕计算接收端的平均不确定度H(Y)；〔2〕计算由于噪声产生的不确定度H(Y|X)；〔3〕计算信道容量以及最正确入口分布. 2、一阶马尔可夫信源的状态转移图2-13图如右图所示，信源X的符号集为{0,1,2}. 〔1〕求信源平稳后的概率分布；〔2〕求此信源的熵；〔 3 〕近似地认为此信源为无记忆时，符号的概率分布为平 X )稳分布.求近似信源的熵H(并与H进行比拟.4 、设二元( 7 , 4 ) 线〔1〕给出该码的一致校验矩阵，写出所有的陪集首和与之相对应的伴随式；)，试计算出其对应的伴随式S并按照最小距离译码准那么试着对其译码. 〔二〕一、填空题〔共15分，每空1分〕1、信源编码的主要目的是，信道编码的主要目的是。

信息论与编码试题集与答案

信息论与编码试题集与答案

1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。

2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。

3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。

4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。

5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。

6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。

输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。

7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。

若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。

四、计算题1.已知(),X Y 的联合概率(),p x y 为： 求()H X ，()H Y ，(),H X Y ，();I X Y解: (0)2/3p x == (1)1/3p x == (0)1/3p y == (1)2/3p y == ()()(1/3,2/3)H X H Y H ===0.918 bit/symbol(),(1/3,1/3,1/3)H X Y H ==1.585 bit/symbol ();()()(,)I X Y H X H Y H X Y =+-=0.251 bit/symbol2.某系统（7，4）码)()(01201230123456c c c m m m m c c c c c c c ==c 其三位校验位与信息位的关系为：231013210210c m m m c m m m c m m m=++⎧⎪=++⎨⎪=++⎩ 01X Y011/31/301/3（1）求对应的生成矩阵和校验矩阵； （2）计算该码的最小距离；（3）列出可纠差错图案和对应的伴随式； （4）若接收码字R =1110011，求发码。

信息类专业试题及答案详解

信息类专业试题及答案详解

信息类专业试题及答案详解一、选择题1. 信息论的创始人是：A. 爱因斯坦B. 图灵C. 香农D. 冯·诺依曼答案：C2. 以下哪个不是计算机网络的拓扑结构？A. 星型拓扑B. 环型拓扑C. 总线拓扑D. 树型拓扑答案：D3. 在数据库系统中，用于存储数据的软件是：A. 数据库管理系统（DBMS）B. 操作系统（OS）C. 编译器D. 应用软件答案：A二、填空题1. 在信息安全领域，_______是用来保护数据传输过程中的安全性。

答案：加密2. 计算机病毒是一种_______，它可以在计算机系统中自我复制并传播。

答案：恶意软件3. 网络协议中的TCP和UDP分别代表传输控制协议和_______。

答案：用户数据报协议三、简答题1. 简述什么是云计算，并说明其主要特点。

答案：云计算是一种通过网络（通常是互联网）提供按需访问计算资源（如服务器、存储、数据库、网络、软件等）的服务模式。

其主要特点包括：- 弹性：资源可以根据需求动态扩展或缩减。

- 可访问性：用户可以通过任何设备，任何地点访问云服务。

- 按需服务：用户仅支付他们使用的服务。

- 多租户：多个用户可以共享相同的物理硬件资源。

- 服务化：云服务提供商负责维护基础设施和软件。

2. 解释什么是大数据，并阐述其“4V”特性。

答案：大数据是指传统数据处理应用软件难以处理的海量、高增长率和多样化的信息资产。

其“4V”特性包括：- 体量（Volume）：数据量巨大。

- 速度（Velocity）：数据生成和处理的速度非常快。

- 多样性（Variety）：数据类型多样，包括结构化、半结构化和非结构化数据。

- 价值（Value）：数据中蕴含着巨大的潜在价值。

四、计算题1. 假设有一个二进制文件，大小为1MB。

如果使用哈夫曼编码对其进行压缩，平均每个字符压缩后的大小为1.5比特，请计算压缩后的文件大小。

答案：1MB = 1024 * 1024比特。

压缩后的文件大小 = (1024 * 1024) / 1.5 = 725 * 1024比特。

信息论与编码试题集与答案(新)

信息论与编码试题集与答案(新)

一填空题（本题20分，每小题2分）1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

3、最大熵值为。

4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。

6、只要，当N足够长时，一定存在一种无失真编码。

7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。

8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。

9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。

按照信息的地位，可以把信息分成客观信息和主观信息。

人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。

信息的可度量性是建立信息论的基础。

统计度量是信息度量最常用的方法。

熵是香农信息论最基本最重要的概念。

事物的不确定度是用时间统计发生概率的对数来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。

12、自信息量的单位一般有 比特、奈特和哈特 。

13、必然事件的自信息是 0 。

14、不可能事件的自信息量是 ∞ 。

15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。

16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。

17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。

18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。