信息论第4章

第四章 习题

杨杰

12120354

5.1 求下列各离散信道的容量（其条件概率()PYX如下）：

（1）Z信道

Y

X 0 1

0 1 0

1  1

解：依据公式∑pjiAjj=∑pjilogpjij计算 Aj :

1∗log1=A1

ε∗logε+(1−ε)∗log(1−ε)=ε∗A1+(1−ε)∗A2

∴ A1=0; A2=log[(1−ε)∗εε1−ε]

∵C=log2[∑2Ajj] 从而得出容量：

∴C=log2[1+(1−ε)∗εε1−ε]

bit/symbol

∵qjo=aAj−C; a=2

∴ P(Y=0)=11+(1−ε)∗εε1−ε ; P(Y=1)=(1−ε)∗εε1−ε1+(1−ε)∗εε1−ε

∵P(Y)=P(X)*P(Y|X)

∴P(X=0)=1−εε1−ε1+(1−ε)∗εε1−ε ;P(X=1)=εε1−ε1+(1−ε)∗εε1−ε

Q.E.D.

（2）可抹信道 Y

X 0 E

1

0

211 1 2

1 2

1 211

解：

从题意可知，转移矩阵为准对称矩阵，所以可得：

p(xi)=12=p1=p2

∴[qj]=[1212][Pji]=[1−ε12ε11−ε12]

计算得：

Hmax(Y)=log21ε1ε121−ε11−ε1

H(Y|X)=log211−ε1−ε21−ε1−ε21ε1ε11ε2ε2

∴C=Hmax(Y)−H(Y|X)=−(1−ε1)log21−ε12+(1−ε1−ε2)log2(1−ε1−ε2)+ε2log2ε2

Q.E.D.

（3）非对称信道

Y

X 0 1

0 12 12

1 14 43

解：转移矩阵为非对称矩阵，所以使用公式计算，类似第(1)问：

∴依据公式∑pjiAjj=∑pjilogpjij计算 Aj得：

A1=−1.3775; A2=−0.6225 再依据公式C=log2[∑2Ajj]得：

第4章 信息安全

一、选择题

1．在报文加密之前，它被称为（ A）。

A. 明文 B. 密文 C. 密码电文 D 密码

2．密码算法是（ D）。

A. 加密算法 B. 解密算法 C. 私钥 D. a 和b

3. 在密码学的公钥方法中，（ A ）是公开的。

A. 加密所用密钥 B. 解密所用密钥 C. 前两者都是 D. 都不是

4．网络病毒（ D ）。

A. 与PC机病毒完全不同 B. 无法控制

C. 只有在线时起作用，下线后就失去干扰和破坏能力了

D. 借助网络传播，危害更强

5．逻辑上防火墙是(A )。

A. 过滤器, 限制器, 分析器 B. 堡垒主机

C. 硬件与软件的配合 D. 隔离带

6. 最简单的数据包过滤方式是按照（ B ） 进行过滤。

A. 目标地址 B. 源地址 C. 服务 D. ACK

二、简答题

1．报文机密性和报文完整性之间的区别是什么？

答：报文机密性是指仅有发送方和预定的接收方能够理解传输的报文内容。报文完整性指信息在传输、交换、存储和处理过程中保持非修改，非破坏和非丢失的特性。

2．对称密钥密码系统和公开密钥密码系统的最主要区别是什么？列举典型的对称密钥密码算法和公开密钥密码算法。 答：在对称密钥密码系统中，通信双方必须事先共享密钥。当给对方发送信息时，先用共享密钥将信息加密，然后发送，接收方收到加密数据后，用共享的密钥解密信息，获得明文。如DES，3DES。公开密钥密码系统要求密钥成对使用，即加密和解密分别由两个密钥来实现。每个用户都有一对选定的密钥，一个可以公开，即公开密钥，用于加密；另一个需要保密，即秘密密钥，用于解密。公开密钥和秘密密钥之间有密切的关系。当给对方发送信息时，用对方的公开密钥进行加密，而在接收方收到数据后，用自己的秘密密钥进行解密。如RSA。

信息论习题集

一、名词解释（每词2分）（25道）

1、“本体论”的信息（P3） 2、“认识论”信息（P3） 3、离散信源（11）

4、自信息量（12） 5、离散平稳无记忆信源（49） 6、马尔可夫信源（58）

7、信源冗余度 （66） 8、连续信源 （68） 9、信道容量 （95）

10、强对称信道 （99） 11、对称信道 （101-102）12、多符号离散信道（109）

13、连续信道 （124） 14、平均失真度 （136） 15、实验信道 （138）

16、率失真函数 （139） 17、信息价值率 （163） 18、游程序列 （181）

19、游程变换 （181） 20、L-D编码（184）、 21、冗余变换 （184）

22、BSC信道 （189） 23、码的最小距离 （193）24、线性分组码 （195）

25、循环码 （213）

二、填空（每空1分）（100道）

1、 在认识论层次上研究信息的时候，必须同时考虑到 形式、含义和效用 三个方面的因素。

2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

3、 按照信息的性质，可以把信息分成 语法信息、语义信息和语用信息 。

4、 按照信息的地位，可以把信息分成 客观信息和主观信息 。

5、 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。

6、 信息的 可度量性 是建立信息论的基础。

7、 统计度量 是信息度量最常用的方法。

8、 熵 是香农信息论最基本最重要的概念。

9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。

12、自信息量的单位一般有 比特、奈特和哈特 。

5.1 设信源01.01.015.017.018.019.02.0)(7654321xxxxxxxXPX

(1) 求信源熵H(X)；

(2) 编二进制香农码；

(3) 计算平均码长和编码效率。

解：

(1)

symbolbitxpxpXHiii/609.2)01.0log01.01.0log1.015.0log15.017.0log17.018.0log18.019.0log19.02.0log2.0()(log)()(2222222712

(2)

xi

p(xi) pa(xi) ki 码字

x1 0.2 0 3 000

x2 0.19 0.2 3 001

x3 0.18 0.39 3 011

x4 0.17 0.57 3 100

x5 0.15 0.74 3 101

x6 0.1 0.89 4 1110

x7 0.01 0.99 7 1111110

(3)

%1.8314.3609.2)()(14.301.071.0415.0317.0318.0319.032.03)(KXHRXHxpkKiii

5.2 对信源01.01.015.017.018.019.02.0)(7654321xxxxxxxXPX编二进制费诺码，计算编码效率。

解：

xi p(xi) 编码 码字 ki

x1 0.2

0 0 00 2

x2 0.19 1 0 010 3

x3 0.18 1 011 3

x4 0.17

1 0 10 2

x5 0.15

1 0 110 3

x6 0.1 1 0 1110 4

x7 0.01 1 1111 4

%2.9574.2609.2)()(74.201.041.0415.0317.0218.0319.032.02)(KXHRXHxpkKiii