1. 在无失真的信源中，信源输出由 H(X) 来度量；在有失真的信源中，信源输出由
R(D) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码，
然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)CWSNR；当归一化信道容量C/W趋近于零时，也即信道完全丧失了通信能力，此时Eb/N0为 -1.6 dB，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H(K)就越 小 ，其密文中含有的关于明文的信息量I(M；C)就越 大 。
5. 已知n＝7的循环码42()1gxxxx，则信息位长度k为 3 ，校验多项式
h(x)= 31xx 。
6. 设输入符号表为X＝{0，1}，输出符号表为Y＝{0，1}。输入信号的概率分布为p＝(1/2，1/2)，失真函数为d(0，0) = d(1，1) = 0，d(0，1) =2，d(1，0) = 1，则Dmin＝ 0 ，R(Dmin)＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x)]＝1001；Dmax＝ 0.5 ，R(Dmax)＝
0 ，相应的编码器转移概率矩阵[p(y/x)]＝1010。
7. 已知用户A的RSA公开密钥(e,n)=(3,55)，5,11pq,则()n 40 ，他的秘密密钥(d,n)＝(27,55) 。若用户B向用户A发送m=2的加密消息，则该加密后的消息为 8 。
二、判断题
1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （ ）
2. 线性码一定包含全零码。 （ ）
1. 在无失真的信源中，信源输出由 H(X) 来度量；在有失真的信源中，信源输出由
R(D) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码，
然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)CWSNR；当归一化信道容量C/W趋近于零时，也即信道完全丧失了通信能力，此时Eb/N0为 -1.6 dB，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H(K)就越 小 ，其密文中含有的关于明文的信息量I(M；C)就越 大 。
5. 已知n＝7的循环码42()1gxxxx，则信息位长度k为 3 ，校验多项式
h(x)= 31xx 。
6. 设输入符号表为X＝{0，1}，输出符号表为Y＝{0，1}。输入信号的概率分布为p＝(1/2，1/2)，失真函数为d(0，0) = d(1，1) = 0，d(0，1) =2，d(1，0) = 1，则Dmin＝ 0 ，R(Dmin)＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x)]＝1001；Dmax＝ 0.5 ，R(Dmax)＝
0 ，相应的编码器转移概率矩阵[p(y/x)]＝1010。
7. 已知用户A的RSA公开密钥(e,n)=(3,55)，5,11pq,则()n 40 ，他的秘密密钥(d,n)＝(27,55) 。若用户B向用户A发送m=2的加密消息，则该加密后的消息为 8 。
二、判断题
1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （ ）
2. 线性码一定包含全零码。 （ ）
香农信息论在信息测度中的应用
摘要：从香农开始, 已经有很多人讨论了关于信息的测度问题, 香农等的测度方法主要从信息的功能方面进行了详细的分析,目前, 对于统一的信息测度方法的需求日益迫切, 而香农信息论是最经典的信息概念和测度方法。本文对以用香农信息论进行信息的测度做 了简要介绍, 希望能更好地探索信息本质的绝对真理。
关键词: 香农信息论；香农定理：信息; 测度
信息论为不同的通信系统提供进行比较的度量,在上世纪40年代时这种比较越来越显。为了使已有的有线系统得到保护且更好的加以利用，发明了多种多样的通信系统。在20年代时, 电报通信系统的比较这一课题引起了尼奎斯特(H.Nyquist)和哈脱莱(R.V.L.Hartley)的注意,他们在信息论出现之前就已提出某些相关的基本原理。1918年香农
(C.E.Shannon)发表了周密的通用理论,成为信息论以后工作的基础。
选择性信息单位 ,即根据两个概率相同,互相排斥并包含所有可能的事件出现个的已知结果推导得出的信息量。信息的对数计量单位 ,它是两种互不相关的并且具有相等概率的事态集合的判定含量, 表示为以2为底的对数。在信息论中,一组互斥事件的判定量以 2为底的对数量度单位。
根据香农公式，设信道带宽为口,信道内所传信号的平均功率为S,信道内部高斯噪声的功率为N,则信道容量C为：
C:Blg(1+S/N) 比特/秒 香农公式指出了当信号和噪声的平均功率给定之后,在单位时回内,在给定带宽的信道的最大信息传输量。
香农第一定理，亦即“无噪声(离散)信道编码定理, 为信息论基础中两个主要定理之一。该定理揭示了对信息源符号编码后的码字平均长度与信息源每个符号的平均信息量之间的内在规律。
香农第一定理指出: 码字的平均长度L只能大于或等于 ,但不能小于信源的熵即L≥ H(S),亦即码字的平均长度以H(S)为极限。
香农第二定理，亦即有噪声信道的编码定理。香农第二定理是信息论基础中两个主要定理中的另一个。
第2章离散信源与信息熵
1
信号
信号+干扰 消息
干扰 消息 信源 编码器 信道 译码器 信宿
噪声源
通信系统模型信息
2.1 信源的分类和描述
信源是信息的发源地，可以是人、生物、机器或其他事
物。信源的输出是包含信息的消息。消息的形式可以是
离散的或连续的。
2信源输出为连续信号形式（如语音），可用连续随机变
量描述。
连续信源模拟通信系统
离散信源数字通信系统信源输出是离散的消息符号（如书信），可用离散随机
变量描述。离散信源…Xi…Xj…
离散无记忆信源：输出符号XiXj之间相互无影响；
离散有记忆信源：输出符号XiXj 之间彼此依存。
3离散信源无记忆
有记忆发出单个符号
发出符号序列
马尔可夫信源
非马尔可夫信源
xiyj
将一粒棋子随意地放
在棋盘中的某列；
棋子放置的位置是一
个随机事件；
可看做一个发出单个
符号的离散信源。
512
12,,...,
(),(),...,()m
mxxxX
Ppxpxpx就数学意义来讲，信源就是一个概率场，可用概率空间
来描述信源。由离散随机变量X表示棋子位置：
10()1,()1m
ii
ipxpx
ix其中，
代表随机事件的某一结果。
62.2离散信源的信息熵
信息的可度量性是信息论建立的基础；
香农的信息论用事件发生概率的对数来描述事件的不确
定性，得到消息的信息量，建立熵的概念。
2.2.1自信息量
–定义2.1 任意随机事件xi的自信息量定义为：
ii
i1(x)loglog(x)
(x)IP
P
7小概率事件所包含的不确定性大，自信息量大。
大概率事件所包含的不确定性小，自信息量小。
概率为1
的确定性事件，自信息量为零。ii
i1(x)loglog(x)
(x)IP
P
信息量的单位与公式中的对数取底有关。
以2为底，单位比特（bit）；
以e为底，单位奈特（nat）；
22loglog,loglogln
logca
cbbxex
a
8–例：棋盘共8列，甲随手一放，将一枚
棋子放在了第3列。
