1、平均自信息为
表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息
表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：
5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
19、对于n 元m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。
20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。
21、平均功率为P 的高斯分布的连续信源，其信源熵，Hc （X ）=eP π2log 212。
22、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。
23、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。
24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功率P 之比 。
25、若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。
26、m 元长度为ki ，i=1，2，···n 的异前置码存在的充要条件是：∑=-≤n i k i m 11。 27、若把掷骰子的结果作为一离散信源，则其信源熵为 log26 。
28、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 log218（1+2 log23）。
29、若一维随即变量X 的取值区间是[0，∞]，其概率密度函数为m
x
e m x p -=1)(，其中：0≥x ，m 是X 的数学期望，则X 的信源熵=)(X H C me 2log 。
30、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为 52log 2 。
31、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续 信道。
32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 无记忆 信道。
33、具有一一对应关系的无噪信道的信道容量C= log2n 。
34、强对称信道的信道容量C= log2n-Hni 。
35、对称信道的信道容量C= log2m-Hmi 。
36、对于离散无记忆信道和信源的N 次扩展，其信道容量CN= NC 。
37、对于N 个对立并联信道，其信道容量 CN = ∑=N k k C 1 。
38、多用户信道的信道容量用 多维空间的一个区域的界限 来表示。
39、多用户信道可以分成几种最基本的类型： 多址接入信道、广播信道 和相关信源信道。
40、广播信道是只有 一个输入端和多个输出端 的信道。
41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时，此信道称为 加性连续信道 。
42、高斯加性信道的信道容量C=)1(log 2
12N X P P +。 43、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是 信息率小于信道容量 。
44、信道矩阵
??????10002/12/1代表的信道的信道容量C= 1 。 45、信道矩阵?????????
?100101代表的信道的信道容量C= 1 。 46、高斯加性噪声信道中，信道带宽3kHz ，信噪比为7，则该信道的最大信息传输速率Ct= 9 kHz 。
47、对于具有归并性能的无燥信道，达到信道容量的条件是 p （yj ）=1/m ） 。
48、信道矩阵?????
?1001代表的信道，若每分钟可以传递6*105个符号，则该信道的最大信息传输速率Ct= 10kHz 。
49、信息率失真理论是量化、数模转换、频带压缩和 数据压缩 的理论基础。
50、求解率失真函数的问题，即：在给定失真度的情况下，求信息率的 极小值 。
51、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就 越大 ，获得的信息量就越小。
52、信源的消息通过信道传输后的误差或失真越大道传输消息所需的信息率 也越小 。
53、单符号的失真度或失真函数d （xi ，yj ）表示信源发出一个符号xi ，信宿再现yj 所引起的 误差或失真 。
54、汉明失真函数 d （xi ，yj ）=???≠=j i j i 10 。
55、平方误差失真函数d （xi ，yj ）=（yj- xi ）2。
56、平均失真度定义为失真函数的数学期望，即d （xi ，yj ）在X 和Y 的 联合概率空间P （XY ）中 的统计平均值。
57、如果信源和失真度一定，则平均失真度是 信道统计特性 的函数。
58、如果规定平均失真度D 不能超过某一限定的值D ，即：D D ≤。我们把D D ≤称为 保真度准则 。
59、离散无记忆N 次扩展信源通过离散无记忆N 次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的 N 倍。
60、试验信道的集合用PD 来表示，则PD= {}m j n i D D x y p i j ,,2,1,,,2,1;:)/( ==≤ 。
61、信息率失真函数，简称为率失真函数，即：试验信道中的平均互信息量的 最小值 。
62、平均失真度的下限取0的条件是失真矩阵的 每一行至少有一个零元素 。
63、平均失真度的上限Dmax 取{Dj ：j=1，2，···，m}中的 最小值 。
64、率失真函数对允许的平均失真度是 单调递减和连续的 。
65、对于离散无记忆信源的率失真函数的最大值是 log2n 。
66、当失真度大于平均失真度的上限时Dmax 时，率失真函数R （D ）= 0 。
67、连续信源X 的率失真函数R （D ）= )
;()/(Y X I P x y p Inf D ∈ 。
68、当2
σ≤D 时，高斯信源在均方差失真度下的信息率失真函数为 =)(D R D 2
2log 21σ 。
69、保真度准则下的信源编码定理的条件是 信源的信息率R 大于率失真函数R
（D ） 。
70、某二元信源??????=??????2/12/110)(X P X 其失真矩阵D=?????
?00a a ，则该信源的Dmax= a/2 。
71、某二元信源??????=??????2/12/110)(X P X 其失真矩阵D=?????
?00a a ，则该信源的Dmin= 0 。
72、某二元信源??????=??????2/12/110)(X P X 其失真矩阵D=?????
?00a a ，则该信源的R （D ）= 1-H （D/a ） 。
73、按照不同的编码目的，编码可以分为三类：分别是 信源编码、信道编码和安全编码 。
74、信源编码的目的是： 提高通信的有效性 。
75、一般情况下，信源编码可以分为 离散信源编码、连续信源编码和相关信源编码 。
76、连续信源或模拟信号的信源编码的理论基础是 限失真信源编码定理 。
77、在香农编码中，第i 个码字的长度ki 和p （xi ）之间有 )(log 1)(log 22i i i x p k x p -<≤- 关系。
78、对信源??????=?????
?16/116/116/116/18/18/14/14/1(87654321x x x x x x x x X P X ）进行二进制费诺编码，其编码效率为 1 。
79、对具有8个消息的单符号离散无记忆信源进行4进制哈夫曼编码时，为使平均码长最短，应增加 2 个概率为0的消息。
80、对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是 香农编码 。
81、对于二元序列0011100000011111001111000001111111，其相应的游程序列是 23652457 。
82、设无记忆二元序列中，“0”和“1”的概率分别是p0和p1，则“0”游程长度L （0）的概率为 11)0(0)]0([p p L p L -= 。
83、游程序列的熵 等于 原二元序列的熵。
84、若“0”游程的哈夫吗编码效率为η0，“1”游程的哈夫吗编码效率为η1，且η0>η1对应的二元序列的编码效率为η，则三者的关系是 η0>η>η1 。
85、在实际的游程编码过程中，对长码一般采取 截断 处理的方法。
86、“0”游程和“1”游程可以分别进行哈夫曼编码，两个码表中的码字可以重复，但 C 码 必须不同。
87、在多符号的消息序列中，大量的重复出现的，只起占时作用的符号称为 冗余位 。
88、“冗余变换”即：将一个冗余序列转换成一个二元序列和一个 缩短了的多元序列 。
89、L-D 编码是一种 分帧传送冗余位序列 的方法。
90、L-D 编码适合于冗余位 较多或较少 的情况。
91、信道编码的最终目的是 提高信号传输的可靠性 。
92、狭义的信道编码即：检、纠错编码 。
93、BSC 信道即：无记忆二进制对称信道 。
94、n 位重复码的编码效率是 1/n 。
95、等重码可以检验 全部的奇数位错和部分的偶数位错 。
96、任意两个码字之间的最小汉明距离有称为码的最小距dmin ，则dmin=)',(min 'c c d c c ≠。
97、若纠错码的最小距离为dmin ，则可以纠正任意小于等于t= ?????
?-21min d 个差错。
98、若检错码的最小距离为dmin ，则可以检测出任意小于等于l= dmin-1 个差错。
99、线性分组码是同时具有 分组特性和线性特性 的纠错码。
100、循环码即是采用 循环移位特性界定 的一类线性分组码。
三、判断（每题1分）（50道）
必然事件和不可能事件的自信息量都是0 。错
自信息量是)(i x p 的单调递减函数。对
单符号离散信源的自信息和信源熵都具有非负性。对
单符号离散信源的自信息和信源熵都是一个确定值。错
单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的。对 自信息量、条件自信息量和联合自信息量之间有如下关系：
)/()()/()()(j i j i j i j i y x I y I x y I x I y x I +=+= 对
自信息量、条件自信息量和互信息量之间有如下关系：
)/()()/()();(i j j j i i j i x y I y I y x I x I y x I -=-= 对
当随即变量X 和Y 相互独立时，条件熵等于信源熵。对
当随即变量X 和Y 相互独立时，I （X ；Y ）=H （X ） 。错
10、信源熵具有严格的下凸性。错
11、平均互信息量I （X ；Y ）对于信源概率分布p （xi ）和条件概率分布p （yj/xi ）都具有凸函数性。 对
12、m 阶马尔可夫信源和消息长度为m 的有记忆信源，其所含符号的依赖关系相同。 错
13、利用状态极限概率和状态一步转移概率来求m 阶马尔可夫信源的极限熵。 对
14、N 维统计独立均匀分布连续信源的熵是N 维区域体积的对数。 对
15、一维高斯分布的连续信源，其信源熵只与其均值和方差有关。 错
16、连续信源和离散信源的熵都具有非负性。 错
17、连续信源和离散信源都具有可加性。 对
18、连续信源和离散信源的平均互信息都具有非负性。 对
19、定长编码的效率一般小于不定长编码的效率。 对
20、若对一离散信源（熵为H （X ））进行二进制无失真编码，设定长码子长度为K ，变长码子平均长度为K ，一般K >K 。 错
21、信道容量C 是I （X ；Y ）关于p （xi ）的条件极大值。 对
22、离散无噪信道的信道容量等于log2n ，其中n 是信源X 的消息个数。 错
23、对于准对称信道，当m y p j 1
)(=时，可达到信道容量C 。错
24、多用户信道的信道容量不能用一个数来代表。 对
25、多用户信道的信道容量不能用一个数来代表，但信道的信息率可以用一个数来表示。错
26、高斯加性信道的信道容量只与信道的信噪有关。 对
27、信道无失真传递信息的条件是信息率小于信道容量。对
28、最大信息传输速率，即：选择某一信源的概率分布（p （xi ）），使信道所能传送的信息率的最大值。 错
29、对于具有归并性能的无燥信道，当信源等概率分布时（p （xi ）=1/n ），达到
信道容量。 错
30、求解率失真函数的问题，即：在给定失真度的情况下，求信息率的极小值。对
31、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小。 错
32、当p （xi ）、p （yj/xi ）和d （xi ，yj ）给定后，平均失真度是一个随即变量。 错
33、率失真函数对允许的平均失真度具有上凸性。对
34、率失真函数没有最大值。 错
35、率失真函数的最小值是0 。对
36、率失真函数的值与信源的输入概率无关。错
37、信源编码是提高通信有效性为目的的编码。 对
38、信源编码通常是通过压缩信源的冗余度来实现的。 对
39、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 错
40、一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。 对
41、在编m （m>2）进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。 对
42、游程序列的熵（“0”游程序列的熵与“1”游程序列的熵的和）大于等于原二元序列的熵。 错
43、在游程编码过程中，“0”游程和“1”游程应分别编码，因此，它们的码字不能重复。 错
44、L-D 编码适合于冗余位较多和较少的情况，否则，不但不能压缩码率，反而使其扩张。 对
45、狭义的信道编码既是指：信道的检、纠错编码。 对
46、对于BSC 信道，信道编码应当是一对一的编码，因此，消息m 的长度等于码字c 的长度。 错
47、等重码和奇（偶）校验码都可以检出全部的奇数位错。 对
48、汉明码是一种线性分组码。对
49、循环码也是一种线性分组码。 对
50、卷积码是一种特殊的线性分组码。 错
１．设Ｘ的取值受限于有限区间［a,b ］，则X 服从 均匀 分布时，其熵达到最大；如X 的均值为μ，方差受限为2σ，则X 服从 高斯 分布时，其熵达到最大。
2．信息论不等式：对于任意实数0>z ，有1ln -≤z z ，当且仅当1=z 时等式成立。
3．设信源为X={0，1}，P （0）=1/8，则信源的熵为 )8/7(log 8/78log 8/122+比特/符号，如信源发出由m 个“0”和（100-m ）个“1”构成的序列，序列的自信息量为)8/7(log )100(8log 22m m -+比特/符号。
4．离散对称信道输入等概率时，输出为 等概 分布。
5．根据码字所含的码元的个数，编码可分为 定长 编码和 变长 编码。
6．设DMS 为??
????=??????03.007.010.018.025.037.0.654321u u u u u u P U U ，用二元符号表}1,0{21===x x X 对其进行定长编码，若所编的码为{000，001，010，011，100，101}，则编码器输出码元的一维概率=)(1x P 0.747 , =)(2x P 0.253 。
二、简答题（30分）
设信源为??
????=??????4/34/121x x P X X ，试求（1）信源的熵、信息含量效率以及冗余度； 求二次扩展信源的概率空间和熵。
解：
（1）
)(11)
(2log /)()
3/4(log 4/34log 4/1)(222X H X H X H X H -=-===+=ηγη
（2）二次扩展信源的概率空间为：
X\X 1x
2x 1x
1/1
6
3/16 2x 3/16 9/16 )9/16(log 16/9)3/16(log 16/3)3/16(log 16/316log 16/1)(2222+++=XX H
什么是损失熵、噪声熵？什么是无损信道和确定信道？如输入输出为s r ?，则它们的分别信道容量为多少？
答：将H （X|Y ）称为信道},,{|Y P X X Y 的疑义度或损失熵，损失熵为零的信道就是无损信道，信道容量为logr 。
将H （Y|X ）称为信道},,{|Y P X X Y 的噪声熵，噪声熵为零的信道就是确定信道，信道容量为logs 。
信源编码的和信道编码的目的是什么？
答：信源编码的作用：
（1）符号变换：使信源的输出符号与信道的输入符号相匹配；
（2）冗余度压缩：是编码之后的新信源概率均匀化，信息含量效率等于或接近于100%。
信道编码的作用：降低平均差错率。
什么是限失真信源编码？
答：有失真信源编码的中心任务：在允许的失真范围内把编码的信息率压缩到最小。
三、综合题（20+15+15）
设随机变量}1,0{},{21==x x X 和}1,0{},{21==y y Y 的联合概率空间为 ?????
?=??????8/18/38/38/1),(),(),(),(22122111y x y x y x y x P XY XY 定义一个新的随机变量Y X Z ?=(普通乘积)
计算熵H （X ），H （Y ），H （Z ），H （XZ ），H （YZ ），以及H （XYZ ）；
计算条件熵 H （X|Y ），H （Y|X ），H （X|Z ），H （Z|X ），H （Y|Z ），H （Z|Y ），H （X|YZ ），H （Y|XZ ）以及H （Z|XY ）；
计算平均互信息量I （X ；Y ），I （X ：Z ），I （Y ：Z ），I （X ；Y|Z ），I （Y ；Z|X ）以及I （X ：，Z|Y ）。
解：（1）
12log 2/12log 2/1)(1
2log 2/12log 2/1)(2222=+==+=Y H X H
8
/1008/308/308/1111110101100011010001000XYZ 8/18/71
0Z
8log 8/1)7/8(log 8/7)(22+=Z H
8
/18/302/111100100XZ 8log 8/1)3/8(log 8/32log 2/1)(222++=XZ H
8
/18/302/111100100YZ X\Y 0 1
0 1/8 3/8 1/2
1 3/8 1/8 1/2
1/2 1/2
8log 8/1)3/8(log 8/32log 2/1)(222++=YZ H
（2）
))3/4(log 4/34log 4/1(2/1))3/4(log 4/34log 4/1(2/1)|(2222+++=Y X H ))3/4(log 4/34log 4/1(2/1))3/4(log 4/34log 4/1(2/1)|(2222+++=X Y H
)1log 10log 0(8/1))3/7(log 7/3)4/7(log 7/4(8/7)|(2222+++=Z X H )4log 4/1)3/4(log 4/3(2/1)0log 01log 1(2/1)|(2222+++=X Z H
)1log 10log 0(8/1))3/7(log 7/3)4/7(log 7/4(8/7)|(2222+++=Z Y H )4log 4/1)3/4(log 4/3(2/1)0log 01log 1(2/1)|(2222+++=Y Z H )0log 01log 1(8/1)0log 01log 1(8/3))3/4(log 4/34log 4/1(2/1)|(222222+++++=YZ X H
)0log 01log 1(8/1)0log 01log 1(8/3))3/4(log 4/34log 4/1(2/1)|(222222+++++=XZ Y H 0)|(=XY Z H
(3)
)|()();(Y X H X H Y X I -= )|()();(Z X H X H Z X I -= X\Z 0 1 0 1/2 0 1/2 1
3/8 1/8 1/2 7/
8 1/8 Y\Z 0 1 0 1/2 0 1/2 1
3/8 1/8 1/2 7/
8 1/8
)|()();(Z Y H Y H Z Y I -= )|()|()|;(YZ X H Z X H Z Y X I -= )|()|()|;(ZY X H Y X H Y Z X I -=
设二元对称信道的输入概率分布分别为]4/14/3[][=X P ，转移矩阵为
[]??
????=3/23/13/13/2|X Y P ， 求信道的输入熵，输出熵，平均互信息量；
求信道容量和最佳输入分布；
求信道剩余度。
解：（1）信道的输入熵4log 4/1)3/4(log 4/3)(22+=X H ；
??
????=6/112/14/12/1][XY P ]12/512/7[][=Y P
)5/12(log 12/5)7/12(log 12/7)(22+=Y H
)6/1,12/1(4/1)4/1,2/1(4/3)|(H H X Y H +=
)|()();(X Y H Y H Y X I -=
2）最佳输入分布为]2/12/1[][=X P ，此时信道的容量为)3/1,3/2(1H C -=
(3)信道的剩余度：);(Y X I C -
设有ＤＭＣ，其转移矩阵为[]????
??????=2/16/13/13/12/16/16/13/12/1|X Y P ，若信道输入概率为[][]25.025.05.0=X P ，试确定最佳译码规则和极大似然译码规则，并计算出相应的平均差错率。
解：????
??????=8/124/112/112/18/124/112/16/14/1][XY P 最佳译码规则：?????===331211)()()(a b F a b F a b F ，平均差错率为1-1/4-1/6-1/8=11/24；
极大似然规则：??
???===332211)()()(a b F a b F a b F ，平均差错率为1-1/4-1/8-1/8=1/2。
1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成 客观信息和主观信息 。 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 信息的 可度量性 是建立信息论的基础。 统计度量 是信息度量最常用的方法。 熵 是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生 概率的对数 来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H Λ。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。 21、平均功率为P 的高斯分布的连续信源，其信源熵，Hc （X ）=eP π2log 21 2。 22、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具
《信息论基础》试卷第1页 《信息论基础》试卷答案 一、填空题（共25分，每空1分） 1、连续信源的绝对熵为 无穷大。（或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2 2 x - )时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r )，此 时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)
信息论与编码 《信息论与编码》这门课程给我带了很深刻的感受。信息论是人类在通信工程实践之中总结发展而来的，它主要由通信技术、概率论、随机过程、数理统计等相结合而形成。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。学习这门课程之后，我学到了很多知识，总结之后，主要有以下几个方面： 首先是基本概念。信息是指各个事物运动的状态及状态变化的方式。消息是指包括信息的语言、文字和图像等。信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载到具有某种物理特性的信号上去。信号是信息的载荷子或载体。信息的基本概念在于它的不确定性，任何已确定的事物都不含有信息。信息的特征：（1）接收者在收到信息之前，对其内容是未知的。（2）信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。（3）信息可以产生，也可以消失，同时信息可以被携带、存储及处理。（4）信息是可以量度的，信息量有多少的差别。编码问题可分解为3类：信源编码、信道编 码、加密编码。= 理论上传输的最少信息量 编码效率实际需要的信息量。 接下来，学习信源，重点研究信源的统计特性和数学模型，以及各类离散信源的信息测度 —熵及其性质，从而引入信息理论的一些基本概念和重要结论。本章内容是香农信息论的基础。重点要掌握离散信源的自信息，信息熵（平均自信息量），条件熵，联合熵的的概念和求法及其它们之间的关系，离散无记忆的扩展信源的信息熵。另外要记住信源的数学模型。通过学习信源与信息熵的基本概念，了解了什么是无记忆信源。信源发出的序列的统计性质与时间的推移无关，是平稳的随机序列。当信源的记忆长度为m+1时，该时刻发出的符号与前m 个符号有关联性，而与更前面的符号无关，这种有记忆信源叫做m 阶马尔可夫信源。若上述条件概率与时间起点无关，则信源输出的符号序列可看成齐次马尔可夫链，这样的信源叫做齐次马尔可夫信源。之后学习了信息熵有关的计算，定义具有概率为 () i p x 的符号i x 的自信息量为：()log ()i i I x p x =-。自信息量具有下列特性：（1） ()1,()0i i p x I x ==（2）()0,()i i p x I x ==∞（3）非负性（4）单调递减性（5）可加 性。信源熵是在平均意义上来表征信源的总体特征，它是信源X 的 函数，一般写成H （X ）。信源熵：()()log ()i i i H X p x p x =-∑，条件熵：(|)(,)log (|) i j i j ij H X Y p x y p x y =-∑联合 熵(|)(,)log (,)i j i j ij H X Y p x y p x y =-∑，联合熵 H(X,Y)与熵H(X)及条件熵H(Y|X)的关系： (,)()(|)()(|)H X Y H X H Y X H X H X Y =+=+。互信息: ,(|)(|)(;)(,)log ()(|)log () () j i j i i j i j i ij i j j j p y x p y x I X Y p x y p x p y x p y p y = = ∑ ∑ 。熵的性质：非负性，对称性，确定 性，极值性。 接下来接触到信道，知道了信道的分类，根据用户数可以分为，单用户和多用户；根
1、求基本高斯信源的差熵。（10分） 2、一个随机变量x 的概率密度函数为kx x p =)(，V x 20≤≤。试求该信源的相对熵。 3、黑白气象传真图的消息只有黑色和白色两种，即信源{}黑，白=X ，设黑色的出现概率为3.0(=黑） P ，白色的出现概率为7.0(=白）P 。 （1）假设图上黑白消息出现前后没有关联，求熵)(X H 。 （2）假设消息前后有关联，其依赖关系为9.0/(=白）白P ，1.0/(=白）黑P ，2.0/(=黑）白P ，8.0/(=黑）黑P ，求此平稳离散信源的熵)(2X H 。 （3）分别求上述两种信源的剩余度，比较)(X H 和)(2X H 的大小。 4、给出求一般离散信道的信道容量的计算步骤并用拉格朗日乘子法加以证明。 5、给出离散无记忆信源的信息率失真函数的参量表述并用拉格朗日乘子法加以证明。 6、若信道的输入和输出分别是N 长序列X 和Y ，且信道是无记忆的，则 ∑=≤N k k k Y X I Y X I 1 ),();(，这里k X 和k Y 分别是序列X 和Y 中第k 位随机变量；并且证明当 且仅当信源也是无记忆信源时等号成立。 7、有一并联高斯加性信道，各子信道的噪声均值为0，方差为2 i σ： ! 21σ=，22σ=，23σ=，24σ=，25σ=，26σ=，27σ=，28σ=，29σ=，210σ=（W ）。输入信 号X 是10个相互统计独立、均值为0、方差为i P 的高斯变量，且满足：)(110 1 W P i i =∑=。求 各子信道的信号功率分配方案。 8、给定语音信号样值x 的概率密度函数为x e x p λλ-= 2 1)(，∞<<∞-x ，求)(X H c ，并比较)(X H c 与具有同样方差的正态变量的连续熵的大小。 9、某二元信源??????=???? ??5.05.010)(x p X ，其失真矩阵定义为? ? ????=00a a D ，求该信源的max D ，min D 和该信源的信息率失真函数)(D R 。 10、设连续信源X ，其概率密度函数为x a e a x p -=2 )(，失真度为y x y x d -=),(，试求此信源的)(D R 函数。
信息论概念复习题 一、填空 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 信息的 可度量性 是建立信息论的基础。 统计度量 是信息度量最常用的方法。 熵 是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生 概率的对数 来描述的。 7、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 8、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 9、自信息量的单位一般有 比特、奈特和哈特 。 10、必然事件的自信息是 0 。 11、不可能事件的自信息量是 ∞ 。 12、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 13、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 14、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 15、离散平稳有记忆信源的极限熵， =∞H ) /(lim 1 21-∞→N N N X X X X H 。 16、对于n 元m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 17、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。 18、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续 信道。 19、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 无记忆 信道。 20、具有一一对应关系的无噪信道的信道容量C= log2n 。 21、对称信道的信道容量C= log2m-Hmi 。 22、对于离散无记忆信道和信源的N 次扩展，其信道容量CN= NC 。 24、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是 信息率小于信道容量 。 25、信息率失真理论是量化、数模转换、频带压缩和 数据压缩 的理论基础。 26、求解率失真函数的问题，即：在给定失真度的情况下，求信息率的 极小值 。 27、单符号的失真度或失真函数d （xi ，yj ）表示信源发出一个符号xi ，信宿再现yj 所引起的 误差或失真 。 28、汉明失真函数 d （xi ，yj ）=? ??≠=j i j i 1 0 。 29、如果规定平均失真度D 不能超过某一限定的值D ，即：D D ≤。我们把D D ≤称为 保真度准则 。 30 、 试验信道的集合用PD 来表示，则PD= {}m j n i D D x y p i j ,,2,1,,,2,1;:)/( ==≤ 。
信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。
信息论基础理论与应用考试题及答案
信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑， 则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约 为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1， 即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位 二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概 率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验 概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷 积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。
［标签:标题］ 篇一：信息技术能力提升学习感想 信息技术应用能力提升学习感想 当今社会是一个信息化的社会，人们无时无刻都处在一个信息交互的状态，随着信息技术的不断发展，多媒体教学成为活跃课堂、调动学生学习积极性的一种主要手段。因而，对于教师而言，信息技术手段的掌握和应用是我们必须掌握的一门技术。接到学校部署的“信 息技术应用能力提升”的网络学习任务，故而倍加珍惜这次研修学习的机会。 通过这次培训，我收获颇丰。在教学中必然要打破传统的传授式的教学模式，而构建出适应信息社会的新型教学模式来。我深深体会到： 信息技术对教师的重要作用。我清楚地认识到随着以计算机为核心的信息技术在教育中的广泛应用，教师不是像以前那样，单凭一张嘴、一支粉笔、一块黑板即可进行教学，而是综合应用多种媒体技术，利用多媒体和微机网络，开展教学。教师不能只停在原有知识的认识上，要不断学习，不断完善自己，不断充实自己。现在的学生更是聪明，他们不仅能在学校里学习知识，还能通过电视、网络等多种途径学到更多的知识。因而，教师必须有一种超前 意识。 在教育系统中，教育信息是最活跃的因素。教育系统本身要求教师具备一定的信息素养， 教师可以通过网络学习新知识，可以与同行交流经验，可以与学生进行沟通，可以,多渠道 掌握计算机操作技术，提升信息技术应用能力。 这次培训的时间虽然短些，但我通过学习认识到计算机的重要性，我会在今后的工作中，充分利用学到的知识进行教育教学，创新信息技术教学手段，提高信息技术应用能力。篇二：信息技术提升培训心得体会 小学语文信息技术提升工程 培训心得体会 关市镇盘石完小綦恒柏这次我有幸参加了小学语文信息技术提升工程培训，通过这次培训，对我今后的语文教育教学方法产生极大影响，感受到教学工作的艰巨。同时对我们各方 面的能力有了很大提高，特别是对信息技术的综合运用能力，现在已不只停留在课件的简单 制作上。使我们认识到做为一名语文教师应积极主动吸纳当今最新的技术，并致力于把它们 应用于课堂内的教与学活动中，在这短短的培训中深深的体会到： 1、通过本次的培训分清楚了教育技术和信息技术这两个概念。教育技术必须以信息技术为 基础，但却并不同于信息技术。教育技术中的技术包括有形技术和无形技术。有形技术是教育技术的依托，无形技术是教育技术的灵魂。教育技术的有效运用，是要在先进的教育思想、理论的指导下合理地选择有形技术，将其有机的结合在一起，应用到实际教学中。而信息技 术是指一切能够扩展人类有关器官功能的技术。我们在日常的教育教学中，要合理的运用现 代教学技术为我们的课堂增添情趣，为我们的教育教学有一个良好的结果奠定基础。 2、通过培训对信息技术的运用有了一个质的飞跃，一改过去的“多媒体可有可无”的落后 思想，我们积极采用信息技术与各学科的整合并初显成效，可以说终于尝到了信息化教学的 甜头。听了六堂课后，充分相信这些对课堂教学质量的提高提供了很好的保证。 3、教师具备良好的信息素养是终生学习、不断完善自身的需要。信息素养是终生学习者具 有的特征。在信息社会，一名高素质的教师应具有现代化的教育思想、教学观念，掌握现代 化的教学方法和教学手段，熟练运用信息工具（网络、电脑）对信息资源进行有效的收集、 组织、运用；这些素质的养成就要求教师不断地学习，才能满足现代化教学的需要；信息素
信息技术学习心得体会5篇 篇一：信息技术能力提升学习感想 信息技术应用能力提升学习感想 当今社会是一个信息化的社会，人们无时无刻都处在一个信息交互的状态，随着信息技术的不断发展，多媒体教学成为活跃课堂、调动学生学习积极性的一种主要手段。因而，对于教师而言，信息技术手段的掌握和应用是我们必须掌握的一门技术。接到学校部署的“信息技术应用能力提升”的网络学习任务，故而倍加珍惜这次研修学习的机会。 通过这次培训，我收获颇丰。在教学中必然要打破传统的传授式的教学模式，而构建出适应信息社会的新型教学模式来。我深深体会到： 信息技术对教师的重要作用。我清楚地认识到随着以计算机为核心的信息技术在教育中的广泛应用，教师不是像以前那样，单凭一张嘴、一支粉笔、一块黑板即可进行教学，而是综合应用多种媒体技术，利用多媒体和微机网络，开展教学。教师不能只停在原有知识的认识上，要不断学习，不断完善自己，不断充实自己。现在的学生更是聪明，他们不仅能在学校
里学习知识，还能通过电视、网络等多种途径学到更多的知识。因而，教师必须有一种超前意识。 在教育系统中，教育信息是最活跃的因素。教育系统本身要求教师具备一定的信息素养，教师可以通过网络学习新知识，可以与同行交流经验，可以与学生进行沟通，可以…多渠道掌握计算机操作技术，提升信息技术应用能力。 这次培训的时间虽然短些，但我通过学习认识到计算机的重要性，我会在今后的工作中，充分利用学到的知识进行教育教学，创新信息技术教学手段，提高信息技术应用能力。 篇二：信息技术提升培训心得体会 小学语文信息技术提升工程 培训心得体会 关市镇盘石完小綦恒柏这次我有幸参加了小学语文信息技术提升工程培训，通过这次培训，对我今后的语文教育教学方法产生极大影响，感受到教学工作的艰巨。同时对我们各方面的能力有了很大提高，特别是对信息技术的综合运用能力，现在已不只停留在的简单制作上。使我们认识到做为一名语文教师应积极主动吸纳当今最新的技术，并致力于把它们应用于课堂内的教与学活动中，在这短短的培训中深深的体会到：
信息论与编码复习总结 题型：填空、解答、计算 1、编码：无失真与限失真信源编码定理 编码分为信源编码和信道编码，其中信源编码又分为无失真和限失真 三大定理: 无失真信源编码定理（第一极限定理）（可逆） 信道编码定理（第二极限定理） 限失真信源编码定理（第三极限定理）（不可逆） Shannon(香农)信息论：在噪声环境下，可靠地、安全地、有效地传送信息理论。通信系统模型方框图: 信道的种类很多，如电信中常用的架空明线、同轴电缆、波导、光纤、传输电磁波的空间等都是信道。也可以从信道的性质或其传送的信号情况来分类，例如：无干扰信道和有干扰信道、恒参信道和变参信道、离散信道（Discrete Channel）和连续信道（Continuous Channel）、单用户信道和多用户信道等。 信源的描述：通过概率空间描述
平稳包含齐次，而齐次不包含平稳（重要，第二章计算题） 定义：若齐次马尔可夫链对一切i,j存在不依赖于i的极限，则称其具有遍历性，p j称为平稳分布（如下） 设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为w j=p(s j) 自信息量的特性： p(x i)=1,I(x i)=0; p(x i)=0,I(x i)=∞;非负性；单调递减性；可加性；定义：联合概率空间中任一联合事件的联合（自）信息量为： 定义：对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件x的信息量定义互信息，单位为比特
信道模型：二进制离散信道BSC；离散无记忆信道DMC；波形信道 信源编码器的目的：是使编码后所需的信息传输率R尽量小。 信源编码：主要任务就是减少冗余，提高编码效率。
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （√ ） 2. 线性码一定包含全零码。 （√ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （√ ） 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 （√ ）
?? ? ???=??????)()()()(2 211 I I x q x x q x x q x X q X Λ Λ∑==I i i x q 1 1 )(?? ? ???=??????)()()()(2211 m q q q q x x x x x x X X m ΛΛ∏ =N i i x q 1 )(第1章 信息论基础 信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。 消息是能被人们感觉器官感知的客观物质和主观思维的运动状态或存在状态。 通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。 信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。 狭义信息论 信息论研究的范畴： 实用信息论 广义信息论 信息传输系统 信息传输系统的五个组成部分及功能： 1. 信源 信源是产生消息的源。 2. 编码器 编码器是将消息变换成适合于信道传送的信号的设备。 编码器分为信源编码器和信道编码器两种。 3. 信道 信道是信息传输和存储的媒介，如光纤、电缆、无线电波等。 4. 译码器 译码器是编码器的逆变换，分为信道译码器和信源译码器。 5. 信宿 信宿是消息的接收者，可以是人，也可以是机器。 离散信源及其数学模型 离散信源—消息集X 为离散集合，即时间和空间均离散的信源。 连续信源—时间离散而空间连续的信源。波形信源—时间和空间均连续的信源。 无记忆信源—X 的各时刻取值相互独立。有记忆信源—X 的各时刻取值互相有关联。 离散无记忆信源的数学模型—离散型的概率空间： x i ∈{a 1,a 2,…,a k } 1≤i ≤I 0≤q(x i )≤1 离散无记忆N 维扩展信源的数学模型： x ＝x 1x 2…x N x i ∈{a 1,a 2,…,a k } 1≤i ≤N q (x )＝q (x 1x 2 … x N )＝ 离散信道及其数学模型 离散信道—信道的输入和输出都是时间上离散、取值离散的随机序列。离散信道有时也称为数字信道。 连续信道—信道的输入和输出都是时间上离散、取值连续的随机序列，又称为模拟信道。 半连续信道—输入序列和输出序列一个是离散的，而另一个是连续的。 波形信道—信道的输入和输出都是时间上连续，并且取值也连续的随机信号。 无记忆信道—信道的输出y 只与当前时刻的输入x 有关。 有记忆信道—信道的输出y 不仅与当前时刻的输入x 有关，还与以前的输入有统计关系。
信息论基础理论与应用考试题 一、填空题（每题2分，共20分） 1.信息论研究的ri的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）、（有效性）、保密性和认证性，使信息传输系统达到最优化。（考点：信息论的研究目的） 2.电视屏上约有500X600=3X 1O,个格点，按每点有10个不同的灰度等级考虑, 则可组成IO’加'个不同的画面。按等概计算，平均每个画面可提供的信息量约为（I（）6bit/画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。（考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q二32。若r=2, N=l, 即对信源S的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积也。 （考点：纠错码的分类） 7.码C=（（0, 0, 0, 0）, （0, 1, 0, 1）, （0, 1, 1, 0）, （0, 0, 1, 1）｝是（Gb 2）?线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即 MB | q
（H（X） = E log—— =-￡p（%）logP（q））。 P（q）/=i ■ ■ ■ （考点：平均信息量的定义） 9.对于一个（n,k）分组码，其最小距离为d,那么，若能纠正t个随机错误，同时能检测e （eNt）个随机错误，则要求（dNt+e+1 ）。 （考点：线性分组码的纠检错能力概念） 10.和离散信道一?样，对于固定的连续信道和波形信道都有一?个最大的信息传输速率，称之为（信道容量）。 （考点：连续信道和波形信道的信道容量） 二、判断题（每题2分，共10分） 1.信源剩余度的大小能很好地反映离散信源输出的符号序列中符号之间依赖关系的强弱，剩余度越大，表示信源的实际嫡越小。（对）（考点：信源剩余度的基本概念） 2.信道的噪声是有色噪声，称此信道为有色噪声信道，一?般有色噪声信道都是无 记忆信道。（错）（考点：有色噪声信道的概念） 3.若一组码中所有码字都不相同，即所有信源符号映射到不同的码符号序列，则 称此码为非奇异码。（对）（考点：非奇异码的基本概念） 4.在一个二元信道的n次无记忆扩展信道中，输入端有2。个符号序列可以作为消息。（对） 5.卷积码的纠错能力随着约束长度的增加而增大，-?般情况下卷积码的纠错能力 劣于分组码。（错）（考点：卷积码的纠错能力） 三、名词解释（每题3分，共12分） 1 .信源编码
第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它 的信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少 信息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p = 366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )( b p = 36 1 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？
解：(a) )(a p = ! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit 2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H
Chp02知识点： 自信息量： 1） )(log )(i i x p x I -= 2）对数采用的底不同，自信息量的单位不同。 2----比特（bit ）、e----奈特（nat ）、10----哈特（Hart ） 3）物理意义：事件i x 发生以前，表示事件i x 发生的不确定性的大小；事件i x 发生以后，表示事件i x 所含有或所能提供的信息量。 平均自信息量（信息熵）： 1）)(log )()]([)(1i q i i i x p x p x I E x H ∑=-== 2）对数采用的底不同，平均自信息量的单位不同。 2----比特/符号、e----奈特/符号、10----哈特/符号。 3）物理意义：对信源的整体的不确定性的统计描述。 表示信源输出前，信源的平均不确定性；信源输出后每个消息或符号所提供的平均信息量。 4）信息熵的基本性质：对称性、确定性、非负性、扩展性、连续性、递推性、极值性、上凸性。 互信息： 1）) ()|(log )|()();(i j i j i i j i x p y x p y x I x I y x I =-= 2）含义：已知事件j y 后所消除的关于事件i x 的不确定性，对
信息的传递起到了定量表示。 平均互信息：1）定义： 2）性质： 联合熵和条件熵： 各类熵之间的关系： 数据处理定理：
Chp03知识点： 依据不同标准信源的分类： 离散单符号信源： 1）概率空间表示： 2）信息熵：)(log )()]([)(1 i q i i i x p x p x I E x H ∑=-==，表示离散单符号信 源的平均不确定性。 离散多符号信源：用平均符号熵和极限熵来描述离散多符号信源的平均不确定性。 平均符号熵：)...(1 )(21N N X X X H N X H = 极限熵（熵率）：)(lim )(X H X H N N ∞ >-∞= （1）离散平稳信源（各维联合概率分布均与时间起点无关的信源。） （2）离散无记忆信源：信源各消息符号彼此互不相关。 ①最简单的二进制信源：01()X p x p q ???? =???? ? ???，信源输出符号只有两个：“0”和“1”。 ②离散无记忆信源的N 次扩展：若信源符号有q 个，其N 次扩展后的信源符号共有q N 个。 离散无记忆信源X 的N 次扩展信源X N 的熵： () ()()()()12121 01,(1,2,,);1 r r r i i i a a a X p a p a p a P p a i r p a =????=??????? ? ≤≤==∑L L L
《信息论与编码》课程小结 《信息论与编码》课程小结信息论是应用概率论、随机过程和数理统计和近代代数等方法，来研究信息的存储、传输和处理中一般规律的学科。它的主要目的是提高通信系统的可靠性、有效性和安全性，以便达到系统的最优化。 关于信息论的基本理论体系，1948年，香农在贝尔系统技术杂志
上发表“通信的数学理论”。在文中，他用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。香农理论的核心是：揭示了在通信系统中采用适当的编码后能够实现高效率和高可靠地传输信息，并得出了信源编码定理和信道编码定理。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为寻找最佳通信系统提供了重要的理论依据。 对信息论的研究内容一般有以下三种理解： (1) 狭义信息论，也称经典信息论。它主要研究信息的测度、信道容量以及信源和信道编码理论等问题。这部分内容是信息论的基础理论，又称香农基本理论。 (2) 一般信息论，主要是研究信息传输和处理问题。除了香农理论以外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论、信息处理理论以及保密理论等。后一部分内容以美国科学家维纳为代表，其中最有贡献的是维纳和苏联科学家柯尔莫哥洛夫。 (3) 广义信息论。广义信息论不仅包括上述两方面的内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题，是新兴的信息科学理论。 信息论已经成为现代信息科学的一个重要组成部分，它是现代通信和信息技术的理论基础。现代信息论又是数学概率论下的一个分支，与遍历性理论、大偏差理论以及统计力学等都有密切关系。 关于信息论与编码课程的特点，信息论课程中运用了大量的数学知识。例如：在讨论纠错编码中生成矩阵和一致校验矩阵的关系时，需要用到矩阵的运算和性质；在讨论连续信源熵时，需要对连续信源概率密度进行积分运算；在讨论离散信源熵的最大值或信道容量的最大值时，要计算多元函数的条件极值。此外，信息论与编码中很多定理都伴随着复杂的数学证明，其中最明显的就是香农三定理（无失真信源编码定理、有
信息论与编码知识点分布 注： （1）复习过程中参考如下知识点，重点复习教材与多媒体讲义中的相关内容，在理解的基础上进行针对性公式记忆。 （2）期末考试题量较大，题型较为灵活，求解速度很重要。因此复习中对典型例题、讲义中典型习题、教材中模拟题等要熟练掌握求解方法。 第二章 信源与信源熵 1信源的不确定性 2单符号离散信源 （1）单符号离散信源的数学模型 1212,, ,,,(), (), ,(), , ()()i n i n x x x x X p x p x p x p x P X ?? ??? =???????? ? （2）单符号离散信源的信息量（自信息量 、联合信息量、条件信息量及三种信息量的关系） 自信息量： ()log ()i i I x p x =- 条件信息量： 2(/)log (/)i j i j I x y p x y =- 联合信息量： 22()log ()log ()(/)()(/)()(/) i j i j j i j i i j j j i I x y p x y p y p x y I x I x y I y I y x =-=-=+=+ 互信息量： 2 (/)(;)log ()(/)()()()() i j i j i i j i j i j i p x y I x y I x I x y I x I y I x y p x ==-=+- 信源熵： ∑=-===n i i i i i x p x p x p E x I E X H 1 22)(log )(])(1 [log )]([)( 条件熵： ∑∑=== =m j n i j i j i j i y x I y x p y x I E Y X H 1 1 )/()()]/([)/( 联合熵： ∑∑∑∑====-== n i m j n i m j j i j i j i j i y x p y x p y x I y x p XY H 1 1 1 1 2 )(log )()()()( 熵函数的性质：非负性；对称性；最大离散熵定理；扩展性；可加性；极值性； 平均互信息量：
“信息论与编码”复习 1．消息、信号、信息的含义、定义及区别。 信息是指各个事物运动的状态及状态变化的方式。 消息是指包含信息的语言，文字和图像等。 信号是消息的物理体现。 消息是信息的数学载体、信号是信息的物理载体 信号：具体的、物理的 消息：具体的、非物理的 信息：非具体的、非物理的 同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。同样，同一类型信号或消息也可以代表不同内容的信息。
2．信息论的起源、历史与发展。 ?1924年，Nyquist提出信息传输理论； ?1928年，Hartly提出信息量关系； ?1932年，Morse发明电报编码； ?1946年，柯切尼柯夫提出信号检测理论； ?1948年，Shannon提出信息论，“通信中的数学理论”—现代信息论的开创性的权威论文，为信息论的创立作 出了独特的贡献。
3．通信系统的物理模型（主要框图），各单元（方框）的主要功能及要解决的主要问题。 信源的核心问题是它包含的信息到底有多少，怎样将信息定量地表示出来，即如何确定信息量。 信宿需要研究的问题是能收到或提取多少信息。 信道的问题主要是它能够传送多少信息，即信道容量的多少。
4．通信的目的？要解决的最基本问题？通信有效性的概念。提高通信有效性的最根本途径？通信可靠性的概念。提高通信可靠性的最根本途径？通信安全性的概念，提高通信安全性的最根本途径？ 通信系统的性能指标主要是有效性，可靠性，安全性和经济性。通信系统优化就是使这些指标达到最佳。 从提高通信系统的有效性意义上说，信源编码器的主要指标是它的编码效率，即理论上所需的码率与实际达到的码率之比。提高通信有效性的最根本途径是信源编码。减少冗余。 提高可靠性：信道编码。增加冗余。 提高安全性：加密编码。