信息的主要特性：普遍性、可度量性、相对独立性、可传输性、可存储性、可共享性、时效性
通信系统对信息传输的要求：①有效性——传输的每一条消息携带尽可能多的信息量或单位时间内传输尽可能多的信息量②可靠性——信源提供的消息经传输后，尽可能准确、不失真地被信宿接受并再现③保密性 信源的分类:一方面分为离散信源和连续信源，另一方面分为无记忆信源和有记忆信源。 消息中所包含的不确定性的成分才是信息，因此，不确定性的成分越大，或者说出现的概率越小，信息量就越大。 离散信源输出xi 所包含的信息量用I(xi)来表示并将其称为xi 的自信息量，xi 的自信息量的定义式为：I(x ) = -log 2 p(xi )
自信息量的性质：①I(xi)是随机量；②I(xi)是非负值；③I(xi)是p(xi)的单调递减函数。
必然发生的事件不存在任何不确定性，故不含有任何信息量。联合自信息量：I(xi yj) = - log2 p(xi yj) 条件自信息量:I(xi/yj) = -log2 p(xi/yj ) 在已知yj 的条件下，发生xi 所带来的信息量。
I(yj/xi) = -log2 p(yj/xi ) 在已知xi 的条件下，发生yj 所带来的信息量。
联合自信息量与条件自信息量关系：I(xi yj)=I(xi/yj)+I(yj)=I(yj/xi)+I(xi)
自信息量反映的是一个随机事件出现某种结果所包含的信息量，自信息量具有随机变量的性质。
单符号离散信源的信息熵：将离散信源所有自信息量的数学期望用H(X)来表示并称其为信源的信息熵，也叫香农熵，信息熵的定义为：H(X)= E[I(xi)]= ∑=n 1i p(xi)I(xi)= -∑=n 1i p(xi)log2 p(xi)
信息熵的单位是比特/符号(bit/symbol)。信息熵是从整体出发对一个离散信源信息量的度量。H(X)反映信源每发出一条消息所提供的平均信息量，不反映信源发出某条特定消息的信息量一般情况下，H(X)不等于每接收一条消息所获得的平均信息量。
信息熵H(X)的性质和定理：①非负性；②严格上凸性；lnx ≤x- 1
③最大信息熵定理H(X)≤log2 n lnx ≤x- 1单符号离散信源中各消息等概率出现时，具有最大熵；④对称性H(X)=H[p(x1),p(x2)…,p(xn)]= -∑=n 1i p(xi)log2 p(xi)与信源的总体结构有关而不在乎个别消息的
概率，与消息的取值无关；⑤确定性：H(0,1)=0；⑥扩展性
⑦可加性H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) N 维信息熵的链式法则
；⑧极值性H(X/Y)≤H(X);H(Y/X)≤H(Y)
如果信源每次发出的消息都是单一符号，而这些符号的取值是有限或可数的，则称这种信源为单符号离散信源。如果信源每次发出的消息都是有限或可数的符号序列，而这些符号都取值于同一个有限或可数的集合，则称这种信源为多符号离散信源。
N 维离散平稳信源的熵率(平均符号熵) ）Ｈ（Ｘ）ＸＸＨ（ＸＮ１＝１
Ｎ２１Ｎ２１≤??)X X X (H N 当N →∞时，平均符号熵取极限值，称之为极限熵，用H ∞表示，即
可以证明，
极限熵H ∞存在且
离散无记忆信源X 的N 次扩展信源的熵就是单符号离散信源X 的熵的N 倍：H(N X )=NH(X) )()(1)(H N X H X H N X N N ==
该信源的极限熵为
如果离散平稳信源发出的符号只与前面已经发出的m( 根据马尔科夫链的遍历（各态历经）定理： p(sj)的求取问题 ，其中 编码效率；N 次扩展信源码率R=L/N （N 次扩展）编码效率R H(X)L/N X H L X NH L X H N ==== ）（）（）（η 无失真信源编码定理：离散信源的熵为H(X)，对N 次扩展信源进行二进制不等长信源编码，一定存在一种无失真编码方法，构成单义可译码，当N 足够大时，使得码率H(X)≤R 熵率H(X)是无失真编码的码率下界——香农界。码率不能低于香农界，否则译码会出错 H(X)是描述信源每个符号所需的最少平均比特数 异前置码：异前置码的满足香农第一定理 ①异前置码满足R ≥H(X)离散信源的熵为H(X)，对N 次扩展信源进行异前置码编码，码率R ≥H(X) ②异前置码的渐近最优性编码效率从提高传输效率的角度，码率越接近熵率越好 离散信源的熵为H(X)，对N 次扩展信源进行异前置码编码，对任意给定的ε>0，当N 足够大，码率R 1）；对每一分组重复步2，3，直至概率不可再分为止，由左至右生成码字。费诺码的特点：1.大概率符号序列分解次数少，编为短码，小概率符号序列分解次数多，2.编为长码不具有唯一性，但不同费诺码的编码效率相同3.码率不超过熵率1/N 个比特，N 越大码率越接近熵率。 互信息在有噪信道的情况下，由于p(yj)=∑=n 1i p(xi)p(yj/xi)说明信宿接收到yj 所包含的信息量除了与信 源给出的信息有关外，还与信道给出的“信息”有关。信源发出消息xi 而信宿接收到消息yj,信宿消息yj 所含信源消息xi 的信息量，用I(yj;xi)来表示，并将其称为xi 对yj 的互信息，其定义为： 特别的，如果xi 与yj 是确定关系，即 p(yj/xi)=1，相当于无噪信道，则I(yj;xi)=I(yj)=I(xi);如果xi 与yj 相互独立，即p(yj/xi)=p(yj)，相当于信道中断，则I(yj;xi)=0。互信息的性质：①I(yj;xi)是随机量；②I(yj;xi)可为正值也可为负值；③I(yj;xi)具有对称性I(yj;xi)=I(xi;yj)。I(xi;yj)称为yj 对xi 的互信息,I(xi;yj)=I(xi)-I(xi/yj). 消息xi 与消息对yjzk 之间的互信息定义为：给定zk 条件下，xi 与yj 之间的互信息定义为： 离散信道中所有xi 对yj 的互信息在联合概率空间p(xi yj)的数学期望用I(Y;X)来表示并称其为 X 对Y 的平均互信息，其定义式为：平均互信息也称为交互熵，其单位是比特/符号(bit/symbol)。平均互信息（交互熵）的物理意义：I(X;Y) =H(Y)-H(Y/X) 平均互信息量是发送X 前后关于Y 的不确定度减少量，即由X 获得的关于Y 的平均互信息量，条件熵H(Y/X)是信道所给出的平均“信息”量，通常称为噪声熵或信道散布度；I(X;Y)=H(X)-H(X/Y) 平均互信息量是收到Y 前后关于X 的不确定度减少量，即由Y 获得的关于X 的平均互信息量，条件熵H(X/Y)也是信道所给出的平均“信息”量，通常称为损失熵，也称为信道疑义度。I(X;Y)=H(X)+H(Y)-H(XY) 平均互信息量等于通信前后整个系统不确定度减少量，该式是利用信源发出的信息熵、信宿接收到的信息熵和与信道特性相关的联合熵来估计交互熵。 平均互信息的性质和定理：①I(Y;X)的对称性：I(Y;X)=I(X;Y)②I(Y;X)的非负性：H(Y/X)≤H(Y) I(Y;X)= H(Y)-H(Y/ X)≥0③I(Y;X)的极值性：I(Y;X)=H(Y)-H(Y / X) ≤H(Y)；I(Y;X)=H(X)-H(X/ Y)≤H(X)④I(Y;X)的凸函数性：当信道固定时，I(Y;X)是信源概率分布P(X)的严格上凸函数；当信源固定时，I(Y;X)是信道转移概率分布P(Y/X)的严格下凸函数。⑤数据处理定理I(X;Z)≤I(X;Y) I(X;Z)≤I(Y;Z) I(X;Z)=I(X;YZ) ?I(X;Y/Z) 信道容量C 计算： C=max R R=I （X;Y ）信息传输率（信息率） 信道剩余度=1-R/C m = n 一般信道 m = n 强对称信道(均匀信道) 强对称信道的信息传输率可达最大，其信道容量为 对称信道(行、列可排列) 当时，对称信道的信息传输率可达最大，其信道容量为 准对称信道（行可排列、列不可排列） 当时， 二进制删除信道 —平均互信息的链式法则 如果记一维离散无记忆信道的信道容量为C ， 则其N 次扩展信道的信道容量为 N 次扩展信道的信道容量为C ，进行二进制信道编码，只要信息传输率R 线性分组码;线性分组码通常采用前向纠错，可表示为(n,k)，其中n 为码字长度，k 为信息位长度，校验位长度为m=n-k 。 码距（汉明距离）d 码重（汉明重量）w 最小码距d min 线性分组码(n,k)能检e 个错误并能纠t 个错误的充要条件是因此，最简单的能检1个错误并能纠1个错误的线性分组码(n,k)的 ①校验矩阵m ×n 秩为m 的矩阵H 其中ri 为第i 个接收码字，以n 列向量表示,si 为第i 个接收码字的误码标志 ②k ×n 生成矩阵G 校验矩阵H 与生成矩阵G 之间满足③编码其中xi 为第i 个码字的信息，以k 列向量表示 3重复码的最小码距为3能检验并改正1位bit 错，5重复码最小码距为5能校验并改正2位bit 错 连续信源：连续信源的绝对熵 微分熵（相对熵）不能反映连续信源的平均不确定度。定义微分熵的目的：①在形式上与离散信源信息熵统一；②熵差具有信息测度的意义。 (1) 均匀分布连续信源的微分熵 P （x ）=1/(b-a) a ≤x ≤b Hc(X)=log2 (b-a) (2) 高斯分布连续信源的微分熵 Hc(x)=）π（22e σ2log 21(3)指数分布连续信源的微分熵Hc(x)=log2 em 微分熵的性质及最大微分熵定理①微分熵不具有非负性②微分熵的可加性③最大微分熵定理连续信源没有一般意义下的最大熵，只有限制条件下的最大熵。取值范围受限：均匀分布的连续信源具有最 大熵，即限取值范围的最大熵定理Hc(X)≤log(b-a), a ≤x ≤b ；平均功率受限：均值为零、方差等于该平均功率的高斯分布的连续信源具有最大熵，即；均值受限：均值等于该限定值的指数分布的连续信源具有最大熵，即 限均值的最大熵定理Hc(X)≤log(em), 0≤x<∞。 微分熵的链式法则： 微分熵的界： 微分熵率： N 维连续无记忆信源 N 维扩展： N 次扩展信源的微分熵 N 次扩展信源的微分熵率 单符号连续信道的平均互信息：定义单符号连续信道X 对Y 的平均互信息为Ic(Y;X)=Hc(Y)-Hc(Y/X)。单符号连续信道Y 对X 的平均互信息为Ic(X;Y)=Hc(X)-Hc(X/Y) 平均互信息的性质和定理 ①平均互信息具有非负性Ic(X;Y) ≥0;Ic(Y;X)≥0 可由定义并利用不等式lnx ≤x-1证明②平均互信息具有对称性Ic(X;Y)=Ic(Y;X)③平均互信息具有凸函数性 当信道固定时，Ic(Y;X)是信源概率密度函数p(x)的上凸函数；当信源固定时，Ic(Y;X)是信道转移概率密度函数p(y/x)的下凸函数。④数据处理定理 Ic(X;Z)≤Ic(X;Y);Ic(X;Z)≤Ic(Y;Z) 将平均互信息Ic(X;Y)理解为单符号连续信道的信息传输率R ，即R=Ic(X;Y)信道容量C= max R= max Ic(X;Y) 加性连续信道及信道容量:(1)加性连续信道：噪声对输入的干扰作用表现为噪声和输入的线性叠加，即 输入X 的概率密度函数为p(x)，输出Y 的概率密度函数为p(y)，噪声N 的概率密度函数为 p(n)。当X 和N 相互独立时，加性连续信道的转移概率密度函数p(y/x)=p(n)。 (2) 加性连续信道的信道容量：Hc(Y/X)=Hc(N)Hc(N)=）π（22e σ2log 2 1= ）π（N 2eP 2log 2 1 如果噪声N 是均值为0、方差为N 2P =σ的高斯噪声,输入X 满足均值为零、 方差为X 2X P σ=的高斯分布，则称该加性信道为高斯加性信道。明高斯加性信道的输出Y 也满足均值为0，方差为2Y σ的高斯分布，且 22X 2 Y σσσ+=,如输入X 的平均功率被限定为X P ，已知噪声N 的平均功率为N P ，输出Y 的平均功率 N X 22X 2 Y Y P P σσσP +=+==根据限平均功率的最大熵定理，当输出Y 为均值等于零、方差2Y σ等于Y P 的高斯分布时具有最大熵，即 高斯加性信道的信道容量:其中N X P P 为信噪比 当信道的频带为(0,W)时，将信道的一次传输看成是一次采样，根据采样定理，采样率为2W 可保证不失真。不失真的一次传输所需时间为1/2W ，相应的最大信息传输速率（香农公式） W P N N 0=为高斯加性噪声的单边功率谱密度。香农公式说明：当最大信息传输速率一定时，增大信道的带宽，可以降低对信噪功率比的要求。当信道的频带很宽，即N X P P << 1时， 增加信道带宽W 并不能无限制地增大最大信息传输速率;即使信道带宽无限大，最大信息传输速率仍然是有限的。当高斯加性信道的带宽很宽时，最大信息传输速率与信号功率近似成正比。 高斯加性信道的N 次扩展信道 高斯加性信道N 次扩展信道的信道容量 高斯加性信道N 次扩展信道的最大信息传输速率 平均失真度：(1)失真度 定义非负函数d(xi,yj)为失真度。 n 元信源X 经过信道对应m 元信宿 i=1,2, …,n ；j=1,2, …,m 称全部n ×m 个失真度组成的矩阵为失真矩阵：n 行m 列 [D](2)平均失真度 (3)保真度准则-------平均失真度不大于给定的允许失真D D D ≤ 信息率失真函数的定义：当信源p(xi)固定，调整信道p(yj/xi)，凡满足保真度准则D D ≤的数据处理信道，称为D 失真许可的实验信道。 实验信道的集合 定义保真度准则下的最小信息传输率为信息率失真函数。 信息率失真函数的性质和定义域：①R(D)具有非负性②R(D)是D 的下凸函数③R(D)是D 的单调递减连续函数④信息率失真函数的定义域：由于允许失真D 是平均失真度D 的上界，故允许失真D 的给定范围受限于平均失真度D 的可能取值。 信息率失真函数R(D)的大致曲线为： 其中 当D =Dmin=0，即不允许任何失真时 R(D)=H(X) 根据R(D)的性质可知，当D =Dmax 时，R(D)=0；如果D >Dmax ，同样R(D) =0 将率失真函数的计算步骤整理如下： 由信息率失真函数的下凸性和单调递减性，可知S<0 及 n 进制 (n 元)等概率信源，若失真矩阵:???????????????????=000D αααααα信息率失真函数R(D)对应的实验信道的转移概率分 布为： 其信息率失真函数: 信源等概率分布时： 信源等概率分布时： 当α=1时，失真矩阵（汉明失真矩阵）: 信源等概率分布时： 信息率失真函数R(D)对应的实验信道的转移概率分布为： N 次扩展信源的信息率失真函数 (1) N 次扩展信源的保真度准则和实验信道失真度 失真度 平均失真度N N = 保真度准则 如果给定允许失真ND D D ND D N D N ≤→≤= 实验信道 (2) N 次扩展信源的信息率失真函数 高斯信源的信息率失真函数 取m=0取失真函数为d(x,y)=(x-y)2，则平均失真度 D(y)表示输出变量Y=y 条件下, 变量X 的条件方差。 根据限平均功率的最大熵定理，Y=y 条件下的微分熵 信道疑义度在满足保真度准则D D ≤的条件下 找到信道使得有考虑反向加性信道并设噪声N 是均值为0，方差为D 的高斯变量。对于Y 和N 相互独立的反向高斯加性信道，可以证明p(x/y)=p(n) ，从而 说明方差为D的反向高斯加性信道是实验信道。 当D<σ2时当D=σ2时R(D)=0;当D≥σ2时R(D)=0当D<σ2时 由于高斯信源的熵只与方差有关，与均值无关， m≠0时与m=0的情况相同。 保真度准则下的信源编码定理 序列长度为N的离散平稳无记忆信源，信息率失真函数为R(D)，对于任意允许失真D和任意小的数ε>0，只要信息传输率R>R(D)，总可以找到一种编码，使得当N足够长时，译码后的平均失真度 保真度准则下的信源编码定理又叫香农第三定理，也是信源编码的存在性定理。 R(D)是一个界限，只要信息传输率R大于这个界限，失真译码就可限制在允许的范围内。 香农三个定理提出的三个香农界—H(X)、C和R(D)都是临界值。 各章参考答案 2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特 2．2． 1.42比特 2．3． （1）225.6比特 ；（2）13.2比特 2．4． （1）24.07比特； （2）31.02比特 2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。因为3log3=log27>log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。 （2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时, 第三步用一个真币与其中一个称重比较即可。 对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴 别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息. 2．6． （1）215 log ＝15比特； （2） 1比特；（3）15个问题 2． 7. 证明： （略） 2．8． 证明： （略） 2．9． 31)(11= b a p ，121 )(21=b a p ， 121 )(31= b a p ， 61)()(1312= =b a b a p p ， 241)()()()(33233222= ===b a b a b a b a p p p p 。 2．10． 证明： （略） 2．11. 证明： （略） 一、（11’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是 0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 （6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。 （8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关 三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分） 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分） 四、（5'）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明： 《信息论基础》答案 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X，其概率分布为 123 x x x X 111 P 244 ?? ?? ? = ?? ? ?? ?? ，其信源剩余度为94.64%；若 对该信源进行十次扩展，则每十个符号的平均信息量是15bit。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是2Flog （b-a）bit/s. 5.若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵 的最大值为1 log32e 2 π；与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r(S)）。 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。 （2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y) 信息论基础发展史 信息论（information theory）是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。是专门研究信息的有效处理和可靠传输的一般规律的科学，是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。 信息论从诞生到今天，已有五十多年历史，是在20世纪40年代后期从长期通讯实践中总结出来的，现已成为一门独立的理论科学，回顾它的发展历史，我们可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。它是在长期的通信工程实践和理论研究的基础上发展起来的。 通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。电的通信系统(电信系统)已有100多年的历史了。在一百余年的发展过程中，一个很有意义的历史事实是：当物理学中的电磁理论以及后来的电子学理论一旦有某些进展，很快就会促进电信系统的创造发明或改进。 当法拉第(M．Faraday)于1820年--1830年期间发现电磁感应的基本规律后，不久莫尔斯(F．B．Morse)就建立起电报系统(1832—1835)。1876年，贝尔(A．G．BELL)又发明了电话系统。1864年麦克斯韦(Maxell)预言了电磁波的存在，1888年赫兹(H．Hertz)用实验证明了这一预言。接着1895年英国的马可尼(G.Marconi)和俄国的波波夫(A．C．ΠoΠoB)就发明了无线电通信。本世纪初(1907年)，根据电子运动的规律，福雷斯特(1，Forest)发明了能把电磁波 一填空题 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前 后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大,最大熵值为。 3、香农公式为 为保证足够大的信道容量，可采用（1）用频带换信噪比； （2）用信噪比换频带。 4、只要，当N 足够长时，一定存在一种无失真编码。 5、当R ＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 6、1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 7.人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 8.信息的 可度量性 是建立信息论的基础。 9.统计度量 是信息度量最常用的方法。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 按照信息的地位，可以把信息分成 客观信息和主观信息 。 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 信息的 可度量性 是建立信息论的基础。 统计度量 是信息度量最常用的方法。 熵 是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生 概率的对数 来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H Λ。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。 21、平均功率为P 的高斯分布的连续信源，其信源熵，Hc （X ）=eP π2log 21 2。 22、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具 2009-2010学年第二学期末考试试题 信息论与编码理论 一、（共10分） 简述最大熵原理与最小鉴别信息原理,并说明两者之间的关系。 二、（共12分） 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 1) 求符号的平均熵； 2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式； 3) 计算2)中序列的熵。 三、（共12分） 一阶马尔可夫信源的状态图如下图所示。信源X 的符号集为{0, 1, 2}。 1) 求平稳后信源的概率分布； 2) 求)(X H ； 3) 求上述一阶马尔可夫信源的冗余度。 P P 四、（共10分） 设离散型随机变量XYZ 的联合概率满足xyz ?)()()()(y z p x y p x p xyz p =。 求证：);();(Z Y X I Y X I ≥ 五、（共12分） 设有一离散无记忆信道，输入信号为321,,x x x ，输出为321,,y y y ，其信道转移矩阵为???? ??????=214141412141414121Q ，61)(,32)(21==x P x P 。 试分别按理想译码准则与最大似然译码准则确定译码规则，并计算相应的平均译码差错概率。 六、（共14分） 设有一离散信道，输入X ，输出Y ，其信道转移矩阵为?? ????7.01.02.02.01.07.0， 求：1）信道的信道容量及达到信道容量时的输入分布？ 2）当输入X 分布为7.0)(1=x P 3.0)(2=x P 时，求平均互信息);(Y X I 及信道疑义度)(X Y H 。 《信息论基础》试卷第1页 《信息论基础》试卷答案 一、填空题（共25分，每空1分） 1、连续信源的绝对熵为 无穷大。（或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2 2 x - )时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r )，此 时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X) 1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3 一、单项选择题 1．信息就是 ( C ) A.消息 B.数字、数据、图形 C.通信过程中，接受者所不知的知识（即不确定性） D.能量 2. 下列关于交互信息量();i j I x y 的陈述中错误的是 （C ） A.();i j I x y 表示在接收端收到j y 后获得的关于i x 的信息量 B.();i j I x y 表示在发送端发送i x 后获得的关于j y 的信息量 C.();0i j I x y ≥ D.当i x 和j y 统计独立时();0i j I x y = 3. 设X 和Y 是两个信源，则下列关系式中正确的是 （C ） A.()()()H XY H X H X Y =- B.()()()H XY H X H X Y =+ C.()()()H XY H Y H X Y =+ D.()()()H XY H Y H X Y =- 4. 一个正常的骰子，也就是各面呈现的概率都是1 6 ，则“5出现”这件事件的自信息量 为 （C ） A.1 6 比特 B.6 比特 C.2log 6比特 D.2log 6-比特 5. 关于预测编码的描述错误的是 （ ） A.通过解除相关性压缩码率 B.通过对差值编码压缩码率 C.通过概率匹配压缩码率 D.不适用于独立信源 6. 设信源1 2 1 2 n n x x x X p p p P ?? ??= ? ?????，其中：0i p ≥，i ?，1 1n i i p ==∑，则下列关于熵()H X 的 描述错误的是 （ D ） A.熵的取值为一个非负数 B.熵表示信源的平均不确定度 C.()log H X n ≤，当且仅当1 i p n = ，i ?成立时等号成立 D.熵的取值小于等于信源的平均自信息量 7. 算术编码将信源符号序列映射成哪个区间上的小数 （ C ） A. [0，1] B. [0，2] C. [1，2] D . [1，3] 信息论习题集 第一章、判断题 1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。（√） 2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。（√） 3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√） 4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。（√） 5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。（√） 6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。（√） 7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。（×） 第二章 { 一、判断题 1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。（√） 2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。（×） 3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。（×） 4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。（×） 5、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。（×） 6、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。（√） 7、互信息的统计平均为平均互信息量，都具有非负性。（×） 8、信源剩余度越大，通信效率越高，抗干扰能力越强。（×） 9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。（×） | 10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。（×） 11、在信息处理过程中，熵是不会增加的。（√） 12、熵函数是严格上凸的。（√） 13、信道疑义度永远是非负的。（√） 14、对于离散平稳信源，其极限熵等于最小平均符号熵。（√） 2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是l/6，求： (1) “3和5同时出现”事件的自信息量； (2)“两个1同时出现”事件的自信息量； (3)两个点数的各种组合（无序对）的熵或平均信息量； (4) 两个点数之和(即2，3，…，12构成的子集）的熵； ~ (5)两个点数中至少有一个是1的自信息。 2-2 居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为以 上，而女孩中身高以上的占总数一半。假如得知“身高以上的某女孩是大学 生”的消息，问获得多少信息量、 ?? ? ???=??????)()()()(2 211 I I x q x x q x x q x X q X Λ Λ∑==I i i x q 1 1 )(?? ? ???=??????)()()()(2211 m q q q q x x x x x x X X m ΛΛ∏ =N i i x q 1 )(第1章 信息论基础 信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。 消息是能被人们感觉器官感知的客观物质和主观思维的运动状态或存在状态。 通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。 信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。 狭义信息论 信息论研究的范畴： 实用信息论 广义信息论 信息传输系统 信息传输系统的五个组成部分及功能： 1. 信源 信源是产生消息的源。 2. 编码器 编码器是将消息变换成适合于信道传送的信号的设备。 编码器分为信源编码器和信道编码器两种。 3. 信道 信道是信息传输和存储的媒介，如光纤、电缆、无线电波等。 4. 译码器 译码器是编码器的逆变换，分为信道译码器和信源译码器。 5. 信宿 信宿是消息的接收者，可以是人，也可以是机器。 离散信源及其数学模型 离散信源—消息集X 为离散集合，即时间和空间均离散的信源。 连续信源—时间离散而空间连续的信源。波形信源—时间和空间均连续的信源。 无记忆信源—X 的各时刻取值相互独立。有记忆信源—X 的各时刻取值互相有关联。 离散无记忆信源的数学模型—离散型的概率空间： x i ∈{a 1,a 2,…,a k } 1≤i ≤I 0≤q(x i )≤1 离散无记忆N 维扩展信源的数学模型： x ＝x 1x 2…x N x i ∈{a 1,a 2,…,a k } 1≤i ≤N q (x )＝q (x 1x 2 … x N )＝ 离散信道及其数学模型 离散信道—信道的输入和输出都是时间上离散、取值离散的随机序列。离散信道有时也称为数字信道。 连续信道—信道的输入和输出都是时间上离散、取值连续的随机序列，又称为模拟信道。 半连续信道—输入序列和输出序列一个是离散的，而另一个是连续的。 波形信道—信道的输入和输出都是时间上连续，并且取值也连续的随机信号。 无记忆信道—信道的输出y 只与当前时刻的输入x 有关。 有记忆信道—信道的输出y 不仅与当前时刻的输入x 有关，还与以前的输入有统计关系。 一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态 的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p == 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分 为 和 2.一个八进制信源的最大熵为 3.有一信源X ，其概率分布为??? ? ? ???=??? ???414 12 1 321 x x x P X ，其信源剩余度为 ；若对该信源进行十次扩展，则每十个符号的平均信息量是 。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是 ；其能在每个自由度熵的最大熵是 ；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 . 5. 若某一 信源X ，其平均功率受限为16w ，其概率密度函数是高斯分布时，差熵的最大值为 ；与其熵相等的非高斯分布信源的功率为 6、信源编码的主要目的是 ，信道编码的主要目的是 。 7、无失真信源编码的平均码长最小理论极限制为 . 8、当 时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为 和 。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY） H(X)+H(X/Y)。 （2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y) 0, H(Y/X) 0,I(X;Y) H(X)。 二、（8分）掷两粒骰子，各面出现的概率都是1/6，计算信息量： 1.当点数和为3时，该消息包含的信息量是多少？ 2.当点数和为7是，该消息包含的信息量是多少？ 3.两个点数中没有一个是1的自信息是多少？ 三、（12分）设X、Y是两个相互统计独立的二元随机变量，其取-1或1的概率相等。定义另一个二元随机变量Z，取Z=YX（一般乘积）。试计算： 1.H（Y）、H（Z）； 2.H（XY）、H（YZ）； 3.I（X;Y）、I（Y;Z）； 四、(15分)如图所示为一个三状态马尔科夫信源的转移概率矩阵 P= 11 22 11 0 22 111 424?? ? ? ? ? ? ? ??? 1.绘制状态转移图； 2.求该马尔科夫信源的稳态分布； 3.求极限熵； 五、（12分）在干扰离散对称信道上传输符号1和0，已知P（0）=1/4,P(1)=3/4, 考试科目名称：信息论 一. 单选（每空2分，共20分） 1.信道编码的目的是（C ），加密编码的目的是（D ）。 A．保证无失真传输 B．压缩信源的冗余度，提高通信有效性 C．提高信息传输的可靠性 D．提高通信系统的安全性 2.下列各量不一定为正值的是（D ） A．信源熵 B．自信息量 C．信宿熵 D．互信息量 3.下列各图所示信道是有噪无损信道的是（B ） A． B． C． D． 4.下表中符合等长编码的是（ A ） 5.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确 的是（A ） A．H（XY）＝H（X）＋H（Y／X） B．H（XY）＝H（X）＋H（X／Y） C．H（XY）＝H（Y）＋H（X） D．若X和Y相互独立，H（Y）=H（YX） 6.一个n位的二进制数，该数的每一位可从等概率出现的二进制码元（0， 1）中任取一个，这个n位的二进制数的自信息量为（C ） A．n2 B．1 bit C．n bit n D．2 7.已知发送26个英文字母和空格，其最大信源熵为H0 = log27 = 4.76比 特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号； 考虑字母之间相关性时，其信源熵为H2 = 3.32比特/符号；以此类推， 极限熵H =1.5比特/符号。问若用一般传送方式，冗余度为（ B ）∞ A．0.32 B．0.68 C ．0.63 D ．0.37 8. 某对称离散信道的信道矩阵为 ，信道容量为（ B ） A ． )6 1 ,61,31,31(24log H C -= B ． )61 ,61,31,31(4log H C -= C ． )61 ,61,31,31(2log H C -= D ． )6 1 ,31(2log H C -= 9. 下面不属于最佳变长编码的是（ D ） A ．香农编码和哈夫曼编码 B ．费诺编码和哈夫曼编码 C ．费诺编码和香农编码 D ．算术编码和游程编码 二. 综合（共80分） 1. （10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。 （1分）将信源消息分成若干组，即符号序列xi ， xi ＝(xi1xi2…xil …xiL)， { 非分组码 分组码 { 奇异码 非奇异码 { 非唯一可译码 唯一可译码 { 非即时码 即时码（非延长码） 码 （5分） " 1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. ? 7. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 8. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （ ） 2. 线性码一定包含全零码。 （ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. " 5. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 6. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 7. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （ ） 8. 循环码的码集中的任何一个码字的循环移位仍是码字。 （ ） 9. 信道容量是信道中能够传输的最小信息量。 （×） 10. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 11. ！ 12. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方 《信息论基础》答案 一、填空题（共15分，每空1分） 1、若一连续消息通过某放大器，该放大器输出的最大瞬时电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是 无穷大 ；其能在每个自由度熵的最大熵是 ()log b-a 。 2、高斯白噪声信道是指 信道噪声服从正态分布，且功率谱为常数 。 3、若连续信源的平均功率为5 W ，则最大熵为12log10π ? e ，达到最大值的条件是 高斯信道 。 4、离散信源存在剩余度的原因是 信源有记忆（或输出符号之间存在相关性） 和 不等概 。 5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 6、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高编码效率。 7、八进制信源的最小熵为 0 ，最大熵为 3 bit 。 8、一个事件发生概率为，则自信息量为 3 bit 。 9、在下面空格中选择填入数字符号“,,,=≥≤>”或“<” ()H XY = ()()+H Y H X Y ≤ ()()+H Y H X 二、判断题（正确打√，错误打×）（共5分，每小题1分） 1) 离散无记忆等概信源的剩余度为0。 （ √ ） 2) 离散无记忆信源N 次扩展源的熵是原信息熵的N 倍 （ √ ） 3) 互信息可正、可负、可为零。 （ √ ） 4) 信源的真正功率P 永远不会大于熵功率P ，即P P ≤ （ × ） 5) 信道容量与信源输出符号的概率分布有关。 （ × ） 三、（5分）已知信源的概率密度函数()p x 如下图所示，求信源的相对熵 一填空题（本题20分，每小题2分） 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 按照信息的地位，可以把信息分成客观信息和主观信息。 人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 信息的可度量性是建立信息论的基础。 统计度量是信息度量最常用的方法。 熵是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对 数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。 21、平均功率为P 的高斯分布的连续信源，其信源熵，Hc （X ）=eP π2log 21 2。 22、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。 23、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。 24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功率P 之比 。 信息论与编码理论习题答案全解 第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少 信息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit 2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 信道 X Y 9,7,5,3,1=i 8,6,4,2,0=i √Χ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知， 一．填空 １．设Ｘ的取值受限于有限区间［a,b ］，则X 服从 均匀 分布时，其熵达到最大；如X 的均值为μ，方差受限为2σ，则X 服从 高斯 分布时，其熵达到最大。 2．信息论不等式：对于任意实数0>z ，有1ln -≤z z ，当且仅当1=z 时等式成立。 3．设信源为X={0，1}，P （0）=1/8，则信源的熵为 )8/7(log 8/78log 8/122+比特/符号，如信源发出由m 个“0”和（100-m ）个“1”构成的序列，序列的自信息量为)8/7(log )100(8log 22 m m -+比特/符号。 4．离散对称信道输入等概率时，输出为 等概 分布。 5．根据码字所含的码元的个数，编码可分为 定长 编码和 变长 编码。 6．设DMS 为?? ? ? ??=??????03.007 .010 .018 .025 .037 .0.6 54321u u u u u u P U U ，用二元符号表}1,0{21===x x X 对其进行定长编码，若所编的码为{000，001，010，011，100，101}， 则编码器输出码元的一维概率=)(1x P 0.747 , =)(2x P 0.253 。 12设有ＤＭＣ，其转移矩阵为[]??? ? ? ?????=2/16 /13 /13/12/16 /16/13/12/1|X Y P ，若信道输入概率为 [][]25.025 .05 .0=X P ，试确定最佳译码规则和极大似然译码规则，并计算出相应的平 均差错率。 解：???? ? ??? ??=8/124 /112 /112/18/124 /112/16/14 /1][XY P 最佳译码规则：??? ??===33121 1)()()(a b F a b F a b F ，平均差错率为1-1/4-1/6-1/8=11/24； 极大似然规则：?? ? ??===33221 1)()()(a b F a b F a b F ，平均差错率为1-1/4-1/8-1/8=1/2。 13信息的基本概念在于它的 不确定性 。 14按照信源发出的消息在时间和幅度上的分布情况，可将信源分成 离散 信源和信息论基础各章参考答案
信息论与编码试卷与答案
信息论试题1
信息论基础论文
信息论与编码试题集与答案(2014)
信息论复习知识点汇总
信息论考试题
信息论基础及答案
信息论与编码课后习题答案
信息论习题
信息论习题集
信息论基础总结
信息论与编码课后答案
信息论试题1
信息论考试卷及答案分析
信息论与编码试题集与答案(新)
信息论基础答案2
信息论与编码试题集与答案(新)
信息论与编码理论习题答案全解
信息论考试题
相关主题
文本预览