信息论讲义-第六章

信息论第一章概论1.信息、消息、信号的定义及关系。

定义信息：事物运动状态或存在方式的不确定性的描述。

消息：指包含有信息的语言、文字和图像等。

信号：表示消息的物理量，一般指随时间而变化的电压或电流称为电信号。

关系信息和消息信息不等于消息。

消息中包含信息，是信息的载体。

同一信息可以用不同形式的消息来载荷。

同一个消息可以含有不同的信息量。

信息和信号信号是消息的载体，消息则是信号的具体内容。

信号携带信息，但不是信息本身。

同一信息可用不同的信号来表示，同一信号也可表示不同的信息。

2. 通信系统模型，箭头上是什么？通信的目的及方法。

通信的目的：是为了提高通信的可靠性和有效性。

信源编码：提高信息传输的有效性。

（减小冗余度）信道编码：提高信息传输的可靠性。

（增大冗余度）第二章 信源及其信息量★信源发出的是消息。

信源分类1、信源按照发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源。

2、根据各维随机变量的概率分布是否随时间的推移而变化将信源分为平稳信源和非平稳信源。

单符号离散信源离散无记忆信源 无记忆扩展信源 离散平稳信源离散有记忆信源 记忆长度无限记忆长度有限（马尔可夫信源）一、单符号离散信源单符号离散信源的数学模型为定义：一个随机事件发生某一结果后所带来的信息量为自信息量。

定义为其发生概率对数的负值。

以 奇才 单位：•对数以2为底，单位为比特 (bit ) （binary unit ） •对数以e 为底，单位为奈特 (nat ) (nature unit)•对数以10为底，单位为笛特(det) (decimal unit) 或哈特 (hart) 物理含义：在事件xi 发生以前，等于事件xi 发生的不确定性的大小；在事件xi 发生以后，表示事件xi 所含有或所能提供的信息量。

性质:①I(x i )是非负值.②当p(x i )=1时，I(x i )=0. ③当p(x i )=0时，I(x i )=∞.④I(x i ) 是p(x i )的单调递减函数.联合自信息量条件自信息量自信息量、条件自信息量和联合自信息量之间有如下关系式：I(x i y j )= I(x i )+ I(y j / x i ) = I(y j )+ I(x i / y j )⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡)(,),(,),(),( ,, ,, , )( 2121n i n i x p x p x p x p x x x x X P X )(log )( i i x p x I -=)(log )( j i j i y x p y x I -=1)(,1)(01=≤≤∑=ni i i x p x p定义：各离散消息自信息量的数学期望，即信源的平均信息量.单位：比特/符号 物理含义： ① 信源熵H(X)表示信源输出后，离散消息所提供的平均信息量. ② 信源熵H(X)表示信源输出前，信源的平均不确定度. ③ 信源熵H(X)反映了变量X 的随机性.信源符号的概率分布越均匀，则平均信息量越大; 确定事件，不含有信息量。

6.1 奇校验码码字是c=(m 0,m 1,…,m k-1,p)，其中奇校验位p 满足方程 m 0+m 1+,…, +m k-1+p =1 (mod 2)证明奇校验码的检错能力与偶校验码的检错能力相同，但奇其校验码不是线性分组码。

证：偶校验码的编码方程为 m 0+m 1+,…, +m k-1+p =0 (mod 2) 当差错图案e 中有奇数个1时，通过偶校验方程可以检测出发生错误，因此检测概率：])([])()[()(,])()[(])()[()()(,)()(,_,,,_K K K ik ii kKoddi i even ce K K Keveni i iiK i KK K Koddi i ii K i K Ki i i K iK KKi iiK iKKi k ii k Koddi i even ce p p p p p p p C p thenp b p a if b a b a b aCb a b a b a C b a C b a b aC b a p p C p 211211121112121110001--=---+-=-=∴=-=-++=--+=∴-=-=+-=-∈=∈=-∈=-=-=--∈=∑∑∑∑∑∑奇校验码的编码方程为m 0+m 1+,…, +m k-1+p =1 (mod 2)当差错图案e 中有偶数个1时，通过偶校验方程可以检测出发生错误，因此检测概率：evence K oddce K K KK K K K i k ii k Keveni i odd ce p p p p p p p p p p C p p p C p __,_])([,)()(,)(])([)(])([)(=--≈∴-≈-<<---+=---+=-=--∈=∑21121211112112112112110001当由线性分组码的性质可知，码组中必有一个全零码字。

而奇校验码中没有全零码，如果有的话必是错码，所以奇校验码不是线性分组码。

信息理论基础（第十五讲）授课教师：于泽电子信息工程学院201教研室第六章 有噪信道编码内容提要 6.1 噪声信道编码问题 6.2 编码方法和错误概率— 简单重复编码 — 消息符号个数 — （5.2）线性码 — 线性分组码 — 汉明距离6.3 有噪信道编码定理— 香农第二定理及其逆定理6.4 错误概率上界26.2 编码方法与错误概率引入： 1、影响平均错误概率pE的因素 ①译码规则 ②信道统计特性——信道传递概率 2、选择最佳译码规则只能有限减少平均错误概率pE 3、需要通过改变信道传递概率进一步减少pE ①物理上通过更换信道改变信道传递概率减少pE ②数学上通过信道编码改变信道传递概率减少pE36.2 编码方法与错误概率• 编码方法介绍 ⎯简单重复编码 ⎯(n．k)线性码46.2.1 简单重复编码二元对称信道矩阵 ⎡0.99 0.01⎤ P=⎢ ⎥ 0 . 01 0 . 99 ⎣ ⎦ 最佳译码规则⎧F (b1 ) = a1 ⎨ ⎩F (b2 ) = a2输入等概分布条件下， 平均错误概率为 1 1 pE = ∑ p( y | x) = [0.01+ 0.01] = 10−2 r Y , X −x* 256.2.1 简单重复编码1、三次简单重复编码： 规定信源符号为“0’’(或“1”)时，则重复发送三个“0” (或“1”)，此时构成的新信道可以看成是二元对称信道 的三次扩展信道没有使用 发送端用作 的码字 消息的码字 a1 = 000 a 2 = 001 a 3 = 010 a 4 = 011 a 5 = 100 a 6 = 101 a 7 = 110 a8 =接收端 接收序列 β1 = 000111β 2 = 001 β3 = 010 β 4 = 011 β5 = 100 β 6 = 101 β 7 = 110 β8 = 11166.2.1 简单重复编码信道矩阵变成⎡ p3 P=⎢ 3 ⎣p p2 p pp 2 p2 p pp 2 pp 2 p2 p p2 p pp 2 pp 2 p2 p pp 2 p3 ⎤ 2 3⎥ p p p ⎦F (β 4 ) = α8 F (β6 ) = α8 F (β7 ) = α8 F (β8 ) = α 8设输入符号为等概分布， 采用极大似然译码规则 （即大数逻辑译码）F ( β1 ) = α1 F ( β 2 ) = α1 F ( β 3 ) = α1 F ( β 5 ) = α1平均错误概率 1 3 2 −4 pE = p ( β | α ) = p + 3 p p ≈ 3 × 10 ∑ j i M Y , X − x*76.2.1 简单重复编码2、增加重复编码次数n 随着重复编码次数 n 增大，平均错误概率 pE 下降， 信息传输率也将减少。

第六章 有噪信道编码6.1 R 为信息传输率，根据香农第二定理，当码长n->无穷大时，满足什么关系式，可使错误概率Pe->0。

答：Pe<exp{-nE(R)}->0，其中E(R)为可靠性函数，且在9<R<C 的范围为正。

信道容量C 是保证无差错传输时，信息传输率R 的权限值。

6.2 写出费诺不等式，其中哪一项表示是否判对的疑义度，log(k-1)又表示什么？答：H(X|Y)<=H2(Pe)+Pelog(k-1) ，H2(pe)是否判对的疑义度。

表示如果判决出错，错在k-1个符号中的一个，疑义度不会超过log(k-1)。

6.3 根据香农定理说明，（信息容量）是保证无差错传输时信息传输率R 的上限值，（平均错误概率）是信源可压缩信息的最低极限。

6.4 最大后验概率译码准则就是最小错误译码准则，对吗？错误。

()∑≠-==≠=k i k i k k e y x y xy x x y p )|(1)|()|(φφφ 这个公式可知最大后验概率与最小错误译码准则所得的最终结果是相等的。

但并非概念定义一致。

6.5 在信源等该分布时，则极大似然函数译码准则就是最小错误译码准则，对吗？ Proof: if ())|(|k k x y p x y p > m=1,2,……,MThen 信道等概率输入时，有),()(m k x q x q = 代入上式得)()|()()|(m m k k x q x y p x q x y p >So,it comes to )()(y x p y x p m k >所以说明全概率最大，对应最大联合概率译码准则。

1/2 1/6 1/36.6 离散无记忆信道DMC ，转移概率矩阵为 P= 1/3 1/2 1/61/6 1/3 1/2(1 )q(x1)=1/2 q(x2)=1/4 q(x3)=1/4. 求最佳判决译码及错误概率。

（2）若信源等概分布，求最佳判决译码及错误概率。

第一章绪论主要内容：（1）信息论的形成和发展；（2）信息论研究的分类和信息的基本概念；（3）一般通信系统模型；（4）目前信息论的主要研究成果。

重点：信息的基本概念。

难点：消息、信号、信息的区别和联系。

说明：本堂课作为整本书的开篇，要交待清楚课程开设的目的，研究的内容，对学习的要求；在讲解过程中要注意结合一些具体的应用实例，避免空洞地叙述，以此激发同学的学习兴趣，适当地加入课堂提问，加强同学的学习主动性。

课时分配：2个课时。

板书及讲解要点：“信息”这个词相信大家不陌生，几乎每时每划都会接触到。

不仅在通信、电子行业，其他各个行业也都十分重视信息，所谓进入了“信息时代”。

信息不是静止的，它会产生也会消亡，人们需要获取它，并完成它的传输、交换、处理、检测、识别、存储、显示等功能。

研究这方面的科学就是信息科学，信息论是信息科学的主要理论基础之一。

它研究信息的基本理论(Information theory)，主要研究可能性和存在性问题，为具体实现提供理论依据。

与之对应的是信息技术(Information Technology)，主要研究如何实现、怎样实现的问题。

它不仅是现代信息科学大厦的一块重要基石，而且还广泛地渗透到生物学、医学、管理学、经济学等其他各个领域，对社会科学和自然科学的发展都有着深远的影响。

1．1 信息论的形成和发展信息论理论基础的建立，一般来说开始于香农(C.E．shannon)研究通信系统时所发表的论文。

随着研究的保深入与发展，信息论具有了较为宽广的内容。

信息在早些时期的定义是由奈奎斯持(Nyquist，H．)和哈特莱(Hartley，L.V.R．)在20世纪20年代提出来的。

1924年奈奎斯特解释了信号带宽和信息速率之间的关系；1928年哈特莱最早研究了通信系统传输信息的能力，给出了信息度量方法；1936年阿姆斯特朗(Armstrong)提出了增大带宽可以使抗干扰能力加强。

这些工作都给香农很大的影响，他在1941—1944年对通信和密码进行深入研究，用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息嫡的概念。

信息论第6章课后习题答案信息论是一门研究信息传输和处理的学科，它以数学为基础，探讨了信息的度量、编码和传输等问题。

本文将对信息论第6章的课后习题进行解答，以帮助读者更好地理解和应用信息论的知识。

1. 习题6.1：证明熵函数H(X)是凸函数。

解答：首先，我们知道熵函数H(X)可以表示为H(X) = -Σp(x)logp(x)，其中p(x)为随机变量X的概率分布。

要证明H(X)是凸函数，需要证明对于任意的两个概率分布p1(x)和p2(x)，以及0≤λ≤1，有H(λp1(x) + (1-λ)p2(x)) ≤ λH(p1(x)) + (1-λ)H(p2(x))。

根据Jensen不等式，对于凸函数f(x)，有f(λx + (1-λ)y) ≤ λf(x) + (1-λ)f(y)。

将凸函数f(x)替换为H(X)，则有H(λp1(x) + (1-λ)p2(x)) ≤ λH(p1(x)) + (1-λ)H(p2(x))。

因此，熵函数H(X)是凸函数。

2. 习题6.2：证明条件熵H(Y|X) ≥ 0。

解答：条件熵H(Y|X)可以表示为H(Y|X) = -ΣΣp(x,y)logp(y|x)，其中p(x,y)为随机变量X和Y的联合概率分布。

要证明条件熵H(Y|X) ≥ 0，需要证明对于任意的联合概率分布p(x,y)，有H(Y|X) = -ΣΣp(x,y)logp(y|x) ≥ 0。

根据信息论的定义，熵函数H(Y) ≥ 0，即对于任意的随机变量Y，其熵函数都大于等于0。

而条件熵H(Y|X)可以看作是在已知随机变量X的条件下，随机变量Y的不确定性。

根据信息论的定义，条件熵H(Y|X)应该不小于0，即H(Y|X)≥ 0。

3. 习题6.3：证明互信息I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X)。

解答：互信息I(X;Y)可以表示为I(X;Y) = ΣΣp(x,y)log(p(x,y)/(p(x)p(y)))，其中p(x,y)为随机变量X和Y的联合概率分布，p(x)和p(y)分别为随机变量X和Y的边缘概率分布。

第六章：信道编码(本章复习大纲我重新修改了一下，尤其要关注红色内容)1、基本概念：差错符号、差错比特；差错图样：随机差错、突发差错；纠错码分类：检错和纠错码、分组码和卷积码、线性码与非线性码、纠随机差错码和纠突发差错码；矢量空间、码空间及其对偶空间； 有扰离散信道的编码定理：-()NE R e P e （掌握信道编码定理的内容及减小差错概率的方法）；线形分组码的扩展与缩短（掌握奇偶校验码及缩短码的校验矩阵、生成矩阵与原线形分组码的关系）。

2、线性分组码(封闭性)：生成矩阵及校验矩阵、系统形式的G 和H 、伴随式与标准阵列译码表、码距与纠错能力、完备码(汉明码)、循环码的生成多项式及校验多项式、系统形式的循环码。

作业：6-1、6-3、6-4、6-5和6-6选一、6-7 6-8和6-9选一 6-1 二元域上4维4重失量空间的元素个数总共有24=16个，它们分别是(0,0,0,0),(0,0,0,1)…(1,1,1,1)，它的一个自然基底是(0,0,0,1),(0,0,1,0),(0,1,0,0)和(1,0,0,0)；其中一个二维子空间含有的元素个数为22个，选取其中一个自然基底为(0,0,0,1)和(0,0,1,0)，则其二维子空间中所包含的全部矢量为(0,0,0,0,),(0,0,0,1),(0,0,1,0)和(0,0,1,1)(注选择不唯一)；上述子空间对应的对偶子空间可以有三种不同的选择：(0,0,0,0) ,(0,1,0,0),(1,0,0,0)，(1,1,0,0)或(0,0,0,0) ,(0,1,0,0)或(0,0,0,0) (1,0,0,0)。

(注意本题中所包含的关于矢量空间的一些基本概念)6-3 由题设可以写出该系统(8,4)码的线形方程组如下：736251403320231012100321v u v u v u v u v u u u v u u u v u u u v u u u=⎧⎪=⎪⎪=⎪=⎪⎨=++⎪⎪=++⎪=++⎪⎪=++⎩(注：系统码高四位与信息位保持一致，u i 为信息位) 把上述方程组写成矩阵形式，可以表示为 V =U G ，其中V 为码字构成的矢量，即V =(v 7,v 6,v 5,v 4,v 3,v 2,v 1,v 0)，U 为信息位构成的矢量，即U =( u 3,u 2,u 1,u 0)，观察方程组可得系统生成矩阵为：[]44*41000110101001011G I |P 0010011100011110⎡⎤⎢⎥⎢⎥==⎢⎥⎢⎥⎣⎦由系统生成矩阵和校验矩阵的关系可得：4*441101100010110100H P |I 0111001011100001T ⎡⎤⎢⎥⎢⎥⎡⎤==⎣⎦⎢⎥⎢⎥⎣⎦由校验矩阵可以看出，矩阵H 的任意三列都是线性无关的(任意三列之和不为0)，但存在四列线性相关的情况(如第1、5、6、8列，这四列之和为0)，即校验矩阵H 中最小的线性相关的列数为4，从而得该线性分组码的最小码距为4。