信息论讲义4

《信息论》研究生课程讲义2-5 平均互信息量的特性平均交互信息量IX,Y在统计平均的意义上,描述了信源、信道、信宿组成的通信系统的信息传输特性。

这一节将进一步讨论IX,Y的数学特性,重点介绍其特性的结论和其物理意义。

2-5-1 IX,Y的非负性当x为大于0的实数时,底大于1的对数logx是x的严格上凸函数,可以证明若fx为上凸函数,则有:f∑pixi≥∑pifxi,如fxlogx,则有:log∑pixi≥∑pilogxi根据这个关系,考虑平均互信息量,IX,Y ∑∑pxi,yjlog[pxi,yj/pxipyj]则:-IX,Y ∑∑pxi,yjlog[pxipyj/pxi,yj]≤log∑∑pxi,yj[pxipyj/pxi,yj]log∑pxi ∑pyj0所以有:IX,Y ≥0只有当PX,YPXPY,即对于所有的i1,2,…n, j1,2,…m。

都有:pxi,yjpxipyj,才有:IX,Y0互信息量可能出现负值,但平均互信息量不可能出现负值。

接收者收到一个Y的符号,总能从中获取道关于信源X的信息量,只有当XY相互独立时,平均互信息量才为0。

由IX,YHX-HX/Y,可知,在信息传输过程中,后验熵不可能大于先验熵,这种特性称为后熵不增加原理。

当XY相互独立时,pxi,yjpxipyj可得:HX,YHX+HY当XY相互独立时,pyj/xipyj可得:HY/XHY当XY相互独立时,pxi/yjpxi可得:HX/YHX由互信息量的定义可知:IX,YHX+HY-HX,YHX-HX/YHY-HY/X02-5-2 平均互信息量的交互性由于pxi,yjpyj,xi则:IX,YIY,X交互性表明在Y中含有关于X的信息,IX,Y;在X中含有关于Y的信息,IY,X;而且两者相等。

实际上IX,Y和IY,X只是观察者的立足点不同,对信道的输入X 和输出Y的总体测度的两种表达形式。

两个园相交的部分为平均互信息量,可见,平均互信息量的大小体现了X和Y 的相关程度。

信息理论基础第10讲北京航空航天大学201教研室陈杰2006-11-274.3离散无记忆扩展信道一、无记忆Ｎ次扩展信道定义：假设离散信道［X, p (y|x ), Y ］,输入符号集合:A ={a 1,a 2,……,a r }输出符号集合:B ={b 1,b 2, ……,b s } X 取值于Ａ，Ｙ取值于Ｂ．将输入，输出Ｎ次扩展得其中,Ｘi 取值于Ａ，Ｙi 取值于Ｂ，i =1,2,……Ｎ12()N X X X =X "12()N YY Y =Y "信道ＸＹp (y|x )2006-11-274.３离散无记忆扩展信道二、无记忆Ｎ次扩展信道其数学模型如下：若则称为Ｎ次无记忆扩展信道。

信道NX X X ……21NY Y Y ……211212(|)N N p y y y x x x ……12121(|)(|)(|)NN N i i i p p y y y x x x p y x ===∏y x ""[,(|),]N N N N X p y x Y2006-11-27三、离散无记忆信道数学模型信道输入序列取值信道输出序列取值信道转移概率信道X YNX X X X (21)Y Y Y Y ……=2112,N x x x x =……A x i ∈12,N y y y y =……B y i ∈1(|)(|)Ni i i p y x p y x ==∏{,(|),}i ip y x X Y 离散无记忆信道2006-11-27离散信道的数学模型可表示为定义若离散信道对任意N 长的输入、输出序列有称为离散无记忆信道，简记为DMC 。

数学模型为{,(|),}p y x X Y 1(|)(|)Ni i i p y x p y x ==∏{,(|),}i i p y x X Y2006-11-27(1) 对于DMC 信道，每个输出符号仅与当时的输入符号有关，与前后输入符号无关。

(2) 对任意n 和m ，，，若离散无记忆信道还满足则称此信道为平稳信道的或恒参信道。

第一章绪论主要内容：（1）信息论的形成和发展；（2）信息论研究的分类和信息的基本概念；（3）一般通信系统模型；（4）目前信息论的主要研究成果。

重点：信息的基本概念。

难点：消息、信号、信息的区别和联系。

说明：本堂课作为整本书的开篇，要交待清楚课程开设的目的，研究的内容，对学习的要求；在讲解过程中要注意结合一些具体的应用实例，避免空洞地叙述，以此激发同学的学习兴趣，适当地加入课堂提问，加强同学的学习主动性。

课时分配：2个课时。

板书及讲解要点：“信息”这个词相信大家不陌生，几乎每时每划都会接触到。

不仅在通信、电子行业，其他各个行业也都十分重视信息，所谓进入了“信息时代”。

信息不是静止的，它会产生也会消亡，人们需要获取它，并完成它的传输、交换、处理、检测、识别、存储、显示等功能。

研究这方面的科学就是信息科学，信息论是信息科学的主要理论基础之一。

它研究信息的基本理论(Information theory)，主要研究可能性和存在性问题，为具体实现提供理论依据。

与之对应的是信息技术(Information Technology)，主要研究如何实现、怎样实现的问题。

它不仅是现代信息科学大厦的一块重要基石，而且还广泛地渗透到生物学、医学、管理学、经济学等其他各个领域，对社会科学和自然科学的发展都有着深远的影响。

1．1 信息论的形成和发展信息论理论基础的建立，一般来说开始于香农(C.E．shannon)研究通信系统时所发表的论文。

随着研究的保深入与发展，信息论具有了较为宽广的内容。

信息在早些时期的定义是由奈奎斯持(Nyquist，H．)和哈特莱(Hartley，L.V.R．)在20世纪20年代提出来的。

1924年奈奎斯特解释了信号带宽和信息速率之间的关系；1928年哈特莱最早研究了通信系统传输信息的能力，给出了信息度量方法；1936年阿姆斯特朗(Armstrong)提出了增大带宽可以使抗干扰能力加强。

这些工作都给香农很大的影响，他在1941—1944年对通信和密码进行深入研究，用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息嫡的概念。

信息论第4讲北京航空航天大学201教研室陈杰buaa201gcss@ PWD:buaaf615例4.14 根据概率转移图给出信道矩阵，并求信道的信道容量1 31 21 61 31 6161613131316161213131216x a1a2Yb1b2b3b4xa1a2a3Yb1b2b32由概率转移图可以写出信道矩阵如下11111336611116633⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦P2111236111623111362⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦P34解：信道1和2都为对称信道，所以()'''112log ,,,sC s H p p p=−"1111log 4,,,3366H ⎛⎞=−⎜⎟⎝⎠0.0817 bit=()'''212log ,,,sC s H p p p=−"111log 3,,236H ⎛⎞=−⎜⎟⎝⎠0.126 bit=5例4.15 根据信道矩阵，求下列信道的信道容量解：该信道为对称信道111002211002211002211022⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦P ()'''112log ,,,sC s H p p p=−"11log 4,22H ⎛⎞=−⎜⎟⎝⎠1 bit=6例4.15 根据信道矩阵，求下列信道的信道容量解：信道为无损信道21100 0 0 0 0221100 0 0 0 022110000 0 022110000 0 0 22⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦P 22log C r=2log 4=2 bit=7另解：将该信道看成准对称信道输入等概分布时，输出为：2211()(|)log 8,2 22C H Y H Y X H bit⎛⎞=−=−=⎜⎟⎝⎠12818q q q ===="8例4.15 根据信道矩阵，求信道容量1111336611116363⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦P9解法1：利用定理信道为准对称信道，当输入为等概分布时达到信道容量则121/2p p ==|11111133661111226363Y X Y X⎡⎤⎢⎥⎡⎤=•=⎢⎥⎢⎥⎣⎦⎢⎥⎢⎥⎣⎦P P P 1111 4364⎡⎤=⎢⎥⎣⎦10()max (;)p x C I X Y =[]()max ()(|)p x H Y H Y X =−11111111,,,,,,43643366H H ⎛⎞⎛⎞=−⎜⎟⎜⎟⎝⎠⎝⎠0.041 bit=11例4.16 有一离散信道的概率转移图如图所示：试求①信道容量C②若求信道容量010x 1121εε−−121εε−−1ε2ε2ε1ε20ε=12解法1：利用定理求解由转移概率矩阵可知，此信道为准对称信道当时，达到信道容量122121211 1 εεεεεεεε−−⎡⎤=⎢⎥−−⎣⎦P 1212p p ==13则输出端符号概率分布为：()()()()0122112121111111122211111222122q q q εεεεεεεεεεε⎧=−−+=−⎪⎪⎪=+−−=−⎨⎪⎪=×=⎪⎩14()max (;)p x C I X Y =[]()max ()(|)p x H Y H Y X =−()()011212,,1,,H q q q H εεεεε=−−−112212121(1)log (1)log (1)log(1)2εεεεεεεε=−−−++−−−−210 =1C εε=−当时15三、离散无记忆N 次扩展信道的信道容量N 次扩展信道的信道容量为其中{}()max ()Np x C I =X;Y {}()max (,)i i i p x C I X Y =()1max (,)N i i p x i I X Y ==∑1Ni i C ==∑16•物理意义：对于离散无记忆N 次扩展信道，其信道容量等于单变量信道的信道容量的N 倍。

第二章信源与信息熵主要内容：（1）信源的描述与分类；（2）离散信源熵和互信息；（3）离散序列信源的熵；（4）连续信源的熵和互信息；（5）冗余度。

重点：离散/连续信源熵和互信息。

难点：离散序列有记忆信源熵。

说明：本章内容主要针对信源，但是很多基本概念却是整个信息论的基础，所以安排了较多课时。

由于求熵涉及一些概率论的基础知识，考虑到大四的同学可能对这部分知识已经遗忘，故适当复习部分概率论知识。

较难的 2.1.2节马尔可夫信源部分放置在本章最后讲，便于同学理解。

本章概念和定理较多，比较抽象，课堂教学时考虑多讲述一些例题，通过例题来巩固概念和消化定理。

作业：2．1—2．7，2．10，2．12。

课时分配：10课时。

板书及讲解要点：在信息论中，信源是发出消息的源，信源输出以符号形式出现的具体消息。

如果符号是确定的而且预先是知道的，那么该消息就无信息而言。

只有当符号的出现是随机的，预先无法确定，一旦出现某个符合就给观察者提供了信息。

因此应该用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息，这就是香农信息论的基本点。

2．1 信源的描述与分类在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度——概率空间来描述信源。

信源：产生随机变量、随机序列和随机过程的源。

信源的基本特性：具有随机不确定性。

信源的分类连续信源：话音、图像——随机过程离散信源：输出在时间和幅度上都是离散分布的消息。

1213消息数是有限的或可数的，且每次只输出其中一个消息，即两两不相容。

发出单个符号的无记忆信源离散无记忆信源： 发出符号序列的无记忆信源离散信源离散有记忆信源： 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源概率论基础：无条件概率，条件概率和联合概率的性质和关系： （1） 非负性0()()(/)(/)()1i j j i i j i j p x p y p y x p x y p x y ≤≤，，，， （2） 完备性111111()1,()1,(/)1,(/)1,()1nmnijiji j i mm nji i j j j i p x p y p x y p yx p x y ===========∑∑∑∑∑∑11()(),()()n mijjijii j p x y p y p x y p x ====∑∑（3） 联合概率()()(/)()(/)()()()(/)()(/)()i j i j i j i j i j i j j i j i j i p x y p x p y x p y p x y X Y p x y p x p y p y x p y p x y p x =====当与相互独立时，，（4） 贝叶斯公式11()()(/)(/)()()i j i j i j j i nmijiji j p x y p x y p x y p y x p x y p x y ====∑∑，2.1.1 无记忆信源：例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。