下载文档原格式
《信息论》研究生课程讲义2-5 平均互信息量的特性平均交互信息量IX,Y在统计平均的意义上,描述了信源、信道、信宿组成的通信系统的信息传输特性。
这一节将进一步讨论IX,Y的数学特性,重点介绍其特性的结论和其物理意义。
2-5-1 IX,Y的非负性当x为大于0的实数时,底大于1的对数logx是x的严格上凸函数,可以证明若fx为上凸函数,则有:f∑pixi≥∑pifxi,如fxlogx,则有:log∑pixi≥∑pilogxi根据这个关系,考虑平均互信息量,IX,Y ∑∑pxi,yjlog[pxi,yj/pxipyj]则:-IX,Y ∑∑pxi,yjlog[pxipyj/pxi,yj]≤log∑∑pxi,yj[pxipyj/pxi,yj]log∑pxi ∑pyj0所以有:IX,Y ≥0只有当PX,YPXPY,即对于所有的i1,2,…n, j1,2,…m。
都有:pxi,yjpxipyj,才有:IX,Y0互信息量可能出现负值,但平均互信息量不可能出现负值。
接收者收到一个Y的符号,总能从中获取道关于信源X的信息量,只有当XY相互独立时,平均互信息量才为0。
由IX,YHX-HX/Y,可知,在信息传输过程中,后验熵不可能大于先验熵,这种特性称为后熵不增加原理。
当XY相互独立时,pxi,yjpxipyj可得:HX,YHX+HY当XY相互独立时,pyj/xipyj可得:HY/XHY当XY相互独立时,pxi/yjpxi可得:HX/YHX由互信息量的定义可知:IX,YHX+HY-HX,YHX-HX/YHY-HY/X02-5-2 平均互信息量的交互性由于pxi,yjpyj,xi则:IX,YIY,X交互性表明在Y中含有关于X的信息,IX,Y;在X中含有关于Y的信息,IY,X;而且两者相等。
实际上IX,Y和IY,X只是观察者的立足点不同,对信道的输入X 和输出Y的总体测度的两种表达形式。
两个园相交的部分为平均互信息量,可见,平均互信息量的大小体现了X和Y 的相关程度。
信息理论基础第10讲北京航空航天大学201教研室陈杰2006-11-274.3离散无记忆扩展信道一、无记忆Ｎ次扩展信道定义：假设离散信道［X, p (y|x ), Y ］,输入符号集合:A ={a 1,a 2,……,a r }输出符号集合:B ={b 1,b 2, ……,b s } X 取值于Ａ，Ｙ取值于Ｂ．将输入，输出Ｎ次扩展得其中,Ｘi 取值于Ａ，Ｙi 取值于Ｂ，i =1,2,……Ｎ12()N X X X =X "12()N YY Y =Y "信道ＸＹp (y|x )2006-11-274.３离散无记忆扩展信道二、无记忆Ｎ次扩展信道其数学模型如下：若则称为Ｎ次无记忆扩展信道。
信道NX X X ……21NY Y Y ……211212(|)N N p y y y x x x ……12121(|)(|)(|)NN N i i i p p y y y x x x p y x ===∏y x ""[,(|),]N N N N X p y x Y2006-11-27三、离散无记忆信道数学模型信道输入序列取值信道输出序列取值信道转移概率信道X YNX X X X (21)Y Y Y Y ……=2112,N x x x x =……A x i ∈12,N y y y y =……B y i ∈1(|)(|)Ni i i p y x p y x ==∏{,(|),}i ip y x X Y 离散无记忆信道2006-11-27离散信道的数学模型可表示为定义若离散信道对任意N 长的输入、输出序列有称为离散无记忆信道，简记为DMC 。
数学模型为{,(|),}p y x X Y 1(|)(|)Ni i i p y x p y x ==∏{,(|),}i i p y x X Y2006-11-27(1) 对于DMC 信道，每个输出符号仅与当时的输入符号有关，与前后输入符号无关。
(2) 对任意n 和m ，，，若离散无记忆信道还满足则称此信道为平稳信道的或恒参信道。
第一章绪论主要内容：（1）信息论的形成和发展；（2）信息论研究的分类和信息的基本概念；（3）一般通信系统模型；（4）目前信息论的主要研究成果。
重点：信息的基本概念。
难点：消息、信号、信息的区别和联系。
说明：本堂课作为整本书的开篇，要交待清楚课程开设的目的，研究的内容，对学习的要求；在讲解过程中要注意结合一些具体的应用实例，避免空洞地叙述，以此激发同学的学习兴趣，适当地加入课堂提问，加强同学的学习主动性。
课时分配：2个课时。
板书及讲解要点：“信息”这个词相信大家不陌生，几乎每时每划都会接触到。
不仅在通信、电子行业，其他各个行业也都十分重视信息，所谓进入了“信息时代”。
信息不是静止的，它会产生也会消亡，人们需要获取它，并完成它的传输、交换、处理、检测、识别、存储、显示等功能。
研究这方面的科学就是信息科学，信息论是信息科学的主要理论基础之一。
它研究信息的基本理论(Information theory)，主要研究可能性和存在性问题，为具体实现提供理论依据。
与之对应的是信息技术(Information Technology)，主要研究如何实现、怎样实现的问题。
它不仅是现代信息科学大厦的一块重要基石，而且还广泛地渗透到生物学、医学、管理学、经济学等其他各个领域，对社会科学和自然科学的发展都有着深远的影响。
1．1 信息论的形成和发展信息论理论基础的建立，一般来说开始于香农(C.E．shannon)研究通信系统时所发表的论文。
随着研究的保深入与发展，信息论具有了较为宽广的内容。
信息在早些时期的定义是由奈奎斯持(Nyquist，H．)和哈特莱(Hartley，L.V.R．)在20世纪20年代提出来的。
1924年奈奎斯特解释了信号带宽和信息速率之间的关系；1928年哈特莱最早研究了通信系统传输信息的能力，给出了信息度量方法；1936年阿姆斯特朗(Armstrong)提出了增大带宽可以使抗干扰能力加强。
这些工作都给香农很大的影响，他在1941—1944年对通信和密码进行深入研究，用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息嫡的概念。
