下载文档原格式
信息论第一章概论1.信息、消息、信号的定义及关系。
定义信息：事物运动状态或存在方式的不确定性的描述。
消息：指包含有信息的语言、文字和图像等。
信号：表示消息的物理量，一般指随时间而变化的电压或电流称为电信号。
关系信息和消息信息不等于消息。
消息中包含信息，是信息的载体。
同一信息可以用不同形式的消息来载荷。
同一个消息可以含有不同的信息量。
信息和信号信号是消息的载体，消息则是信号的具体内容。
信号携带信息，但不是信息本身。
同一信息可用不同的信号来表示，同一信号也可表示不同的信息。
2. 通信系统模型，箭头上是什么？通信的目的及方法。
通信的目的：是为了提高通信的可靠性和有效性。
信源编码：提高信息传输的有效性。
（减小冗余度）信道编码：提高信息传输的可靠性。
（增大冗余度）第二章 信源及其信息量★信源发出的是消息。
信源分类1、信源按照发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源。
2、根据各维随机变量的概率分布是否随时间的推移而变化将信源分为平稳信源和非平稳信源。
单符号离散信源离散无记忆信源 无记忆扩展信源 离散平稳信源离散有记忆信源 记忆长度无限记忆长度有限（马尔可夫信源）一、单符号离散信源单符号离散信源的数学模型为定义：一个随机事件发生某一结果后所带来的信息量为自信息量。
定义为其发生概率对数的负值。
以 奇才 单位：•对数以2为底，单位为比特 (bit ) （binary unit ） •对数以e 为底，单位为奈特 (nat ) (nature unit)•对数以10为底，单位为笛特(det) (decimal unit) 或哈特 (hart) 物理含义：在事件xi 发生以前，等于事件xi 发生的不确定性的大小；在事件xi 发生以后，表示事件xi 所含有或所能提供的信息量。
性质:①I(x i )是非负值.②当p(x i )=1时，I(x i )=0. ③当p(x i )=0时，I(x i )=∞.④I(x i ) 是p(x i )的单调递减函数.联合自信息量条件自信息量自信息量、条件自信息量和联合自信息量之间有如下关系式：I(x i y j )= I(x i )+ I(y j / x i ) = I(y j )+ I(x i / y j )⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡)(,),(,),(),( ,, ,, , )( 2121n i n i x p x p x p x p x x x x X P X )(log )( i i x p x I -=)(log )( j i j i y x p y x I -=1)(,1)(01=≤≤∑=ni i i x p x p定义：各离散消息自信息量的数学期望，即信源的平均信息量.单位：比特/符号 物理含义： ① 信源熵H(X)表示信源输出后，离散消息所提供的平均信息量. ② 信源熵H(X)表示信源输出前，信源的平均不确定度. ③ 信源熵H(X)反映了变量X 的随机性.信源符号的概率分布越均匀，则平均信息量越大; 确定事件，不含有信息量。
《信息论》研究生课程讲义2-5 平均互信息量的特性平均交互信息量IX,Y在统计平均的意义上,描述了信源、信道、信宿组成的通信系统的信息传输特性。
这一节将进一步讨论IX,Y的数学特性,重点介绍其特性的结论和其物理意义。
2-5-1 IX,Y的非负性当x为大于0的实数时,底大于1的对数logx是x的严格上凸函数,可以证明若fx为上凸函数,则有:f∑pixi≥∑pifxi,如fxlogx,则有:log∑pixi≥∑pilogxi根据这个关系,考虑平均互信息量,IX,Y ∑∑pxi,yjlog[pxi,yj/pxipyj]则:-IX,Y ∑∑pxi,yjlog[pxipyj/pxi,yj]≤log∑∑pxi,yj[pxipyj/pxi,yj]log∑pxi ∑pyj0所以有:IX,Y ≥0只有当PX,YPXPY,即对于所有的i1,2,…n, j1,2,…m。
都有:pxi,yjpxipyj,才有:IX,Y0互信息量可能出现负值,但平均互信息量不可能出现负值。
接收者收到一个Y的符号,总能从中获取道关于信源X的信息量,只有当XY相互独立时,平均互信息量才为0。
由IX,YHX-HX/Y,可知,在信息传输过程中,后验熵不可能大于先验熵,这种特性称为后熵不增加原理。
当XY相互独立时,pxi,yjpxipyj可得:HX,YHX+HY当XY相互独立时,pyj/xipyj可得:HY/XHY当XY相互独立时,pxi/yjpxi可得:HX/YHX由互信息量的定义可知:IX,YHX+HY-HX,YHX-HX/YHY-HY/X02-5-2 平均互信息量的交互性由于pxi,yjpyj,xi则:IX,YIY,X交互性表明在Y中含有关于X的信息,IX,Y;在X中含有关于Y的信息,IY,X;而且两者相等。
实际上IX,Y和IY,X只是观察者的立足点不同,对信道的输入X 和输出Y的总体测度的两种表达形式。
两个园相交的部分为平均互信息量,可见,平均互信息量的大小体现了X和Y 的相关程度。
第一章绪论主要内容：（1）信息论的形成和发展；（2）信息论研究的分类和信息的基本概念；（3）一般通信系统模型；（4）目前信息论的主要研究成果。
重点：信息的基本概念。
难点：消息、信号、信息的区别和联系。
说明：本堂课作为整本书的开篇，要交待清楚课程开设的目的，研究的内容，对学习的要求；在讲解过程中要注意结合一些具体的应用实例，避免空洞地叙述，以此激发同学的学习兴趣，适当地加入课堂提问，加强同学的学习主动性。
课时分配：2个课时。
板书及讲解要点：“信息”这个词相信大家不陌生，几乎每时每划都会接触到。
不仅在通信、电子行业，其他各个行业也都十分重视信息，所谓进入了“信息时代”。
信息不是静止的，它会产生也会消亡，人们需要获取它，并完成它的传输、交换、处理、检测、识别、存储、显示等功能。
研究这方面的科学就是信息科学，信息论是信息科学的主要理论基础之一。
它研究信息的基本理论(Information theory)，主要研究可能性和存在性问题，为具体实现提供理论依据。
与之对应的是信息技术(Information Technology)，主要研究如何实现、怎样实现的问题。
它不仅是现代信息科学大厦的一块重要基石，而且还广泛地渗透到生物学、医学、管理学、经济学等其他各个领域，对社会科学和自然科学的发展都有着深远的影响。
1．1 信息论的形成和发展信息论理论基础的建立，一般来说开始于香农(C.E．shannon)研究通信系统时所发表的论文。
随着研究的保深入与发展，信息论具有了较为宽广的内容。
信息在早些时期的定义是由奈奎斯持(Nyquist，H．)和哈特莱(Hartley，L.V.R．)在20世纪20年代提出来的。
1924年奈奎斯特解释了信号带宽和信息速率之间的关系；1928年哈特莱最早研究了通信系统传输信息的能力，给出了信息度量方法；1936年阿姆斯特朗(Armstrong)提出了增大带宽可以使抗干扰能力加强。
这些工作都给香农很大的影响，他在1941—1944年对通信和密码进行深入研究，用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息嫡的概念。
1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
第一章引论
1-1信息与信息科学
1-1-1信息的概念
▲信息的定义：很难给出，信息的定义是信息论研究的一个基本内容。
象物质，能量一样越基本的概念越难以给出明确的定义。
▲信息的概念：信息是可以传递的，具有不确定性的消息（情报，指令，数据，信号）中所包含的表示事物特性的内容。
▲几个要点：
△信息不是事物的本身，信息是抽象的。
而消息，情报，指令，数据等本身不是信息。
△Shannon认为：信息是关于环境事实的可以通信的知识。
△Winner认为：信息是人们在适应外部世界并且使这种适应反作用于外部世界的过程中，同外部世界进行交换的内容。
△近代人认为：信息是具有新内容的消息；是对于决策有价值的情报；是一切所感知的信号，信息就是知识等。
△Shannon信息论认为：信息的多少等于无知度的大小。
人们已知的消息不是信息，而好象，大概，可能之类的不确切的内容包含着信息。
（不能说信息冗余、信息压缩）1-1-2信息科学
▲信息科学是研究信息的概念，相关理论和应用的科学，信息科学是一门新兴科学，边缘学科。
▲信息科学的特点：（1）多学科--它与许多基础科学和应用技术有关，互相渗透，如数学，逻辑学，心理学，语言文字学，生物学，控制论，计算机科学，通信技术，仿生学，人工智能技术。
（2）产业化--它应用服务于国民经济和社会生活的各个方面，从而形成一个新兴产业----信息产业。
▲信息科学的研究范围：
☆信息源：自然信息源（物理，化学，天体，地理，生物）；社会信息源（管理，金融，商业）；知识信息源（古今中外）
☆信息载体：第一载体（语言）；第二载体（文字）；第三载体（电磁波）。
☆信息的采集与转换：传感器，雷达，视，听，触，力，声光热点磁。
☆信息的传输：光，电磁波，神经，意念。
☆信息的存储与处理：计算机，视听系统。
1-1-3信息的性质
⑴信息的可扩充性：相对物质和能量而言，信息资源没有限度，永远不会耗尽，而且回越来越多，信息爆炸，知识爆炸，能源危机。
⑵信息的可压缩性：通过人脑的归纳和综合，信息可精炼和压缩，产生专家系统，知识库。
⑶信息的可替代性：信息可替代有形物质，信息出口，情报出口。
⑷信息的可传递性：人与人之间，人与物之间，细胞，天体之间。
⑸信息的可扩散性：总是以各种方式向外部扩散，绝对保密是无法实现的。
⑹信息的可共享性：信息无法垄断，不能做转手交易。
信息的有效性：相同信息可有不同的有效性。
1-1-4信息论
▲信息论（基本信息论）：利用数学方法研究信息的度量，传递，交换和存储的一门科学。
它是通信理论中的基础理论。
▲Shannon信息论的基本观点：
⑴非决定论观点：承认偶然性，同时也承认必然性，分析时利用概率论研究事物的
统计规律。
⑵形式化假说：通信的目的只是在接收端恢复消息的形式，而不需要了解消息的内
容，假定各种信息的语意信息量等恒定不变，并等于1，以简化分析。
⑶不确定性：信息量的大小与消息状态的不确定性大小有关。
▲信息论的研究范畴：
⑴狭义信息论（Shannon信息论）也称为基本信息论，研究信息度量，信道容量，
信源编码。
⑵一般信息论（通信理论），研究信号与噪声理论，信号检测理论，信号传输理论，
信道编码，抗干扰理论，信号处理理论。
⑶广义信息论（信息科学），更广泛的研究内容。
1-2通信系统的基本模型
1-2-1通信系统模型
▲通信的概念：通信就是互相传递和交换信息。
▲通信技术：起源与人类社会初期；语言，手势，文字，印刷术，电报（1840），电话（1880），无线电（1920），广播，电视，计算机通信（1960），通信卫星（1964），Internet （1990），全球信息网络。
▲通信系统模型：
⑴信源与信宿：信源是信息的来源，是以符号的形式表现的具体消息。
△数字信源/模拟信源；
△离散信源/连续信源；
△独立信源/相关信源；
△无记忆信源/有记忆信源；
⑵变换与反变换：为了有效可靠地传递信息对信息进行必要的加工过程。
△能量变换；将非电能信号转化为电能信号。
△编码与译码；信道编码，信源编码，有效性编码，可靠性编码。
△调制与解调；频谱变换。
模拟调制：AM，FM，PM，SSB。
数字调制：ASK，FSK，PSK，QPSK，SQPSK，MSK。
⑶信道：信息传递的媒介。
△有线信道：明线，电缆，光纤，波导。
△无线信道：短波，高频，微波，光波。
△恒参信道：信道特性不随时间变化，有线，微波。
△变参信道：信道特性随时间变化，短波。
△离散信道：
△连续信道：
▲数字通信系统模型：
1-2-2通信系统的基本要求
①有效性：单位时间内传递的信息量最大。
②可靠性：在干扰情况下失真率和差错率最小。
③其它要求：适应性，经济性，实用性。
1-3信息论的发展历史
★1924年，Nyquist提出信息传输理论；
★1928年，Hartly提出信息量关系；
★1932年，Morse发明电报编码；
★1946年，柯切尼柯夫提出信号检测理论；
★1948年，Shannon提出信息论，“通信中的数学理论”。
