信息论 基础理论与应用第三版(傅祖芸)-第9章-讲义

信息论形成的背景与基础人们对于信息的认识和利用，可以追溯到古代的通讯实践可以说是传递信息的原始方式。

随着社会生产的发展，科学技术的进步，人们对传递信息的要求急剧增加。

到了20世纪20年代，如何提高传递信息的能力和可靠性已成为普遍重视的课题。

美国科学家N.奈奎斯特、德国K.屈普夫米勒、前苏联A.H.科尔莫戈罗夫和英国R.A.赛希尔等人，从不同角度研究信息，为建立信息论做出了很大贡献。

信息论是在人们长期的通信工程实践中，由通信技术和概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。

信息论的奠基人是美国伟大的数学家、贝尔实验室杰出的科学家 C.E.香农(被称为是“信息论之父”)，他在1948年发表了著名的论文《通信的数学理论》，1949年发表《噪声中的通信》，为信息论奠定了理论基础。

20世纪70年代以后，随着数学计算机的广泛应用和社会信息化的迅速发展，信息论正逐渐突破香农狭义信息论的范围，发展为一门不仅研究语法信息，而且研究语义信息和语用信息的科学。

近半个世纪以来，以通信理论为核心的经典信息论，正以信息技术为物化手段，向高精尖方向迅猛发展，并以神奇般的力量把人类社会推入了信息时代。

信息是关于事物的运动状态和规律，而信息论的产生与发展过程，就是立足于这个基本性质。

随着信息理论的迅猛发展和信息概念的不断深化，信息论所涉及的内容早已超越了狭义的通信工程范畴，进入了信息科学领域。

信息论定义及概述信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。

核心问题是信息传输的有效性和可靠性以及两者间的关系。

它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。

基于这一理论产生了数据压缩技术、纠错技术等各种应用技术，这些技术提高了数据传输和存储的效率。

信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。

信息论傅祖芸第三版答案【篇一：信息论】p class=txt>信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。

信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。

信息传输和信息压缩是信息论研究中的两大领域。

这两个方面又由信息传输定理、信源－信道隔离定理相互联系。

它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。

信息论发展的三个阶段第一阶段：1948年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。

第二阶段：20世纪50年代，信息论向各门学科发起冲击；60年代信息论进入一个消化、理解的时期，在已有的基础上进行重大建设的时期。

研究重点是信息和信源编码问题。

第三阶段：到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。

人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。

信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。

信息科学和技术在当代迅猛兴起有其逻辑必然和历史必然。

信息是信息科学的研究对象。

信息的概念可以在两个层次上定义：本体论意义的信息是事物运动的状态和状态变化的方式，即事物内部结构和外部联系的状态和方式。

认识论意义的信息是认识主体所感知、表达的相应事物的运动状态及其变化方式，包括状态及其变化方式的形式、含义和效用。

这里所说的“事物”泛指一切可能的研究对象，包括外部世界的物质客体，也包括主观世界的精神现象；“运动”泛指一切意义上的变化，包括思维运动和社会运动；“运动状态”指事物运动在空间所展示的性状和态势；“运动方式”是事物运动在时间上表现的过程和规律性。

信息论基础与应用pdf信息论是一门研究信息传输和处理的学科，它的基础理论和方法对于现代通信、计算机科学和数据处理等领域具有重要的意义。

信息论的基本概念和原理可以通过一本名为《信息论基础与应用》的PDF文档来学习和了解。

这本PDF文档首先介绍了信息论的基本概念和背景知识。

它解释了信息的定义和度量方法，以及信息熵和条件熵的概念。

通过对信息熵和条件熵的计算和分析，读者可以了解信息的不确定性和可预测性，并学会如何利用信息熵来衡量和比较不同的信息源和信道。

接下来，这本PDF文档介绍了信息论的一些重要定理和原理。

其中最著名的是香农的噪声信道编码定理，它表明在存在噪声的信道中，通过适当的编码和解码方法，可以实现任意小的错误概率。

这个定理对于现代通信系统的设计和优化具有重要的指导意义。

此外，这本PDF文档还介绍了信息论在数据压缩和加密方面的应用。

数据压缩是指通过编码方法将数据表示为更紧凑的形式，以减少存储空间和传输带宽的需求。

信息论提供了一些有效的压缩算法和编码方法，如霍夫曼编码和算术编码。

而数据加密则是指通过密码学方法将数据转化为不可读的形式，以保护数据的机密性和安全性。

信息论提供了一些重要的加密算法和协议，如RSA算法和Diffie-Hellman密钥交换协议。

最后，这本PDF文档还介绍了信息论在其他领域的应用。

例如，在机器学习和模式识别中，信息论可以用来衡量特征的重要性和相关性，以及评估分类和聚类算法的性能。

在生物信息学中，信息论可以用来分析和比较DNA和蛋白质序列的相似性和进化关系。

在金融和经济学中，信息论可以用来研究市场信息的传播和价格波动的原因。

总之，这本名为《信息论基础与应用》的PDF文档是一本介绍信息论基本概念和应用的重要参考资料。

通过学习和理解其中的内容，读者可以深入了解信息论的原理和方法，并将其应用于实际问题的解决中。

无论是从事通信工程、计算机科学还是数据科学的专业人士，都可以从这本PDF文档中获得丰富的知识和启发。

信息论基础及其应用信息论，是关于信息量度、编码与传输的学科。

它的发展始于20世纪40年代，是通过信息熵和信息传输能力，对信息量度进行发掘和分析的一门学科。

在数字化和互联网时代，信息论的应用逐渐普及，例如数据压缩、信号处理、密码学、通讯技术等领域。

信息熵信息熵是信息论的核心概念之一。

熵通常被解释为度量一个系统内部状态的混乱程度，它同样适用于信息领域中。

信息熵可以看作是随机变量不确定性的度量，以信息比特（bit）为单位衡量不确定性的程度。

可以用熵来衡量一个银行账户的密码的强度，或一部手机的存储器大小的单位比特（bit）或兆比特（Mbit）。

熵越高，不确定性就越大。

信息传输在信息传输中，常见的需要考虑的问题有信道容量、错误控制和编码。

其中信道容量是衡量一个信道能够传输的最大信息速率，与噪声和信号品质有关。

例如，一个内存条可在秒级时间传输大量数据，而手机信道的容量相对较小，这是因为受到各种干扰的影响，例如人体障碍或高楼建筑等。

在错误控制方面，主要有纠错码和检错码。

为了确保信息传输的正确性，作为数据传输的一部分时，数据会被着一个表，以检查数据是否损坏，如果发现数据受损，则自动进入误差处理机制重新传输相关数据。

编码编码是在通信中将原始信息转化为一种能够通过信道或媒介传递的形式，且在传递过程中具有一定的容错能力的方法。

语音信号、图像、视频和数据等等都需要进行编码，在每个领域中有专门的编码规范和方法。

在这个过程中需要注意信息的压缩，以减少数据量，提高传输效率。

应用信息论和它的应用在现代科技中处于核心地位。

互联网和数字化时代给信息论的应用带来了巨大的发展，例如数据压缩，它被应用在各种媒介设备中，包括数码相机、数码化音频设备、移动设备和计算机等。

另一个例子是信号处理。

通过对信号进行分析，现代计算机、通讯设备和存储设备的速度和效能得到了大大的提高。

在通讯技术领域，高速模数转换技术（ADC）总是与光纤、卫星和无线通信网络相联系。

第二章信源与信息熵主要内容：（1）信源的描述与分类；（2）离散信源熵和互信息；（3）离散序列信源的熵；（4）连续信源的熵和互信息；（5）冗余度。

重点：离散/连续信源熵和互信息。

难点：离散序列有记忆信源熵。

说明：本章内容主要针对信源，但是很多基本概念却是整个信息论的基础，所以安排了较多课时。

由于求熵涉及一些概率论的基础知识，考虑到大四的同学可能对这部分知识已经遗忘，故适当复习部分概率论知识。

较难的 2.1.2节马尔可夫信源部分放置在本章最后讲，便于同学理解。

本章概念和定理较多，比较抽象，课堂教学时考虑多讲述一些例题，通过例题来巩固概念和消化定理。

作业：2．1—2．7，2．10，2．12。

课时分配：10课时。

板书及讲解要点：在信息论中，信源是发出消息的源，信源输出以符号形式出现的具体消息。

如果符号是确定的而且预先是知道的，那么该消息就无信息而言。

只有当符号的出现是随机的，预先无法确定，一旦出现某个符合就给观察者提供了信息。

因此应该用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息，这就是香农信息论的基本点。

2．1 信源的描述与分类在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度——概率空间来描述信源。

信源：产生随机变量、随机序列和随机过程的源。

信源的基本特性：具有随机不确定性。

信源的分类连续信源：话音、图像——随机过程离散信源：输出在时间和幅度上都是离散分布的消息。

1213消息数是有限的或可数的，且每次只输出其中一个消息，即两两不相容。

发出单个符号的无记忆信源离散无记忆信源： 发出符号序列的无记忆信源离散信源离散有记忆信源： 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源概率论基础：无条件概率，条件概率和联合概率的性质和关系： （1） 非负性0()()(/)(/)()1i j j i i j i j p x p y p y x p x y p x y ≤≤，，，， （2） 完备性111111()1,()1,(/)1,(/)1,()1nmnijiji j i mm nji i j j j i p x p y p x y p yx p x y ===========∑∑∑∑∑∑11()(),()()n mijjijii j p x y p y p x y p x ====∑∑（3） 联合概率()()(/)()(/)()()()(/)()(/)()i j i j i j i j i j i j j i j i j i p x y p x p y x p y p x y X Y p x y p x p y p y x p y p x y p x =====当与相互独立时，，（4） 贝叶斯公式11()()(/)(/)()()i j i j i j j i nmijiji j p x y p x y p x y p y x p x y p x y ====∑∑，2.1.1 无记忆信源：例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。