信息论

信息论

信息是什么,什么是信息论，信息论起源什么，为什么要发展信息论。

信息就本体论意义而言，信息是事物现象及其属性标识的集合;信息就是信息，信息是物质、能量、信息及其属性的标示----Wiener信息定义的逆.信息特性是标志事物存在及其关系的属性。但这样的描述难以将信息定量化，因此申农是从就认识论意义而言定义信息的，即信息是认识主体接收到的、可以消除对事物认识不确定性的新内容和新知识。信息是确定性的增加----逆仙农（Shannon）信息定义。根据这一点给出了信息量的数学形式。

信息特征

信息一般具有如下一些特征：

1、可识别；

2、可转换；

3、可传递；

4、可加工处理；

5、可多次利用（无损耗性）；

6、在流通中扩充；

7、主客体二重性。信息是物质相互作用的一种属性，涉及主客体双方；信息表征信源客体存在方式和运动状态的特性，所以它具有客体性，绝对性；但接收者所获得的信息量和价值的大小，与信宿主体的背景有关表现了信息的主体性和相对性。

8、信息的能动性。

9、可共享性。这是信息与物质和能量的主要区别。

信息的产生、存在和流通，依赖于物质和能量，没有物质和能量就没有能动作用。信息可以控制和支配物质与能量的流动

信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。

信息论发展的三个阶段

第一阶段：1948年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。

第二阶段：20世纪50年代，信息论向各门学科发起冲击；60年代信息论进入一个消化、理解的时期，在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。

第三阶段：到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。

信息科学和技术在当代迅猛兴起有其逻辑必然和历史必然。信息是信息科学的研究对象。信息的概念可以在两个层次上定义：

本体论意义的信息是事物运动的状态和状态变化的方式，即事物内部结构和外部

联系的状态和方式。

认识论意义的信息是认识主体所感知、表达的相应事物的运动状态及其变化方式，包括状态及其变化方式的形式、含义和效用。

这里所说的“事物”泛指一切可能的研究对象，包括外部世界的物质客体，也包括主观世界的精神现象；“运动”泛指一切意义上的变化，包括思维运动和社会运动；“运动状态”指事物运动在空间所展示的性状和态势；“运动方式”是事物运动在时间上表现的过程和规律性。显然，本体论层次的信息具备客观性。认识论层次的信息与认识主体有关，并要求从事物运动状态和变化方式的外在形式（语法信息）、内在含义（语义信息）和效用价值（语用信息）三方面（全信息）来理解所感知到的东西、认识论层次的信息具有主观性。

信息论的研究范围极为广阔，一般把信息论分成三种不同类型：

(1)：狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。

(2)：一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。

(3)：广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。

信息论被广泛应用于：编码学、密码学与密码分析学、数据传输、数据压缩、检测理论、估计理论等学科领域。

信息论的意义和应用范围已超出通信的领域。自然界和社会中有许多现象和问题，如生物神经的感知系统、遗传信息的传递等，均与信息论中研究的信息传输和信息处理系统相类似。因此信息论的思想对许多学科如物理学、生物学、遗传学、控制论、计算机科学、数理统计学、语言学、心理学、教育学、经济管理、保密学研究等都有一定的影响和作用。另一方面，由于借助负熵定义的信息量只能反映符号出现的概率分布（不肯定性），不能反映信息的语义和语用层次。一篇重要的报告和一篇胡说乱道的文章可以具有同样的信息，这显然不符合常识。因此现阶段信息论的应用又有很大的局限性。把信息的度量推广到适合于语义信息和语用信息的情况，曾经做过许多尝试。但至今还没有显著的进展。

信息论的发展日新月异，从1978年第一代模拟蜂窝通信系统诞生至今，不过20多年的时间，就已经过三代的演变，成为拥有10亿多用户的全球电信业最活跃、最具发展潜力的业务。尤其是近几年来，随着第三代移动通信系统（3G）的渐行渐近，以及各国政府、运营商和制造商等各方面为之而投入的大量人力物力，移动通信又一次地在电信业乃至全社会掀起了滚滚热潮。新一代移动通信网的到来必是大势所趋。特别是数字移动通信系统出现后，促进了各种数字信号处理技术如多址技术、调制技术、纠错编码、分集技术、智能天线、软件无线电等的发展。因此，人们对新的通信技术的研究的热情始终未减

信息论基础各章参考答案

各章参考答案 2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特 2．2． 1.42比特 2．3． （1）225.6比特 ；（2）13.2比特 2．4． （1）24.07比特； （2）31.02比特 2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。因为3log3=log27>log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。 （2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时, 第三步用一个真币与其中一个称重比较即可。 对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴 别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息. 2．6． （1）215 log ＝15比特； （2） 1比特；（3）15个问题 2． 7. 证明： （略） 2．8． 证明： （略） 2．9． 31)(11= b a p ，121 )(21=b a p ， 121 )(31= b a p ， 61)()(1312= =b a b a p p ， 241)()()()(33233222= ===b a b a b a b a p p p p 。 2．10． 证明： （略） 2．11. 证明： （略）

信息论试题1

《信息论基础》答案 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X，其概率分布为 123 x x x X 111 P 244 ?? ?? ? = ?? ? ?? ?? ，其信源剩余度为94.64%；若 对该信源进行十次扩展，则每十个符号的平均信息量是15bit。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是2Flog （b-a）bit/s. 5.若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵 的最大值为1 log32e 2 π；与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r(S)）。 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。 （2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论与编码在处理网络问题中的应用报告

信息论与编码在处理网络问题中的应用 摘要 随着计算机技术、通信技术和网络技术等信息技术的快速发展，信息技术已经成为当今社会应用范围最广的高新技术之一。信息论是信息技术的主要理论技术基础之一，它的一些基本理论在通信、计算机、网络等工程领域中得到了广泛的应用。其中信息论与编码与网络结合的更为紧密，在网络方面得到了广泛的应用。本文主要从这个方面作为切入点，介绍了信息论与编码在网络编码、基于网络编码的路由选择、在网络安全方面的放窃听的网络编码，还有就是在网络数据挖掘这方面的应用。 1.引言 人类社会的生存和发展无时不刻都离不开信息的获取、传递、再生、控制和利用。信息论正式一门把信息作为研究对象的科学，以揭示信息的本质特性和规律为基础，应用概率论。随机过程和树立统计等方法来研究信息的存储、传输、处理、控制和利用。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。许多科学技术问题（如无线电通讯、电视、遥测、图像和声音识别等）都必须以信息论为理论指导才能很好地解决。信息论的研究对象又可以是广义的信息传输和信息处理系统。从最普通的电报、电话、传真、电视、雷达、声纳,一直到各类生物神经的感知系统,以及大到人类社会系统,可以用同一的信息论观点加以阐述,?都可以概括成某种随机过程或统计学的数学模型加以深入研究。 2.概述 2.1信息与信息论 1948年6月和10月香农在贝尔实验室出版的著名的《贝尔系统技术》杂志上发表了两篇有关《通信的数学理论》的文章。在这两篇文章中，他用概率测度和数理统计的方法系统的讨论了通信得基本问题，首先严格定义了信息的度量—

—熵的概念，又定义了信道容量的概念，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。 Shannon理论的核心是：揭示了在通信系统中采用适当的编码后能够实现高效率和高可靠地传输信息，并得出了信源编码定理和信道编码定理。从数学观点看，这些定理是最优编码的存在定理。但从工程观点看，这些定理不是结构性的，不能从定理的结果直接得出实现最优编码的具体途径。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为人们寻找出最佳通信系统提供了重要的理论依据。 而其理论到目前主要经历了以下几个方面的发展：Shannon信息理论的数学严格化、无失真信源编码定力和技术的发展、信道纠错编码的发展、限失真信源编码的提出和发展、多用户、网络信息论的发展、信息保密与安全理论的提出与发展，从此以后，纠错码和密码学相结合的研究迅速发展起来。 2.2网络与信息论 网络信息论的发展前期是多用户信息论，在20世纪70、80年代有很大的发展，当时的多用户信息论已具有网络结构的特征，其中的信源与信道模型已具有多数人多输出的结构，对信道还有并联与串联的结构等模型，多用户信息论就是解决这些模型的编码问题，一时成为信息论研究的热点问题。到20世纪90年代，由于网络通信的兴起，网络模型远比多用户模型复杂，网络中的通信、数据压缩、资源共享与安全管理将是信息论发展的重要领域。 2.3网络编码 2000 年Ahlswede 等人首次提出了网络编码理论, 通过网络编码可以实现网络流量的最大化.2003年, Li , Yeung 和Cai证明了线性网络编码就可以实现网络的最大流.随后T .Ho 等人提出了随机网络编码理论, 其思想是在网络中参与传输的节点, 其输出信道上传输的数据是该点多条输入信道上传输的数据的随机线性组合, 他们并且证明了接收节点能以很大的概率正确恢复出信源所发送的信息. 传统的通信网络传送数据的方式是存储转发，即除了数据的发送节点和接收节点以外的节点只负责路由，而不对数据内容做任何处理，中间节点扮演着转发

信息论基础论文

信息论基础发展史 信息论（information theory）是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。是专门研究信息的有效处理和可靠传输的一般规律的科学，是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。 信息论从诞生到今天，已有五十多年历史，是在20世纪40年代后期从长期通讯实践中总结出来的，现已成为一门独立的理论科学，回顾它的发展历史，我们可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。它是在长期的通信工程实践和理论研究的基础上发展起来的。 通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。电的通信系统(电信系统)已有100多年的历史了。在一百余年的发展过程中，一个很有意义的历史事实是：当物理学中的电磁理论以及后来的电子学理论一旦有某些进展，很快就会促进电信系统的创造发明或改进。 当法拉第(M．Faraday)于1820年--1830年期间发现电磁感应的基本规律后，不久莫尔斯(F．B．Morse)就建立起电报系统(1832—1835)。1876年，贝尔(A．G．BELL)又发明了电话系统。1864年麦克斯韦(Maxell)预言了电磁波的存在，1888年赫兹(H．Hertz)用实验证明了这一预言。接着1895年英国的马可尼(G.Marconi)和俄国的波波夫(A．C．ΠoΠoB)就发明了无线电通信。本世纪初(1907年)，根据电子运动的规律，福雷斯特(1，Forest)发明了能把电磁波

信息论考题及答案

一、（25分）如果X 和Y 相互独立，证明X 和Y 的熵满足可加性，即 H(Y)H(X)Y)H(X,+= 证明：设P(x,y)=P(x)P(y),则有 1 H(X,Y)()()log P()()11()()log ()()log ()()11()log ()log ()() ()() xy xy xy x y P x P y x P y P x P y P x P y P x P y P x P y P x P y H X H Y ==+=+=+∑∑∑∑∑ 二、（50分）联合总体X ，Y 具有如下联合分布。 X Y 分别计算 (1) 联合熵H(X,Y)是多少？ (2)边缘熵H(X)和H(Y)是多少? (3)对于每一个y 值，条件熵H(X ︱y)是多少？ (4)条件熵H(X ︱Y)是多少？ (5)X 和Y 之间的互信息是多少？ 解答：(1) H(X,Y)=3.375 (2) H(X)=2, H(Y)=1.75 (3) H(X|y=1)=2,H(X|y=1)=1.875,H(X|y=1)=1.875, H(X|y=4)=0.5 (4)H(X|Y)=1.1264 (5)I(X;Y)=H(X)-H(X|Y)=2-1.1264=0.8736 三、（25分）考虑一个差错概率为f=0.15的二进制对称信道。输入总体为x Ω:{0P =0.9，1p =0.1}，假设观察到y=1，请计算(1|1)P x y ==？ 解： (1|1)P x y === (1|1)(1) (1|)() x P y x P x P y x P x ===∑= = 9.015.01.085.01 .085.0?+?? =22 .0085 .0=0.39

信息论复习知识点汇总

1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。

按照信息的地位，可以把信息分成 客观信息和主观信息 。 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 信息的 可度量性 是建立信息论的基础。 统计度量 是信息度量最常用的方法。 熵 是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生 概率的对数 来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H Λ。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。 21、平均功率为P 的高斯分布的连续信源，其信源熵，Hc （X ）=eP π2log 21 2。 22、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具

信息论基础及答案

《信息论基础》试卷第1页 《信息论基础》试卷答案 一、填空题（共25分，每空1分） 1、连续信源的绝对熵为 无穷大。（或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2 2 x - )时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r )，此 时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)

信息论应用调研报告

信息论基础调研报告 一.信息论的起源： 信息论理论基础的建立，一般来说开始于1948年美国数学家香农在《贝尔系统电话杂志》发表题为“通信的数学理论”的长篇论文。这篇论文以概率论为工具，深刻阐释了通信工程的一系列基本理论问题，给出了计算信源信息量和信道容量的方法和一般公式，得出了一组表征信息传递重要关系的编码定理，从而创立了信息论。 信息论自诞生到现在不过60多年，在人类科学史上是相当短暂的。但它的发展对学术界以及人类社会的影响是相当广泛和深刻的。信息作为一种资源，如何开发、利用、共享，是人们普遍关心的问题。 信息论是研究信息的传输、存储和处理的学科，亦称“信息论”为“通信的数学理论”。它主要研究在通信系统设计中如何实现信息传输的有效性和可靠性。 因此，信息论与通信技术、统计数学信号处理等密切相关。 二.信息技术的发展： 现代信息论其实是从上世纪二十年代奈奎斯特和哈特莱的研究开始的，他们最早开始研究了通信系统传输信息的能力，并且试图度量系统的信道容量。 香农于1940年在普林斯顿高级研究所期间开始思考信息论与有效通信系统的问题。经过8年的努力，1948年，来自贝尔研究所的Claude Shannon（克劳德·香农）的《通信的数学理论》论文公诸于世，从此宣告了崭新的一门关于信息发面的学科──信息论的诞生。1949年，香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中，香农阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。这两篇论文一起阐述了现代信息论的基础。并且香农开始创造性的定义了“信息”。 信息论自从二十世纪四十年代中叶到二十一世纪初期，现已成为一门独立的理论科学，他给出一切传输、存储、处理信息系统的一般理论，并指出，实现有效、可靠地传输和存储信息的途径是走数字化的道路。这是通信技术领域数字化革命的数学或理论基础。1946年的计算机和1947年晶体管的诞生和相应技术的发展，是这一革命的物理或物质基础。信息论是在长期的通信工程实践和理论研究的基础上发展起来的。 20世纪50年代，包括香农在内的一些科学家做了大量的工作，发表了许多重要文章，将香农的科学论断进一步推广，同时信道编码理论有了较大的发展。20世纪60年代，信道编码技术已经成为信息论的又一重要分支。它把代数方法引入到纠错码的研究，使分组码技术达到了高峰，找到了可纠正多个错误的码，并提出了可实现的译码方法。其次是卷积码和概率译码有了重大突破，提出了序列译码和维特比译码方法。 1961年，香农的重要论文“双路通信信道”开拓了多用户信息理论的研究。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何

信息论试卷题目及标准答案

信息论试卷题目及答案

————————————————————————————————作者：————————————————————————————————日期： 2

中国海洋大学2008—2009学年第一学期 一、填空题（每空2分，共20分） 1、1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 2、信源编码的目的是提高通信的有效性。信道编码的最终目的是提高信号传输的可靠性。 3、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。 4、对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是香农编码。 5、信道输入与输出间的平均互信息是信道转移概率的 下凸 函数，是输入概率的 上凸 函数。 6、信道矩阵??????10002/12/1代表的信道的信道容量C=符号/1bit ，达到信道容量的条件是输入符号等概分布。 7、 设某二进制码｛00011，10110，01101，11000，10010，10001｝，则码的最小距离是2 ，假设码字等概分布，则该码的码率为 0.517比特/符号 ，这时若通过二元对称信道接收码字为01100和00110时，应译为01101 ， 10110 。。 二、判断题（每题2分，共10分） 1、必然事件和不可能事件的自信息量都是0 。（错） 2、最大后验概率准则与最大似然准则是等价的。（错） 3、如果信息传输速率大于信道容量，就不存在使传输差错率任意小的信道编码。（对） 4、连续信源和离散信源的熵都具有非负性。（错） 5、相同功率的噪声中，高斯噪声使信道容量最小。（对） 三、简答题（第1、2题各6分，第三题10分，共22分） 1、简述最大离散熵定理。对于一个有m 个符号的离散信源，其最大熵是什么？ 答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 (3分) 最大熵值为 m H 2max log = (3分) 2、对于任意概率事件集X 、Y 、Z ，证明下述三角不等式成立()()()Z X H Z Y H Y X H ≥+ 证：因为)|()|(Y X H YZ X H ≤ ，(3分) 所以： ) |()|()|() |,() |()|()|()|(Z Y H XZ Y H Z Y H Z Y X I YZ X H Z X H Y X H Z X H ≤-==-≤-(3分)

信息论基础理论与应用考试题及答案

信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。

信息论基础总结

?? ? ???=??????)()()()(2 211 I I x q x x q x x q x X q X Λ Λ∑==I i i x q 1 1 )(?? ? ???=??????)()()()(2211 m q q q q x x x x x x X X m ΛΛ∏ =N i i x q 1 )(第1章 信息论基础 信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。 消息是能被人们感觉器官感知的客观物质和主观思维的运动状态或存在状态。 通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。 信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。 狭义信息论 信息论研究的范畴： 实用信息论 广义信息论 信息传输系统 信息传输系统的五个组成部分及功能： 1. 信源 信源是产生消息的源。 2. 编码器 编码器是将消息变换成适合于信道传送的信号的设备。 编码器分为信源编码器和信道编码器两种。 3. 信道 信道是信息传输和存储的媒介，如光纤、电缆、无线电波等。 4. 译码器 译码器是编码器的逆变换，分为信道译码器和信源译码器。 5. 信宿 信宿是消息的接收者，可以是人，也可以是机器。 离散信源及其数学模型 离散信源—消息集X 为离散集合，即时间和空间均离散的信源。 连续信源—时间离散而空间连续的信源。波形信源—时间和空间均连续的信源。 无记忆信源—X 的各时刻取值相互独立。有记忆信源—X 的各时刻取值互相有关联。 离散无记忆信源的数学模型—离散型的概率空间： x i ∈{a 1,a 2,…,a k } 1≤i ≤I 0≤q(x i )≤1 离散无记忆N 维扩展信源的数学模型： x ＝x 1x 2…x N x i ∈{a 1,a 2,…,a k } 1≤i ≤N q (x )＝q (x 1x 2 … x N )＝ 离散信道及其数学模型 离散信道—信道的输入和输出都是时间上离散、取值离散的随机序列。离散信道有时也称为数字信道。 连续信道—信道的输入和输出都是时间上离散、取值连续的随机序列，又称为模拟信道。 半连续信道—输入序列和输出序列一个是离散的，而另一个是连续的。 波形信道—信道的输入和输出都是时间上连续，并且取值也连续的随机信号。 无记忆信道—信道的输出y 只与当前时刻的输入x 有关。 有记忆信道—信道的输出y 不仅与当前时刻的输入x 有关，还与以前的输入有统计关系。

信息论考试题

2009-2010学年第二学期末考试试题 信息论与编码理论 一、（共10分） 简述最大熵原理与最小鉴别信息原理,并说明两者之间的关系。 二、（共12分） 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 1) 求符号的平均熵； 2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式； 3) 计算2)中序列的熵。

三、（共12分） 一阶马尔可夫信源的状态图如下图所示。信源X 的符号集为{0, 1, 2}。 1) 求平稳后信源的概率分布； 2) 求)(X H ； 3) 求上述一阶马尔可夫信源的冗余度。 P P

四、（共10分） 设离散型随机变量XYZ 的联合概率满足xyz ?)()()()(y z p x y p x p xyz p =。 求证：);();(Z Y X I Y X I ≥ 五、（共12分） 设有一离散无记忆信道，输入信号为321,,x x x ，输出为321,,y y y ，其信道转移矩阵为???? ??????=214141412141414121Q ，61)(,32)(21==x P x P 。 试分别按理想译码准则与最大似然译码准则确定译码规则，并计算相应的平均译码差错概率。

六、（共14分） 设有一离散信道，输入X ，输出Y ，其信道转移矩阵为?? ????7.01.02.02.01.07.0， 求：1）信道的信道容量及达到信道容量时的输入分布？ 2）当输入X 分布为7.0)(1=x P 3.0)(2=x P 时，求平均互信息);(Y X I 及信道疑义度)(X Y H 。

信息论概念复习1

信息论概念复习题 一、填空 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 信息的 可度量性 是建立信息论的基础。 统计度量 是信息度量最常用的方法。 熵 是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生 概率的对数 来描述的。 7、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 8、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 9、自信息量的单位一般有 比特、奈特和哈特 。 10、必然事件的自信息是 0 。 11、不可能事件的自信息量是 ∞ 。 12、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 13、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 14、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 15、离散平稳有记忆信源的极限熵， =∞H ) /(lim 1 21-∞→N N N X X X X H 。 16、对于n 元m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 17、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。 18、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续 信道。 19、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 无记忆 信道。 20、具有一一对应关系的无噪信道的信道容量C= log2n 。 21、对称信道的信道容量C= log2m-Hmi 。 22、对于离散无记忆信道和信源的N 次扩展，其信道容量CN= NC 。 24、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是 信息率小于信道容量 。 25、信息率失真理论是量化、数模转换、频带压缩和 数据压缩 的理论基础。 26、求解率失真函数的问题，即：在给定失真度的情况下，求信息率的 极小值 。 27、单符号的失真度或失真函数d （xi ，yj ）表示信源发出一个符号xi ，信宿再现yj 所引起的 误差或失真 。 28、汉明失真函数 d （xi ，yj ）=? ??≠=j i j i 1 0 。 29、如果规定平均失真度D 不能超过某一限定的值D ，即：D D ≤。我们把D D ≤称为 保真度准则 。 30 、 试验信道的集合用PD 来表示，则PD= {}m j n i D D x y p i j ,,2,1,,,2,1;:)/( ==≤ 。

信息论的应用

学号：201122010835 姓名：李毅 信息论在图像处理中的应用 摘要：把信息论的基本原理应用到图像处理中具有十分重要的价值。本文主要从评估图像捕捉部分性能的评估、图像分割算法这两个个方面阐述信息论在图像处理中的应用。 通过理论分析来说明使用信息论的基本理论对图像处理的价值。 关键字：信息论；图像捕捉；图像分割 第1章 引言 随着科学技术的不断发展，人们对图形图像认识越来越广泛，图形图像处理的应用领域也将随之不断扩大。为了寻找快速有效的图像处理方法，信息理论越来越多地渗透到图像处理技术中。文章介绍了信息论基本理论在图像处理中的应用，并通过理论分析说明其价值。把通信系统的基本理论信息论应用于采样成像系统，对系统作端到端的系统性能评价，从而优化采样成像系统的设计，是当前采样成像系统研究的分支之一。有些图像很繁杂，而我们只需要其中有意义的一部分，图像分割就是将图像分为一些有意义的区域，然后对这些区域进行描述，就相当于提取出某些目标区域图像的特征，随后判断这些图像中是否有感兴趣的目标。 第2章 图像捕捉部分性能评估 2.1 图像捕捉的数学模型 图像捕捉过程如图1所示。G 为系统的稳态增益，),(y x p 是图像捕捉设备的空间响应函数，),(y x n p 是光电探索的噪声。),(y x comb 代表采样网格函数，),(),,(y x s y x o 分别为输入、输出信号。 在这种模型下的输出信号 ),(),()],(),([),(y x n y x comb y x p y x Go y x s p +*= 其中，∑--= n m n y m x y x comb ,),(),(δ，代表在直角坐标系下，具有单位采样间隔的采样设备的采样函数。

信息论与编码试题集与答案(新)

1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （√ ） 2. 线性码一定包含全零码。 （√ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （√ ） 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 （√ ） 8. 信道容量是信道中能够传输的最小信息量。 （×） 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方 法叫做最佳译码。 （√ ）

信息论考试卷及答案分析

考试科目名称：信息论 一. 单选（每空2分，共20分） 1.信道编码的目的是（C ），加密编码的目的是（D ）。 A．保证无失真传输 B．压缩信源的冗余度，提高通信有效性 C．提高信息传输的可靠性 D．提高通信系统的安全性 2.下列各量不一定为正值的是（D ） A．信源熵 B．自信息量 C．信宿熵 D．互信息量 3.下列各图所示信道是有噪无损信道的是（B ） A． B．

C． D． 4.下表中符合等长编码的是（ A ）

5.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确 的是（A ） A．H（XY）＝H（X）＋H（Y／X） B．H（XY）＝H（X）＋H（X／Y） C．H（XY）＝H（Y）＋H（X） D．若X和Y相互独立，H（Y）=H（YX） 6.一个n位的二进制数，该数的每一位可从等概率出现的二进制码元（0， 1）中任取一个，这个n位的二进制数的自信息量为（C ） A．n2 B．1 bit C．n bit n D．2 7.已知发送26个英文字母和空格，其最大信源熵为H0 = log27 = 4.76比 特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号； 考虑字母之间相关性时，其信源熵为H2 = 3.32比特/符号；以此类推， 极限熵H =1.5比特/符号。问若用一般传送方式，冗余度为（ B ）∞ A．0.32 B．0.68

C ．0.63 D ．0.37 8. 某对称离散信道的信道矩阵为 ，信道容量为（ B ） A ． )6 1 ,61,31,31(24log H C -= B ． )61 ,61,31,31(4log H C -= C ． )61 ,61,31,31(2log H C -= D ． )6 1 ,31(2log H C -= 9. 下面不属于最佳变长编码的是（ D ） A ．香农编码和哈夫曼编码 B ．费诺编码和哈夫曼编码 C ．费诺编码和香农编码 D ．算术编码和游程编码 二. 综合（共80分） 1. （10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。 （1分）将信源消息分成若干组，即符号序列xi ， xi ＝(xi1xi2…xil …xiL)， { 非分组码 分组码 { 奇异码 非奇异码 { 非唯一可译码 唯一可译码 { 非即时码 即时码（非延长码） 码 （5分）

信息论基础答案2

《信息论基础》答案 一、填空题（共15分，每空1分） 1、若一连续消息通过某放大器，该放大器输出的最大瞬时电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是 无穷大 ；其能在每个自由度熵的最大熵是 ()log b-a 。 2、高斯白噪声信道是指 信道噪声服从正态分布，且功率谱为常数 。 3、若连续信源的平均功率为5 W ，则最大熵为12log10π ? e ，达到最大值的条件是 高斯信道 。 4、离散信源存在剩余度的原因是 信源有记忆（或输出符号之间存在相关性） 和 不等概 。 5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 6、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高编码效率。 7、八进制信源的最小熵为 0 ，最大熵为 3 bit 。 8、一个事件发生概率为，则自信息量为 3 bit 。 9、在下面空格中选择填入数字符号“,,,=≥≤>”或“<” ()H XY = ()()+H Y H X Y ≤ ()()+H Y H X 二、判断题（正确打√，错误打×）（共5分，每小题1分） 1) 离散无记忆等概信源的剩余度为0。 （ √ ） 2) 离散无记忆信源N 次扩展源的熵是原信息熵的N 倍 （ √ ） 3) 互信息可正、可负、可为零。 （ √ ） 4) 信源的真正功率P 永远不会大于熵功率P ，即P P ≤ （ × ） 5) 信道容量与信源输出符号的概率分布有关。 （ × ） 三、（5分）已知信源的概率密度函数()p x 如下图所示，求信源的相对熵

信息论与编码试卷及答案(多篇)

一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？ 答：平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ 答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 最大熵值为。 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？ 答：信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 答：通信系统模型如下：

数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有， 。说明经数据处理后，一般只会增加信息的损失。 5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。 .答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。 由得，则 6.解释无失真变长信源编码定理。 .答：只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。 答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？ 答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。 二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求：

信息论基础1答案

信息论基础1答案

《信息论基础》答案 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X ，其概率分布为 123x x x X 111P 2 44?? ?? ?=?? ??? ?? ， 其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit 。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是 ∞ ；其能在每个自由度熵的最大熵是log （b-a ） bit/自由度；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 2Flog （b-a ）bit/s. 5. 若某一 信源X ，其平均功率受限为

16w，其概率密度函数是高斯分布时，差熵的 最大值为1log32e π；与其熵相等的非高斯分布信2 源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限 (S)）。 制为信源熵（或H(S)/logr= H r 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。 （2）假设信道输入用X表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论与编码试题集与答案

一填空题（本题20分，每小题2分） 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 按照信息的地位，可以把信息分成客观信息和主观信息。 人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 信息的可度量性是建立信息论的基础。 统计度量是信息度量最常用的方法。 熵是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是∞。 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 18、离散平稳有记忆信源的极限熵，。 19、对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X在[a，b]区间内均匀分布时，其信源熵为 log2（b-a）。