目录
第一章绪论 (1)
1.1信息的概念 (1)
1.2通信系统的模型 (3)
1.3信息论的产生、发展及研究的中心问题 (4)
第二章信源及信息的度量 (8)
2.1 离散信源及数学模型 (8)
2.2 连续信源及数学模型 (10)
2.3信息的度量 (10)
2.4离散信源的平均自信息量——熵 (15)
2.5信息熵的性质 (17)
2.6离散信源的互信息及平均互信息 (22)
2.7平均互信息量的性质 (27)
2.8信息处理定理 (28)
2.9 连续信源的信息度量 (30)
第三章离散信源无失真编码 (43)
3.1等长编码 (43)
3.2变长编码 (50)
3.3最佳变长编码 (56)
3.4其他变长编码方法 (59)
第四章信道及信道容量 (67)
4.1 信道的分类 (67)
4.2离散无记忆信道及容量 (68)
4.3 离散无记忆信道DMC容量的计算 (71)
4.4 N阶扩展信道容量 (78)
4.5 信道的组合 (80)
I
4.6 时间离散的无记忆连续信道 (87)
4.7 波形信道 (94)
4.8信源与信道的匹配 (98)
第五章限失真信源编码理论 (102)
5.1 失真测度 (102)
5.2 信息率失真函数 (105)
5.3离散信源的率失真函数 (107)
5.4率失真函数的参量算法 (108)
5.5率失真函数R(D)的迭代算法 (113)
5.6 连续信源的率失真函数 (115)
5.7限失真编码定理 (117)
5.8 R（D）函数与信息价值 (120)
第六章网络信息论 (127)
6.1网络通信信道分类 (127)
6.2相关信源编码 (130)
6.3多址接入信道 (134)
II
第一章绪论
信息论是人们在长期通信工程的实践中，由通信技术与概率论、随机过程和数理统计相结合而逐渐发展起来的一门新兴科学。随着信息理论的迅猛发展和信息概念的不断深化，他在科学技术上的重要性早已超出了狭义的通信工程的范畴，在许多领域日益受到科学工作者的重视。
本章首先引出信息的概念，然后介绍了信息、消息、信号三者的关系，进而讨论信息论这一学科的产生和发展，并阐述本学科研究的中心问题。
1.1信息的概念
1.1.1 信息的定义、特征和性质
信息是信息论中的一个术语，常常把消息中有意义的内容称为信息。1948年，美国数学家、信息论的创始人仙农在题为“通讯的数学理论”的论文中指出：“信息是用来消除随机不定性的东西”。1948年，美国著名数学家、控制论的创始人维纳在《控制论》一书中，指出：“信息就是信息，既非物质，也非能量。
信息是客观事物状态和运动特征的一种普遍形式，客观世界中大量地存在、产生和传递着以这些方式表示出来的各种各样的信息。
信息是有价值的，就像不能没有空气和水一样，人类也离不开信息。因此人们常说，物质、能量和信息是构成世界的三大要素。所以说，信息的传播是极具重要与有效的。
信息是事物的运动状态和过程以及关于这种状态和过程的知识。它的作用在于消除观察者在相应认识上的不确定性，它的数值则以消除不确定性的大小，或等效地以新增知识的多少来度量。虽然有着各式各样的传播活动，但所有的社会传播活动的内容从本质上说都是信息。
信息相关资料：图片信息（又称作讯息），又称资讯，是一种消息，通常以文字或声音、图像的形式来表现，是数据按有意义的关联排列的结果。信息由意义和符号组成。文献是信息的一种，即通常讲到的文献信息。信息就是指以声音、语言、文字、图像、动画、气味等方式所表示的实际内容。
在最一般的意义上，亦即没有任何约束条件，我们可以将信息定义为事物存在的方式和运动状态的表现形式。这里的“事物”泛指存在于人类社会、思维活动和自然界中一切可能的对象。“存在方式”指事物的内部结构和外部联系。“运动状态”则是指事物在时间和空间上变化所展示的特征、态势和规律。
主体所感知或表述的事物存在的方式和运动状态。主体所感知的是外部世界向主体输入的信息，主体所表述的则是主体向外部世界输出的信息。
在本体论层次上，信息的存在不以主体的存在为前提，即使根本不存在主体，信息也仍然存在。在认识论层次上则不同，没有主体，就不能认识信息，也就没有认识论层次上的信息。
信息作为客观世界存在的第三要素，具有以下特征：
1）可量度：信息可采用某种度量单位进行度量，并进行信息编码。如现代计算机使用的二进制。
2）可识别：信息可采取直观识别、比较识别和间接识别等多种方式来把握。
3）可转换：信息可以从一种形态转换为另一种形态。如自然信息可转换为语言、文字和图像等形态，也可转换为电磁波信号或计算机代码
4）可存储：信息可以存储。大脑就是一个天然信息存储器。人类发明的文字、摄影、录音、录像以及计算机存储器等都可以进行信息存储
1
5）可处理：人脑就是最佳的信息处理器。人脑的思维功能可以进行决策、设计、研究、写作、改进、发明、创造等多种信息处理活动。计算机也具有信息处理功能。
6）可传递：信息的传递是与物质和能量的传递同时进行的。语言、表情、动作、报刊、书籍、广播、电视、电话等是人类常用的信息传递方式。
7）可再生：信息经过处理后，可以其他形式再生。如自然信息经过人工处理后，可用语言或图形等方式再生成信息。输入计算机的各种数据文字等信息，可用显示、打印、绘图等方式再生成信息。
8）可压缩：信息可以进行压缩，可以用不同的信息量来描述同一事物。人们常常用尽可能少的信息量描述一件事物的主要特征。
9）可利用：信息具有一定的实效性和可利用性。
10）可共享：信息具有扩散性，因此可共享。
1.1.2信息、消息和信号的关系
消息是表达客观物质运动和主观思维活动的状态，指报道事情的概貌而不讲述详细的经过和细节，以简要的语言文字迅速传播新近事实的新闻体裁，也是最广泛、最经常采用的新闻基本体裁，如文字、语言、图像等。消息传递过程即是消除不确定性的过程：收信者存在不确定(疑问)，收信前，不知消息的内容。干扰使收信者不能判定消息的可靠性，收信者得知消息内容后，消除原先的“不确定”。
消息的结构：（一）标题（1）单行题（2）多行题；1.引题（眉题、肩题）：交代背景。2.主标题：概括主要新闻或消息。3.副标题：补充说明主标题。（二）导语：一般是对事件或事件中心的概述。（三）主体：承接导语，扣住中心，对导语所概括事实作比较具体的叙述，是导语内容的具体化。（四）背景：说明原因、条件、环境等。（五）结语：或小结，或指出事情发展方向等。消息的三个特点：真实性，实效性，传播性。
信息与消息的关系：形式上传输消息，实质上传输信息；消息具体，信息抽象；消息是表达信息的工具，信息载荷在消息中，同一信息可用不同形式的消息来载荷；消息可能包含丰富的信息，也可能包含很少的信息。
信号（也称为讯号）是运载消息的工具，是消息的载体。从广义上讲，它包含光信号、声信号和电信号等。例如，古代人利用点燃烽火台而产生的滚滚狼烟，向远方军队传递敌人入侵的消息，这属于光信号；当我们说话时，声波传递到他人的耳朵，使他人了解我们的意图，这属于声信号；遨游太空的各种无线电波、四通八达的电话网中的电流等，都可以用来向远方表达各种消息，这属电信号。把消息变换成适合信道传输的物理量，如光信号、电信号、声信号和生物信号等，人们通过对光、声、电信号进行接收，才知道对方要表达的消息。
对信号的分类方法很多，信号按数学关系、取值特征、能量功率、处理分析、所具有的时间函数特性、取值是否为实数等，可以分为确定性信号和非确定性信号（又称随机信号）、连续信号和离散信号、能量信号和功率信号、时域信号和频域信号、时限信号和频限信号、实信号和复信号等。
信息与信号的关系：信号携带着消息，它是消息的运载工具；信号是消息的表现形式，消息是信号的具体内容。
信号是消息的物理体现。在通信系统中，实际传输的是信号，但本质内容的是信息。信息包含在信号之中，信号是信息的载体。通信的结果是消除或部分消除不确定性，从而获得信息。
2
1.2通信系统的模型
通信的基本问题是在存储或通信等情况下，精确或者是近似再现信源发出的消息。在通信领域中，所需要研究的主要内容是通信中的有效性和可靠性，有的时候还要考虑信息传输的安全。通信系统的一般模型如图1.1所示
图1.1 通信系统的一般模型
1．信源
信源是产生消息的来源，可以是文字、语言、图像等；可以是连续的，也可以是离散的。信源本身十分复杂，在信息论中一般只是对信源的输出进行研究。信源输出是以消息符号形式表示具体信息，是信息的载体。尽管信源输出形式很多，但是可以对其进行分类，其表现形式要么是连续的，要么是离散的。如文字、符号、数字等符号或者符号序列，其符号的取值都是可数的，这样的消息就是离散的；对于语音、图像等在时间上连续变化的参量，符号的取值都是不可数的，这样的消息是连续的。无论信源输出的符号是连续的还是离散的，它们都一定是随机出现的，否则无论是信源的特征研究还是通信研究都没有意义。信源的研究主要是研究消息的统计特征以及信源产生的信息速率。
2．编码器
编码器是将信源发出的符号转化为适合信道传输的信号的设备，一般包括信源编码、信道编码和调制器等。编码器的模型如图1.2所示
图1.2编码器的模型
①信源编码器：主要解决有效性问题，在一定的准则下对信源输出进行变换和处理，目的是提高信息传输的效率，即通过去除信源输出符号的冗余，使信源输出的每个符号携带更多的信息量，从而降低信息传递所需要的符号数量，即减低总体数据传输速率，提高传输效率。
②信道编码器：由纠错编码器和调制器组成，目的在于充分利用信道的传输能力，并可靠的传输信息。
纠错编码器：对信源输出进行变换处理，通过增加冗余提高对信道干扰的抵抗力，从而信息传输的可靠性。由于信道中存在干扰，数据传递的过程中会出现错误，信道编码可以提供检测或者是纠正数据传输错误的能力，从而提高数据传输的可靠性。
调制器：将信道编码的输出变换为适合信道传输要求的信号。信道编码器输出的数字信号并不适合信道的传输，需要对其进行相应的信号变换和调制，然后将变换后的信号送往信道进行传输。
加密：为了提高信息传输的安全性，有时需要进行加密处理，这就需要扩展码位。加密处理同时也会降低系统传输效率，即有效性。
3
3．信道
信道是信息传输的媒质。信道将携带信息的信号从一个地方传送到另一个地方。常见的信道有明线、电缆、光纤、无线电波等。在水中，通信中可以采用声波传输，声波传输的媒质是水，所以水也是信道。随着科学技术的发展，大量的信息需要存储，存储器也是信道。
4．干扰源
通信系统中的各部分都会受到干扰，信号的类型不同，经过的信道不同，所遭受的噪声、干扰也有差异。将各种干扰等效成一个方框作用于信道。干扰源的统计特征是划分信道的重要因素，并是决定信道传输能力的决定因素。
干扰源的分类：
①加性干扰：由外界引入的随机干扰，如电磁干扰、设备内部噪声，它们与信道输入的信号统计特征无关，信道输出则是输入的干扰之和。
②乘性干扰：信号在传播过程中，由于物理条件的变化，如温度、电离层位置的随机变化引起的信号参量的随机变化，此时信道的输出是输入信号与某些随机变量相乘的结果。
信息论就是对干扰进行数学上的描述，确定它们对信号传输的影响，从而给出在无干扰的情况下，信道的传输能力。
5．译码器
译码器是编码器的逆过程，其目的是为了准确或者近似再现信源发出的消息。与编码器相对应，译码器一般是由解调器、信道译码器和信源译码器组成。其作用就是从受干扰的信号里最大限度的提取出有关信源输出消息的信息，尽可能的精确地恢复信源的输出并送给信宿。其中心问题就是研究各种可实现的解调和译码的方法。
6．信宿
信宿是信息的载体，即接收消息的人或机器，与信源处于不同地点或存在于不同时刻。它要对传送过来的信息提出可接受的条件，即提出一定的准则，发端将以此来确定对信源处理时所要保留的最小信息量。信宿的数量可以是一个，也可以是多个，取决于具体的应用需要。
1.3信息论的产生、发展及研究的中心问题
1.3.1信息论的产生、发展
信息论是本世纪40年代在现代通信技术发展的基础上诞生的，是研究信息的获取、储存、传递、计量、处理和利用等问题的一门新兴学科。本世纪30年代以前，科学技术革命和工业革命主要表现在能量方面，如新的动力机、工具机的出现。其实质是人的感觉器官和效应器官的延长，是人的体力劳动的解放。本世纪30年代以后，科学技术所发生的革命性变化，主要表现在信息方面，表现在信息的传递、储存、加工、处理等技术和通信、控制机以及人工智能的发展。其实质是人的思维器官的伸展，是人的脑力劳动的解放。
人们对于信息的认识和利用，可以追溯到古代的通讯实践。中国古代的“烽燧相望”和古罗马地中海诸城市的“悬灯为号”，可以说是传递信息的原始方式。随着社会生产的发展，科学技术的进步，人们对传递信息的要求急剧增加。到了20世纪20年代，如何提高传递信息的能力和可靠性已成为普遍重视的课题。1924年美国奈奎斯特和德国居普夫、缪勒等人发现电信号的传输速率与信道带宽度成比例关系，从而最早提出了信息问题。1928年，哈特莱发表《信息传输》，首先提出信息是包含在消息中的信息量，而代码、符号这类消息是信息的具体方式。他还提出了信息定量问题，认为可以用消息出现概率的对数来度量其中所包含的信息。4
如从S个符号中选出N个符号组成一组消息。则共有SN个可能性。其信息量为H = N logS。这一理论是现代信息理论的起源，但当时未引起人们的注意。
直到第二次世界大战期间，一些与通信技术有关的新技术陆续出现，如雷达、无线电通讯、电子计算机、脉冲技术等，为信息论的建立提供了技术基础。同时，作为信息论数学基础的概率论也得到飞速发展。在这种条件下，许多科学家从不同角度对信息论的基本理论进行了研究。1948年，美国数学家C.E.香农(被称为是“信息论之父”)出版《通信的数学理论》，1949年发表《噪声中的通信》，从而奠定了信息论的基础，创立了信息论。维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。20世纪50年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。
20世纪70年代以后，随着数学计算机的广泛应用和社会信息化的迅速发展，信息论正逐渐突破香农狭义信息论的范围，发展为一门不仅研究语法信息，而且研究语义信息和语用信息的科学。它的建立是人类认识的一个飞跃。世界上各种事物都是充满矛盾不断发展的，物质的运动主要是靠内部矛盾运动所产生的能量，而事物之间的普遍联系则靠的是信息。信息是关于事物的运动状态和规律，而信息论的产生与发展过程，就是立足于这个基本性质。信息论迅速渗透到各个不同学科领域，但还不够完善。为了适应科学技术发展的需要，迎接信息化社会的到来，一门新的科学正在迅速兴起，这就是广义信息论，或者叫做信息科学。信息科学是由信息论、控制论、计算机、人工智能和系统论等相互渗透、相互结合而形成的一门新兴综合性学科。信息科学登上现代科技舞台，与能量科学、材料科学鼎足而立，将为科学技术的发展做出贡献。
信息就是一种消息，它与通讯问题密切相关。随着计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。目前，人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。一门研究信息的产生、获取、变换、传输、存储、处理、显示、识别和利用的信息科学正在形成。
信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。信息科学在安全问题的研究中也有着重要应用。
目前信息论的两个方面的内容都取得了更大的发展。在香农信息论方面，当前值得注意的动向是信息概念的深化；多址和多用户信道（双向信道，广播信道，多元连接型信道等）理论的发展；多重相关信源理论的发展；信息率失真理论的发展及其在数据压缩和图像处理中的应用等问题。这些领域都是与20世纪80年代信息工程——空间通信、计算机网络、图像电子学等密切相关的。
在维纳信息论方面，由于光线通信即将成为现实，成像雷达以及二维图像信息处理正在迅猛发展。为此，我们对量子检测和估计理论、非参数测量和估计理论以及非线性检测与估计理论都要给予足够的重视。
1.3.2信息论研究的中心问题
由前面关于信息概念的讨论中可知：信息论研究的中心问题是为设计有效的，可靠的通信系统提供理论依据。由于消息中包含着信息，所以消息的传输系统也是信息的传输系统，简称通信系统。人们通过消息的
5
传输和处理过程来研究信息传输和处理过程中的共同规律。
信息论是运用概率论与数理统计的方法研究信息传输和信息处理系统中一般规律的新兴学科。核心问题是信息传输的有效性和可靠性以及两者间的关系。
?信息论作为一门科学理论，发端于通信工程。它主要有以下几个概念：
?狭义信息论：
–主要研究信息的测度、信道容量以及信源和信道编码理论等问题。
?一般信息论：
–主要也是研究信息传输和处理问题，除香农信息论，还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等。
?广义信息论：
–不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题。
研究一个概括性很强的通信系统，其目的就是要找到信息传输过程的共同规律。一旦总结出这种共同的规律，就可以用来指导具体通信系统的设计，使设计出来的各种通信系统具有更高的可靠性和有效性。
所谓的可靠性高，就是要使信源发出的信息经信道传输以后，尽可能的准确不失真的再现在接收端。而所谓的有效性高，就是经济效果好，即用尽可能短的时间和尽可能少的设备来传送一定数量的信息。两者的结合就能使系统达到最优化。
以后我们会知道，提高可靠性和提高有效性常常会发生矛盾，这就要统筹兼顾。例如为了兼顾有效性，有时就不一定要求绝对准确的在接收端再现原来的信息，而是允许一定的误差或一定的失真，或者说允许近似的再现原来的消息。
关于信息论研究的具体内容，是一个有争议的问题。有人认为信息论只是概率论的一个分支，这是数学家的观点。当然，这种看法有一定的根据，因为香农信息论确实为概率论开拓了一个新的分支。但如果把信息论限制在数学的范围内，这就太狭隘了。也有认为信息论只是熵的理论，这是某些物理学家的观点。
他们对熵特别感兴趣，熵的概念确实是香农信息论的基本概念之一，但信息论的全部内容要比熵广泛得多。
归纳起来，信息论的研究内容大致包括以下几个方面。
1）通信的系统理论研究
主要研究利用统计数学工具分析信息和信息传输的统计规律，其具体内容有：①信息的度量；②信息速率与熵；③信道传输能力——信道容量。
2）信源的统计特征
主要包括：①文字（如汉字）、字母（如英文）统计特征；②语音的参数分析和统计特征；③图片及活动图像（如电视）的统计特征：④其他信源的统计特征。
3）收信者接受器官的研究
主要包括：①人的听觉器官和视觉的器官的特征；②人的大脑感受和记忆能力的模拟。这些问题的研究与生物学、生理学、心理学、的研究密切相关。
4）编码理论与技术的研究
主要包括：①有效性编码：用来提高信息传输效率，主要是针对信源的统计特征进行编码，所以有时也称为信源编码；②抗干扰编码：用来提高信息传输的可靠性，主要是针对信道统计特征进行编码，所以有时候也称为信道编码。
5）提高信息传输效率的研究
6
主要包括：①功率的节约；②频带的压缩；③传输时间的缩短，即快速传输问
6）抗干扰理论与技术的研究
主要包括：①各种调制制度的抗干扰性；②理想接收机的实践。
7）噪声中的信号检测理论与技术的研究
主要包括：①信号检测的最佳准则；②信号最佳检测的实践。
由上面的讨论可以看出来，信息论的研究内容极为广泛，是一门新兴的边缘学科，是当代信息科学的基本的和重要的理论基础。
综上所述，信息论是一门应用概率论、随机过程、数理统计和近代代数的方法来研究广义的信息传输、提取和处理系统中一般规律的工程科学；它的主要目的是提高信息系统的可靠性和有效性以便达到系统的最优化；他的主要内容（或分支）包括香农理论、编码理论、维纳理论、检测和估计理论、信号设计和处理理论、调制理论和随机噪声理论等。
由于信息论研究的内容极为广泛，而各分支又有一定的相对独立性，因此本书仅仅讨论了信息论的基本理论。
7
8
第二章 信源及信息的度量
从这一章开始，我们开始讨论信源和信息的度量问题。首先讨论信源，重点是信源的 统计特性和数学模型，以及各类离散信源的信息测度——熵及其性质。这部分内容是香农信息论的基础。
所谓信息的度量问题，就是指从量的关系上来精确地刻画信息。从定义到性质，从描述到度量，这些内容构成了信息科学的主要基础。一方面，通过对定义和性质的讨论，可以从质上来理解信息；另一方面，通过对描述的研究，则可以从量上来把握信息。这样既从定性方面又从定量方面去把握信息，就奠定了进一步讨论信息的各种运动规律的必要基础。信息度量问题之所以重要，就在于它是整个信息科学体系得以真正建立起来的根本理论基础，是信息科学大厦的重要基石。
2.1 离散信源及数学模型
信源是信息的来源，但信息是较抽象的东西，所以要通过信息的表达者——消息来研究信源。我们对信源的内部结构、为什么产生和怎样产生各种不同的消息都不作研究，而只研究信源的输出，以及信源输出各种可能消息的不确定性。
在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机矢量或随机过程来描述信源输出的消息。或者说，用一个样本空间及其概率测度——概率空间来描述信源。
信源的具体输出是离散的消息符号形式，常常是以一个符号的形式出现，例如文字、字母等。这些信源可能输出的消息数是有限的或可数的，而且每次输出只是其中一个消息符号，这样的信源称为离散信源。即指发出时间和幅度都是离散分布的离散消息的信源。所以，可用离散型随机变量来描述这些信息，它的数学模型就是离散型的概率空间：
()
()()1212,,,,,,q
q x x x X P p x p x p x ?????
??=?
????????????
()()1,2,,i p x i q =???显然，应满足
()i p x 0≥ 1,2,,
i q =???
1
()1
q
i i p x ==∑
12,,,q q x x x ???它表示信源可取的消息（符号）只有个； ，而且每次必定只取其中一个。
信源给定，其相应的概率空间就已给定；反之，如果概率空间给定，这就表示相应的信源已给定。所以，
9
概率空间能表征这离散信源的统计特征，因此，有时也把这个概率空间称作是信源空间。
在很多的实际信源输出消息往往是由一系列符号序列所组成的。例如，中文自然语言文字作为信源，这时中文信源的样本空间A 是所有文字与标点符号的集合。由这些汉字和标点符号组成的序列即构成了中文句子和文章。因此，从时间上看，中文信源输出的消息是时间上离散的符号序列，其中每个符号的出现是不确定的、随机的，由此构成的不同的中文消息。这类信源输出的消息是按照一定概率选取的符号序列，所以可以把这种信源输出的信息看作是时间上或者是空间上离散的一系列随机变量，即为随机矢量。
信源输出是时间或空间的离散符号序列, 且符号间有依赖关系。可用随机矢量来描述信源输出,即X=（X1X2…Xi ）, 其中Xi 是离散随机变量, 它表示t=i 时刻所发出的符号，
信源在t=i 时刻发出的符号决定于两个方面:
(1) 与t=i 时刻随机变量Xi 的取值xi 的概率分布p(xi)有关. 一般情况t 不同时, 概率分布也不同, 即p(xi)≠p(xj)
(2) 与t=i 时刻以前信源发出的符号有关, 即与条件概率p(xi|xi-1xi-2, … )有关. 同样在一般情况下, 它也是时间t=i 的函数, 所以p(xi|xi-1xi-2…xi-N …)≠p(xj|xj-1xj-2…xj-N …)
序列的统计性质与时间的推移无关, 即信源所发符号序列的概率分布与时间起点无关，这种信源称之为平稳随机序列。若信源输出的随机序列X=（X1X2…Xi ）中，每一个随机变量Xi(i=1,2, …N)都是取值离散的离散型随机变量，即每一个随机变量的可能取值是有限的或可数的。而且随机矢量的X 各维概率分布都与时间起点无关，也就是在任意两个不同时刻随机矢量X 的各维概率分布都相同。这样的信源称为是离散平稳信源。
在某些简单的离散平稳信源情况下，信源先后发出的一个个符号是彼此统计独立的，也就是说信源输出的随机矢量X=（X1X2…XN ）中，各随机变量Xi (i=1,2, …N)之间是无依赖的、统计独立的，则N 维随机矢量的联合概率分布满足
P （X ）=P （X1X2…XN ） =P 1(X1)P 2(X2) …P N(XN)
因为信源是平稳的，根据平稳随机序列的统计特征可知，各变量Xi 的一维概率分布都相同，即P 1(X1)=P 2(X2)= …=P N(XN)则得
121
()()()N
N i
i P X P X X X P X
==???=
∏
若不同时刻的随机变量又取值于同一符号集A ：{a 1,a 2,…,aq }则有
121
()()()
k q
i i i iN ik
i P x a P a a a P a
===???=
∏
其中ai 是N 维随机矢量的一个取值，即α={ai 1,ai 2,…,aiN }，而P （a ik ）是符号集A 的一维概率分布。
由符号集A ：{a 1,a 2,…,aq }与概率测度P （a ik ）构成的一个概率空间
1212,,()(),(),,()q q a a a X P x P a P a p a ?????
??=?
???????????? ，
10 称由信源空间［X,P (x)］描述的信源X 为离散无记忆信源。这信源在不同时刻发出的符号之间是无依赖的，彼此统计独立。
离散无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。
把这信源X 所输出的随机矢量X 所描述的信源称为离散无记忆信源X 的N 次扩展信源。可见，N 次扩展信源是由离散无记忆信源输出N 长的随机序列构成的信源。
若是信源先后发出的符号是互相依赖的,如中文序列，只有根据中文句子的语法、习惯用语、修辞制约和表达实际意义的制约所构成的中文序列才是有意义的中文句子或文章。所以，在汉字序列中前后的文字的出现是有依赖的，不能认为是彼此不相关的。这种信源称为有记忆信源。它需要引入条件概率分布说明它们之间的关联性，实际上信源发出符号只与前若干个符号(记忆长度)有较强的依赖关系.。离散有记忆信源所发出的各个符号的概率是有关联的。
2.2 连续信源及数学模型
信源输出的消息的取值是连续的，如人发出的声音、遥感器测得的连续数据等。极可能出现的消息数是不可数的无限值。这种信源称为连续信源。即指发出时间和幅度上都是连续分布的连续消息的信源，它可用连续型的随机变量来描述这些消息
()()??
????=??????x p b a P X , 其中()x p 为连续随机变量X 的概率密度，（b a ,）为X 的存在域，并满足
()()1
=≥?dx
x p x p b
a
上述信源，因为信源的输出只有一个消息（符号），所以可用一维随机变量来描述。
2.3信息的度量
2.3.1离散信源的自信息量
信源发出消息，经过信道，到达信宿，信宿收到消息，获得了信息，这个过程就称作通讯。我们现在来研究通讯的源头，也就是信源的特性。那么实际有用的信源应该具有什么特性呢？我们认为它应该具有不确定性（不肯定性）。信源至少应该包含两种不同的消息，例如两元信元（包含0、1），而信宿是知道信元发送
11
（0、1）的，但是它就是不知道在具体的某一时刻，信源发送的是哪个消息。这是显然的，如果它知道，就不需要通讯了！所以必须要经过通讯，然后信宿通过译码，信源发送的是哪个消息。如果信道中不存在噪声，也就是干扰，那么信宿一定译码正确，通信可以无差错的进行了。所谓的不确定性就是说信宿对信源哪个时刻发送哪个消息不能肯定！而不是说信宿不知道信源有0、1这两个消息。反过来统计的讲，发送某一个消息的概率是确定的。比如说发1的概率是0.4, 发1的概率是0.6。
但是下一时刻发送0，还是1，信宿不知道。
[例2.3.1]某二元信源（含有两个不同消息的信源）发送1的概率0.99，0的概率0.01，信宿仅凭猜测就可以简单的认为信源发出的消息始终都是1，即使如此，猜错的概率仅为百分之一。这说明在这种情况下，信源基本上在发送1，信源的不确定性很小。
为什么信宿猜测的这么准呢？我们知道是因为信源发送0的概率很小，所以不确定度和信源发送符号的概率是有关系的！
[例2.3.2]某二元信源发送1和0的概率相等，均为0.5，这时信宿不依赖通信仅凭猜测的话，猜错的概率高达50%。这说明在这种情况下，猜测信源发送什么消息就困难了，因为信源发送什么消息相当不确定。
[例2.3.3]如果信源具有更多的消息，例如发10个数字0,1…..9(例如采用4位十进制树的中文电报)，而且假定这是个消息是等概率分布的，均为0.1，这时信宿仅凭猜测的话，就更难猜了。因为信源发送什么消息更加不确定。
[例2.3.4]现在讨论一种极端的情况，信源只发送一种消息，即永远只发送1或者只发送0，从这样的信源中我们就不能从中获取任何信息，也就是说信源的不确定性为0。
信源如果没有不确定性，那么就没有实用价值。不确定度和发送的消息数目和发送符号的概率有关。为了确切的描述信源，我们采用概率空间来描述信源。
定义信息量的度量大写字母X ,Y ,Z 代表随机变量，指的是信源整体。带下标的小写字母k
j i z y x ,,代表随
机事件的某一结果或信源的某个元素。两者不可混淆。
其中X 1,X 2,…X n 为信源的消息；
P(x 1), P(x 2),…P(x n )为各消息出现的概率。
根据以上分析我们可以写出对应的概率空间：
[例2.3.1] ????
??)(X p X =?????
?01.099.001
[例2.3.2] ????
?
?)(X p X =?
?????5.05
.001
若随机事件对上面的四个例子进行归纳可以得出如下有用的结论：
（1）信源的不确定程度与其概率空间的消息数和消息的概率分布有关系 （2）信源的消息为等概率分布时，不确定度最大
（3）信源的消息为等概率分布，且其消息数目越多，其不确定度越大 （4）只发送一个消息的信源，其不确定度为0，不发送任何信息 发生i x 的概率为)(i x p ，用I(x i )表示消息x i 提供的信息量，则：
()()
i i x p X I 1log
=
称I(x i )为消息x i 的自信息量，表示信源发出一个消息x i 所带有的信息量。
随机事件的不确定度：猜测某一随机事件是否会发生的难易程度，它在数量上等于它的信息量，两者的单位相同，含义却不同。
（1） 当某事件必然发生时，就不存在不确定性，即不确定性为0。
即P(x i )=1时，I(1)=-log1=0
（2） 当某事件几乎不发生时（或发生概率很小），其不确定性应趋于无穷大，即
lim I[p(x i )]=-log0=∞
（3） 发生概率小的事件其不确定性比大概率事件大，即
12 I(x 1)=-logp(x 1)
I(x 2)=-logp(x 2),(p(x 1)>p(x 2)),则I(x 1)< I(x 2)
（4） 两个互相独立事件的联合信息量应该等于他们分别的信息量之和
不管随机事件是否发生，都存在不确定度；而自信息量是在该事件发生后给观察者带来的信息量。 自信息量)(i x I 具有下列性质： （1）是非负值；
（2）当)(i x p =1时，)(i x I =0； （3）当)(i x p =0时，)(i x I =∞； （4）是单调递减函数。 信息量的三种单位： 比特bit 对数取2为底
()()i i a P a I 1l o g
=
奈特nat 对数取e 为底 ()()i i a P a I 1
ln =
哈特莱hartley 对数取10为底
()()
i i a P a I 1lg
=
这三个信息单位之间的转换关系如下：
1 nat=log 2e ≈1.433 bit 1 hart=log 210 ≈3.32
2 bit
1 bit≈0.693 nat
1 bit≈ 0.301 Hart
然而，自信息也有它的不足之处：
1）自信息是随机变量，不能作为整个信源的信息测度;
2）自信息是指信源发出某一消息所含有的信息量; 3）消息不同，它们所含有的信息量也不同。 2.3.2联合信源的自信息量和条件自信息量
联合信源:多个信源构成的信源。例如音响设备有多个声道，彩色电视信号可分解为红、绿、蓝三种基色，遥感图像包含多个波段，以及形形色色的多维信号。 本节以任意两个随机变量X 和Y 的联合为例进行讨论。
两个随机事件的离散信源，其信源模型为
??????
?
?
=????
??)(,
),
(,
),
(,
),
(),
(,
),
(,,,,,,,,,)(12121111212111m n n m m m
n n m m y x p y x p y x p y x p y x p y x p y x y x y x y x y x y x XY
P XY ，
其中),,,2,1;,,2,1(1)(0m j n i y x p j i ==≤≤1
)(1
1
=∑∑
==j n
i m
j i y x p 。其自信息量是二维联合集XY
上元素对
j
i y x 的联合概率
)
(j i y x p 对数的负数值，称为联合自信息量，用
)
(j i y x I 表示，即
)(log )(2j i j i y x p y x I -=
当X 和Y 相互独立时，)(j i y x p =)(i x p )
(j y p ，代入式（2.1.4）就有
)
()()(log )(log
)(22
j i j i j i y I x I y x p y x I +=--=
说明两个随机事件相互独立时，同时发生得到的自信息量，等于这两个随机事件各自独立发生得到的自
13
信息量之和。
条件自信息量定义为条件概率的负值。设j
y 条件下，发生i x 的条件概率为
)
/(j i y x p ，那么它的条件
自信息量
)
/(j i y x I 定义为
)
/(log
)/(2
j i j i y x p y x I -= （2.1.6a ）
上式表示在特定条件（j
y 已定）下随机事件i x 发生所带来的信息量。同样，i x 已知时发生j y
的条件
自信息量为
)
/(log
)/(2
i j i j x y p x y I -= （2.1.6b ）
在给定i x (j y )条件下，随机事件发生j y
(i x )所包含的不确定度在数值上与条件自信息量)
/(j i y x I [)/(i j x y I ]相同，即可用式（2.1.6 a 或2.1.6b ）计算，但两者的含义不同。不确定度表示含有多
少信息，信息量表示随机事件发生后可以得到多少信息。
联合自信息量和条件自信息量也满足非负和单调递减性，同时，它们也都是随机变量，其值随着变量i x ，
j
y 的变化而变化。
容易证明，自信息量、条件自信息量和联合自信息量之间有如下关系：
)
/()()/()(log
)(2
i j i i j i j i x y I x I x y p x p y x I +=-=
)
/()()/()(l o g 2j i j j i j y x I y I y x p y p +=-=。
［例2.3.3］（自信息量）
有八个灯泡串联相接，x 1 ,x 2…x 8 中每个灯泡损坏的可能性相等，现有一个灯损坏，致使电路不通，灯全部不亮。问：要查出损坏的灯泡至少需要多少信息量？
解：
至少要查三次方可确定损坏的灯泡。
事件的概率空间为：()???
??
???=???
???81818
18
18
18
18
18
1
87654321
x x x x x x x x x P X
设第x i 个灯泡损坏 因为 ()8
1=
i x P
所以()bit x I i 38
1log =-= 查出损坏的x i 需要3bit 的信息量。
说明：
第一步，将八个灯分成两组在任一组中有x i 的概率是2
1，查找出该组的信息量为
-log
2
1=1bit=()i x I 1
第二步，将有x i 的组再分成两组，任何一组中存在有x i 的概率是
,2
1查找出有x i 组的信息量
14 为-log
2
1=1bit=()i x I 2
第三步，对剩下的两个灯泡中的一个进行检测，每一个灯泡的损坏概率为
2
1，查找出损坏灯
泡的信息量为-log
2
1=1bit=()i x I 3
所以，最终找出x i 需要的信息量为 ()()+=
i i
X I X
I 1()i x I 2+()i x I 3=1+1+1=3bit
［例2.3.4］ （联合自信息量）
有一个8?8的正方形棋盘，其上某位置放有一个棋子。问需确定该棋子的位置需要多少信息量？
解：因设棋子等概率的可放在某列x i ，并等概率的放在某行y j
故，列概率空间为：()?????
???=???
???8181818181818181
87654321
x x x x x x x x x P X
行概率空间为()???
??
???=???
???818
18
18
18
18
18
18
1
87654321
y y y y y y y y y P Y
联合概率空间为：
{ XY , p(xy ij ) , i=1…8 , j=1…8} 1.根据联合自信息量求解： (
)()()j
i
j
i y p x p y
x p ?==64
18
1
81=
?
确定位置需要的信息量为
()()bit y x p y x I j i j i 664
1log
log =-=-=
2．根据条件自信息量求解： 第一步：确定在某行，即y j 需要的信息量为 ()b i t y
p y I j
j
38
1l o g )(l o g =-=-=
第二步：确定在某列，即x i
因y j 已经确定，因此确定x i 是在y j 已知条件下。
则，(
)()()bit x p y x
p y
x I i j i
j
i 38
1log
log log =-=-=-=
又因 ，x i ，y j 相互独立，故(
)()i j i
x p y x p =
15
需要的总信息量为 (
)()()b i t y x
I y I y
x I j i
j
j
i 633=+=+=
2.4离散信源的平均自信息量——熵 2.4.1平均自信息量——熵
已知单符号离散无记忆信源的数学模型
??
??
??=????
??)(,
),
(,
),
(),
(,,,,,)(2121n i n
i x p x p x p x p x x x x X
P X ,
其中),,2,1,0(1)(0n i x p i =≤≤，且
()11
=∑-n
i i
x p
我们定义信源各个离散消息的自信息量的数学期望(即概率加权的统计平均值)为信源的平均信息量，一般称为信源的信息熵，也叫信源熵或香农熵，有时称为无条件熵或熵函数，简称熵，记为()X H .
∑
=-===n
i i i i i x p x p x p E x I E X H 122
)
(log )(])(1
[log
)]([)(
它实质上是无记忆信源平均不确定度的度量。如果取以2为底的对数，信源熵的单位是 bit/符号。X 中各
离散消息i x 的自信息量)(i x I 为非负值，概率)(i x p 也是非负值，且0≤)(i x p ≤1，故信源熵()X H 也是非负值。()X H 的定义公式与统计热力学中熵的表示形式相同，这就是信源熵名称的由来。
[2.1.6]以[2.1.5为例]，计算()X H =1/4×log 2
4
1+3/4log 2
4
3=0.811比特/消息
[2.1.7]以[2.1.5为例]，计算通信系统信宿端Y 的不确定度
()X H =7/12×log 2
12
7+5/12log 2
12
5=0.980比特/消息
[2.1.8]计算能输出26个英文字母的信源的信源熵。假设各字母等概率分布，且互相独立。 H(X)=-log 2
26
1=4.701比特/字母
2、本质
信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的度量。信源一定，不管它是否输出离散消息，只要这些离散消息具有一定的概率特性，必有信源的熵值，这熵值在总体平均的意义上才有意义，因而是一个确定值。
3、物理含义
总括起来，信源熵有三种物理含义：
(1)信源熵)(X H 表示信源输出后，每个离散消息所提供的平均信息量。 (2)信源熵)(X H 表示信源输出前，信源的平均不确定度。 (3)信源熵)(X H 反映了变量X 的随机性。
2.4.2联合信源的平均信息量——联合熵
设离散集(){}x p X ,和(){}y p Y ,组成二维联合离散事件集(){}xy p XY ,的平均联合自信息定义为： 联合集(){}xy p XY ,上的随机变量()()xy p XY I log -=的数学期望称为集X
和集Y 的联合信息
熵。
16 ()()()()()()j i n
i m
j j i
j i n i m
j j i
y x P y x
P y x I y x
P XY EI XY H log 1
1
1
1
∑
∑∑∑====?
-==
=
2.4.3N 次扩展信源的熵
根据信息熵的定义，离散无记忆信源X 的N 次扩展信源N
X
的熵等于信源的熵的N 倍，即
()
()X NH X H N
=
证明 由N 次扩展信源的含义及熵的定义可知，N 次扩展信源的熵为
(
)()()i
X
i
N
x p x p X
H N
log ∑-=
式中求和号
∑
是对信源N
X
中所有N
q
个符号求和，所以求和号共有N
q
个。这种求和号可以等效于
N 个求和，而且其中的每一个又是对X 中的q 个符号求和。所以得
()11
1
1
11
1
1221122121==
=
=∑∑
∑∑∑∑
∑
∑======q
i i q
i q
i i i i q
i q
i q
i i i i i X
i X
i
N N N N N N
N
p p p p p p p p p x p
N 次扩展信源的熵公式也可以写成
(
)()()()()N
N
N
N
N
N
i X
i i X
i i X
i i i i X
i
N
p x p p x p p x p p p p x p X
H 1log
1log
1log
1log
2
1
21∑
∑
∑
∑+
++
=
= 上式中共有N 项，考察其中第一项
()==
=
∑∑
∑
∑
∑===q
i i q i i i q
i i i i i X
i i X
i
N N N N
N
p p p p p p p p p x p 1
1
1
221
111
211
1log
1log
1log
()X H p p i q
i i =∑
=1
111log
1
上式引用了
11
=∑
=q
i i k k p N k 2,1=
同理，计算其余各项，得
(
)()()()()X NH X H X H X H X
H N
=+++=
例：有一离散无记忆信源
()???
??
?
??=???
???414
12
132
1
x x x x p X 13
1
=∑
=i i p
求该离散无记忆信源的二次扩展信源的熵。
解：由于扩展信源的每个符号是信源X 的输出长度为2=N 的符号序列，且信源X 共有3=q 个不同符号，所以由信源X 中的每二个符号组成的不同排列共有2
3=N
q 种，得二次扩展信源共有9个不同的符号。
又因为信源X 是无记忆的，则有
17
()()()
21i i i x p x p x p = （3,2,1,21=i i ）
于是得表如下
可以算得，原始信源熵为
()()()
5.14log
4
122log
2
11log
2
2
3
1
=?
+=
=
∑
=i i i x p x p X H 比特/符号
而二次扩展信源为
(
)()()
316log 16
148log 8
144log
4
11log
222
2
2
=?
+?
+=
=∑i X
i
x p x p X
H 比特/符号
故有：
(
)()X H X
H 22
=
对于上述结论，也可以直观的进行理解。因为扩展信源N
X
的每一个输出符号i x 是由N 个i x 所组成的
序列，并且序列中前后符号是统计独立的。先已知每个信源符号i x 含有的平均信息量为()X H ,那么N 个i x 组成的无记忆序列平均含有的信息量就为()X NH (根据熵的可加性)。因此，信源N
X 每个输出符号i x 含
有的平均信息量为()X NH 。
2.5信息熵的性质
由于信息熵是信源概率空间()()
()()???
?
??=??????k k
a P a P a P a a a x P X
212
1
18 的一种特殊矩函数。这个矩函数的大小，虽然与信源的符号及符号的概率分布有关。当信源符号集的个
数k 给定，信源的信息熵就是概率分布()x P 的函数。而这个函数形式即为
()()()()i q
i i i a P a P a P E X H l o g 1l o g 1∑=-=???
??
?= （2.5.1）
可用概率矢量P 来表示概率分布()x P
()()()()()k k p p p a P a P a P P 2121,,,==
可用()k i p i ,,2,1 =来表示符号概率()()k i a P i ,,2,1 =。概率矢量()k p p p P ,,21=是k 维矢量，()k i p i ,,2,1 =是其分量，它们满足
11
=∑
=k
i i p 和()k i p i ,2,10=≥
这样信息熵()X H 是概率矢量P 或它的分量k p p p ,,,21 的1-k 元函数。所以（2.5.1）可写成
()()()()()P H p p p H p p a P a P X H k q
i i i i q
i i ==-=-=∑∑==,,,log log 211
1
(2.5.2)
()P H 是概率矢量P 的函数，称()P H 为熵函数。常用()X H 来表示以离散随机变量X 描述的信源
的熵；而用()P H 或是()k p p p H ,,,21 来表示概率矢量为P=()k p p p H ,,,21 的k 个符号信源的信息熵。
熵函数()P H 也是一种特殊函数，它的函数形式为
()P H ()∑
=-==q
i i i k p p p p p H 1
21l o g ,, （2.5.3）
它具有下列一些性质：
1． 对称性
当变量k p p p ,,,21 的顺序任意互换时，熵函数的值不变，即
()()()1113221,,,,,,,,,-===q q q k p p p H p p p p H p p p H （2.5.4）
该性质表明熵只与随机变量的总体结构有关，即与信源的总体统计特性有关。如果某些信源的
第五章 1.常说的两台主机进行通信，精确地说是指（）。 A.两个用户在通信 B.两台主机的CPU在通信 C.两台主机的网络层在通信 D.两台主机中的应用进程中互相通信 2.下列对于传输层端口的描述中，不正确的是（）。 A.传输层端口的概念与交换机或路由器硬件端口的概念一样 B.端口是用来标识不同的服务的，不同的服务使用不同的端口 C.TCP/IP的传输层使用一个16位的端口号来标识一个端口，因此端口的范围是0~65535 D.服务器使用的端口号的范围是0~1023 3.在TCP数据段的布局格式中，头开始的固定格式长度是（）。 A.20B B.24B C.32B D.36B 4.以下TCP熟知端口号错误的是（）。 A.TElNET:23 B.SMTP:25 C.HTTP:80 D.BGP:161 5．TCP/IP的传输层协议使用（）形式将数据传送给上层应用程序。 A.IP地址 B.MAC地址 C.端口号 D.套接字地址6．下列关于TCP和UDP的描述中正确的是（）。 A.TCP和UDP均是面向连接的 B.TCP和UDP 均是无连接的 C．TCP是面向连接的，UDP是无连接的 D.UDP是面向
连接的，TCP是无连接的 7．UDP报文中，伪首部的作用是（）。 A.数据对齐 B.计算校验和 C.数据加密 D.数据填充 8.一条TCP连接的建立过程包括（）个步骤。 A.2 B.3 C.4 D.5 9.主机甲向主机乙发送一个(SYN＝1，seq＝11220)的TCP段，期望与主机乙建立TCP连接，若主机乙接受该连接请求，则主机乙向主机甲发送的正确的TCP段可能是（）。 A．(SYN＝0，ACK＝0，seq＝11221，ack＝11221) B．(SYN＝1，ACK＝1，seq＝11220，ack＝11220) C．(SYN＝1，ACK＝1，seq＝11221，ack＝11221) D．(SYN＝0，ACK＝0，seq＝11220，ack＝11220) 10.主机甲和主机乙间已建立一个TCP连接，主机甲向主机乙发送了两个连续的TCP段，分别包含300字节和500字节的有效载荷，第一个段的序列号为200，主机乙正确接收到两个段后，发送给主机甲的确认序列号是（）。 A．500 B.700 C.800 D.1000 11.以下关于TCP可靠传输的描述中，错误的是（）。 A.TCP在传输用户数据之前必须进过传输连接建立、维护和释放的过程 B．TCP传输连接建立过程中需要协商双方的通信参数 C.通信参数主要是指带宽、延时以及延时抖动等 D.TCP协议在客户进程与服务器进程连接建立需要经过“三次握手”的过程
信息论与编码 《信息论与编码》这门课程给我带了很深刻的感受。信息论是人类在通信工程实践之中总结发展而来的，它主要由通信技术、概率论、随机过程、数理统计等相结合而形成。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。学习这门课程之后，我学到了很多知识，总结之后，主要有以下几个方面： 首先是基本概念。信息是指各个事物运动的状态及状态变化的方式。消息是指包括信息的语言、文字和图像等。信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载到具有某种物理特性的信号上去。信号是信息的载荷子或载体。信息的基本概念在于它的不确定性，任何已确定的事物都不含有信息。信息的特征：（1）接收者在收到信息之前，对其内容是未知的。（2）信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。（3）信息可以产生，也可以消失，同时信息可以被携带、存储及处理。（4）信息是可以量度的，信息量有多少的差别。编码问题可分解为3类：信源编码、信道编 码、加密编码。= 理论上传输的最少信息量 编码效率实际需要的信息量。 接下来，学习信源，重点研究信源的统计特性和数学模型，以及各类离散信源的信息测度 —熵及其性质，从而引入信息理论的一些基本概念和重要结论。本章内容是香农信息论的基础。重点要掌握离散信源的自信息，信息熵（平均自信息量），条件熵，联合熵的的概念和求法及其它们之间的关系，离散无记忆的扩展信源的信息熵。另外要记住信源的数学模型。通过学习信源与信息熵的基本概念，了解了什么是无记忆信源。信源发出的序列的统计性质与时间的推移无关，是平稳的随机序列。当信源的记忆长度为m+1时，该时刻发出的符号与前m 个符号有关联性，而与更前面的符号无关，这种有记忆信源叫做m 阶马尔可夫信源。若上述条件概率与时间起点无关，则信源输出的符号序列可看成齐次马尔可夫链，这样的信源叫做齐次马尔可夫信源。之后学习了信息熵有关的计算，定义具有概率为 () i p x 的符号i x 的自信息量为：()log ()i i I x p x =-。自信息量具有下列特性：（1） ()1,()0i i p x I x ==（2）()0,()i i p x I x ==∞（3）非负性（4）单调递减性（5）可加 性。信源熵是在平均意义上来表征信源的总体特征，它是信源X 的 函数，一般写成H （X ）。信源熵：()()log ()i i i H X p x p x =-∑，条件熵：(|)(,)log (|) i j i j ij H X Y p x y p x y =-∑联合 熵(|)(,)log (,)i j i j ij H X Y p x y p x y =-∑，联合熵 H(X,Y)与熵H(X)及条件熵H(Y|X)的关系： (,)()(|)()(|)H X Y H X H Y X H X H X Y =+=+。互信息: ,(|)(|)(;)(,)log ()(|)log () () j i j i i j i j i ij i j j j p y x p y x I X Y p x y p x p y x p y p y = = ∑ ∑ 。熵的性质：非负性，对称性，确定 性，极值性。 接下来接触到信道，知道了信道的分类，根据用户数可以分为，单用户和多用户；根
《信息传输理论与编码》复习提纲 第2章、信息的统计度量 1、自信息量、条件自信息量、平均自信息量（熵）、平均条件自信息量（条件熵）等物理量的含义理解和计算； 2、互信息量、条件互信息量、平均互信息量、平均条件互信息量等物理量的含义理解和计算； 第3章、离散信源 1、离散无记忆信源及其扩展信息的熵的计算； 2、离散平稳信源的熵的计算；（极限熵） 3、马尔可夫信源的熵的计算；（利用极限熵） 第4章、离散信道及其容量 1、离散无记忆信道及其扩展信道的相关概念； 2、二进制对称（BSC）信道、无损信道、确定信道、无损确定信道、离散对称信道的信道容量计算； 第5章、无失真信源编码 1、唯一可译码的判别及码树； 2、香农、费诺、哈夫曼二进制编码； 第6章、有噪信道编码 1、最大后验概率译码规则、最大联合概率译码规则； 2、极大似然译码规则； 3、最小距离译码规则 第7章、限失真信源编码
1、失真测度 2、信息率失真函数的定义域及值域的计算； 第9章、纠错编码 1、线性分组码的检错、纠错的能力； 2、线性分组码的编码、译码。 课后习题 教材：《信息理论基础（第4版）》，周荫清主编，北京航空航天大学出版社。 2.1 2.10 2.18 3.1 3.7 3.10 3.16 4.1 4.20 5.1 5.7 5.9 5.10 6.1 7.2 9.1 9.2 9.10 部分习题参考答案 2.1 解：同时掷两个正常的骰子，这两个事件是相互独立的，所以两骰子面朝上点数的状态共有6×6＝36种，其中任一状态的分布都是等概的，出现的概率为1/36。 (1)设“3和5同时出现”为事件A，则A的发生有两种情况：甲3乙5，甲5乙3。因此事件A发生的概率为p(A)=(1/36)*2=1/18 故事件A的自信息量为 I(A)=－log2p(A)=log218=4.17 bit (2)设“两个1同时出现”为事件B，则B的发生只有一种情况：甲1乙1。因此事件B发
《信息论基础》答案 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X，其概率分布为 123 x x x X 111 P 244 ?? ?? ? = ?? ? ?? ?? ，其信源剩余度为94.64%；若 对该信源进行十次扩展，则每十个符号的平均信息量是15bit。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是2Flog （b-a）bit/s. 5.若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵 的最大值为1 log32e 2 π；与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r(S)）。 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。 （2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y) 各章参考答案 2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特 2．2． 1.42比特 2．3． （1）225.6比特 ；（2）13.2比特 2．4． （1）24.07比特； （2）31.02比特 2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。因为3log3=log27>log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。 （2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时, 第三步用一个真币与其中一个称重比较即可。 对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴 别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息. 2．6． （1）215 log ＝15比特； （2） 1比特；（3）15个问题 2． 7. 证明： （略） 2．8． 证明： （略） 2．9． 31)(11= b a p ，121 )(21=b a p ， 121 )(31= b a p ， 61)()(1312= =b a b a p p ， 241)()()()(33233222= ===b a b a b a b a p p p p 。 2．10． 证明： （略） 2．11. 证明： （略） 第一章 1、（09-33）在OSI参考模型中，自下而上第一个提供端到端服务的层次是（） A．数据链路层??B.传输层??C.会话层??D.应用层?? 2、（10-33）下列选项中，不属于网络体系结构中所描述的内容是（） A.网络的层次 B.每一层使用的协议 C.协议的内部实现细节 D.每一层必须完成的功能 3、（10-34）在下图所示的采用“存储-转发”方式分组的交换网络中，所有链路的数据传输速度为100Mbps，分组大小为1000B，其中分组头大小20B，若主机H1向主机H2发送一个大小为980000B的文件，则在不考虑分组拆装时间和传播延迟的情况下，从H1发送到H2接收完为止，需要的时间至少是（） A：80ms B：80.08ms C：80.16ms D：80.24ms 4、（11-33）TCP/IP参考模型的网络层提供的是（） A．无连接不可靠的数据报服务 B．无连接可靠的数据报服务 C．有连接不可靠的虚电路服务 D．有连接可靠的虚电路服务 5、（12-33）在TCP/IP体系结构中，直接为ICMP提供服务协议的是：（） A. PPP B. IP C. UDP D. TCP 6、（13-33）在OSI参考模型中，下列功能需由应用层的相邻层实现的是（） A.对话管理 B.数据格式转换 C.路由选择 D.可靠数据传输 7.（13-35）主机甲通过1个路由器（存储转发方式）与主机乙互联，两段链路的数据传输速率均为10Mbps,主机甲分别采用报文交换和分组大小为10kb的分组交换向主机乙发送1个大小为8Mb（1M=106）的报文。若忽略链路传播延迟、分组头开销和分组拆装时间，则两种交换方式完成该报文传输所需的总时间分别为（） A.800ms、1600ms B.801ms、1600ms C.1600ms、800ms、 D、1600ms、801ms 8.（14-33）在OSI参考模型中，直接为会话层提供服务的是（） A.应用层 B表示层 C传输层 D网络层 参考答案： 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 按照信息的地位，可以把信息分成 客观信息和主观信息 。 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 信息的 可度量性 是建立信息论的基础。 统计度量 是信息度量最常用的方法。 熵 是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生 概率的对数 来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H Λ。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。 21、平均功率为P 的高斯分布的连续信源，其信源熵，Hc （X ）=eP π2log 21 2。 22、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具 一、设X 、Y 就是两个相互统计独立的二元随机变量,其取-1或1的概率相等。定义另一个二元随机变量Z,取Z=YX(一般乘积)。试计算: 1、H(Y)、H(Z); 2、H(YZ); 3、I(X;Y)、I(Y;Z); 二、如图所示为一个三状态马尔科夫信源的转移概率矩阵 1. 绘制状态转移图; 2、 求该马尔科夫信源的稳态分布; 3、 求极限熵 ; 三、在干扰离散对称信道上传输符号1与0,已知P(0)=1/4,P(1)=3/4,试求: 1. 信道转移概率矩阵P 2、信道疑义度 3、信道容量以及其输入概率分布 四、某信道的转移矩阵?? ????=1.006.03.001.03.06.0P ,求信道容量,最佳输入概率分布。 五、求下列各离散信道的容量(其条件概率P(Y/X)如下 :) 六、求以下各信道矩阵代表的信道的容量 答案 一、设X 、Y 就是两个相互统计独立的二元随机变量,其取-1或1的概率相等。定义另一个二元随机变量Z,取Z=YX(一般乘积)。试计算: 1、H(Y)、H(Z); 2、H(XY)、H(YZ); 3、I(X;Y)、I(Y;Z); 解:1、 2 i 11111H Y P y logP y log log 2222i i =??=-+????∑（）=-（）（）=1bit/符号 Z=YX 而且X 与Y 相互独立 ∴ 1(1)(1)(1)P P X P Y P X ?=+=-?=-（Z =1）=P(Y=1)= 1111122222 ?+?= 2(1)(1)(1)P P X P Y P X ?=-+=-?=（Z =-1）=P(Y=1)= 1111122222 ?+?= 故H(Z)= i 2i 1(z )log (z )i P P =- ∑=1bit/符号 2、从上式可以瞧出:Y 与X 的联合概率分布为: 《信息论基础》试卷第1页 《信息论基础》试卷答案 一、填空题（共25分，每空1分） 1、连续信源的绝对熵为 无穷大。（或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2 2 x - )时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r )，此 时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X) 计算机网络第七版答案 第一章概述 1-01 计算机网络向用户可以提供那些服务？答：连通性和共享 1-02 简述分组交换的要点。答：（1）报文分组，加首部（2）经路由器储存转发（3）在目的地合并 1-03 试从多个方面比较电路交换、报文交换和分组交换的主要优缺点。 答：（1）电路交换：端对端通信质量因约定了通信资源获得可靠保障，对连续传送大量数据效率高。 （2）报文交换：无须预约传输带宽，动态逐段利用传输带宽对突发式数据通信效率高，通信迅速。 （3）分组交换：具有报文交换之高效、迅速的要点，且各分组小，路由灵活，网络生存性能好。 1-04 为什么说因特网是自印刷术以来人类通信方面最大的变革？ 答：融合其他通信网络，在信息化过程中起核心作用，提供最好的连通性和信息共享，第一次提供了各种媒体形式的实时交互能力。 1-05 因特网的发展大致分为哪几个阶段？请指出这几个阶段的主要特点。 答：从单个网络APPANET向互联网发展；TCP/IP协议的初步成型建成三级结构的Internet； 分为主干网、地区网和校园网；形成多层次ISP结构的Internet；ISP首次出现。 1-06 简述因特网标准制定的几个阶段？ 答：（1）因特网草案(Internet Draft) ——在这个阶段还不是RFC 文档。（2）建议标准(Proposed Standard) ——从这个阶段开始就成为RFC 文档。（3）草案标准(Draft Standard)（4）因特网标准(Internet Standard) 1-07小写和大写开头的英文名internet 和Internet在意思上有何重要区别？ 答：（1）internet（互联网或互连网）：通用名词，它泛指由多个计算机网络互连而成的网络。；协议无特指（2）Internet（因特网）：专用名词，特指采用TCP/IP 协议的互联网络。区别：后者实际上是前者的双向应用 1-08 计算机网络都有哪些类别？各种类别的网络都有哪些特点？ 答：按范围：（1）广域网WAN：远程、高速、是Internet的核心网。 （2）城域网：城市范围，链接多个局域网。 （3）局域网：校园、企业、机关、社区。 （4）个域网PAN：个人电子设备 按用户：公用网：面向公共营运。专用网：面向特定机构。 1-09 计算机网络中的主干网和本地接入网的主要区别是什么？ 答：主干网：提供远程覆盖\高速传输\和路由器最优化通信。本地接入网：主要支持用户的访问本地，实现散户接入，速率低。 1-10 试在下列条件下比较电路交换和分组交换。要传送的报文共x（bit）。从源点到终点共经过k段链路，每段链路的传播时延为d（s），数据率为b(b/s)。在电路交换时电路的建立时间为s(s)。在分组交换时分组长度为p(bit)，且各结点的排队等待时间可忽略不计。问在怎样的条件下，分组交换的时延比电路交换的要小？（提示：画一下草图观察k段链路共有几个结点。） 答：线路交换时延：kd+x/b+s, 分组交换时延：kd+(x/p)*(p/b)+ (k-1)*(p/b)，其中(k-1)*(p/b)表示K段传输中，有(k-1)次的储存转发延迟，当s>(k-1)*(p/b)时，电路交换的时延比分组交换的时延大，当x>>p,相反。 1-11在上题的分组交换网中，设报文长度和分组长度分别为x和(p+h)(bit),其中p为分组的数据部分的长度，而h为每个分组所带的控制信息固定长度，与p的大小无关。通信的两端共经过k段链路。链路的数据率为b(b/s)，但传播时延和结点的排队时间均可忽略不计。若打算使总的时延为最小，问分组的数据部分长度p应取为多大？（提示：参考图1-12的分组交换部分，观察总的时延是由哪几部分组成。）答：总时延D表达式，分组交换时延为：D= kd+(x/p)*((p+h)/b)+ (k-1)*(p+h)/b D对p求导后，令其值等于0，求得p=[(xh)/(k-1)]^0.5 信息论期末总结 ● 消息中包含信息，消息是信息的载体。 信息：信息是对事物运动状态或存在方 式的不确定性的描述。 ● 通信的过程就是消除不确定性的过程。 ● 信息与概率的关系： ● 事件发生的概率越大，该事件包含的信息量 越小； ● 如果一个事件发生的概率为1，那么它包含 的信息量为0； ● 两个相互独立事件所提供的信息量应等于 它们各自提供的信息量之和。 ● 某个消息的不确定性（含有的信息量）可以表示为： ● 信源的平均不确定性： ● 信源发出的消息的统计特性 ? 离散信源、连续信源、波形信源 ? 有记忆信源和无记忆信源 1()log log ()() i i i I x p x p x ==-∑=-=q i i i x p x p X H 1)(log )()( ?平稳信源和非平稳信源 ●编码器的功能：将消息变成适合信道传输的 信号 ●编码器包括：（1）信源编码器（2）信道编 码器（3）调制器 ●信源编码器：去除信源消息中的冗余度，提 高传输的有效性 ●信道编码器：将信源编码后的符号加上冗余 符号，提高传输的可靠性。 ●调制器： 功能：将信道编码后的符号变成适合信道传输的信号 目的：提高传输效率 ●信道的统计特性 无噪声信道、有噪声信道 离散信道、连续信道、波形信道 有记忆信道和无记忆信道 恒参信道（平稳信道）和随参信道（非平稳信道）单用户信道和多用户信道 ●信道传输信息的最高速率：信道容量 ●译码器的功能：从接收到的信号中恢复消 息。 包括：（1）解调器（2）信道译码器（3）信源译 码器 ● 提高有效性： （数据压缩） 信源编码：无失真信源编码和限失真信源编码 ● 提高可靠性： （可靠传输） 信道编码 ● 香农第一定理： 如果编码后的信源序列的 编码信息率不小于信源的熵，那么一定存在 一种无失真信源编码方法；否则，不存在这 样的一种无失真信源编码方法。 ● 香农第二定理：如果信道的信息传输 率小于信道容量，那么总可以找到一种编码 方式，使得当编码序列足够长时传输差错任 意小；否则，不存在使差错任意小的信道编 码方式。 ● 香农第三定理：对于任意的失真 度 ，只要码字足够长，那么总可以找 到一种编码方法，使编码后的编码信息 率 ，而码的平均失真 度 。 ● 公理性条件： (1) 如果p (x 1) < p (x 2)，则I (x 1) > I (x 2)， I (xi )0D ≥()R D ≥d D ≤ 计算机网络谢希仁第七版复习题带答案 Document serial number【KKGB-LBS98YT-BS8CB-BSUT-BST108】 第一章 1、（09-33）在OSI参考模型中，自下而上第一个提供端到端服务的层次是（） A．数据链路层B.传输层C.会话层D.应用层 2、（10-33）下列选项中，不属于网络体系结构中所描述的内容是（） A.网络的层次 B.每一层使用的协议 C.协议的内部实现细节 D.每一层必须完成的功能 3、（10-34）在下图所示的采用“存储-转发”方式分组的交换网络中，所有链路的数据传输速度为100Mbps，分组大小为1000B，其中分组头大小20B，若主机H1向主机H2发送一个大小为980000B的文件，则在不考虑分组拆装时间和传播延迟的情况下，从 H1发送到H2接收完为止，需要的时间至少是（） A：80ms B： C： D： 4、（11-33）TCP/IP参考模型的网络层提供的是（） A．无连接不可靠的数据报服务 B．无连接可靠的数据报服务 C．有连接不可靠的虚电路服务 D．有连接可靠的虚电路服务 5、（12-33）在TCP/IP体系结构中，直接为ICMP提供服务协议的是：（） A. PPP B. IP C. UDP D. TCP 6、（13-33）在OSI参考模型中，下列功能需由应用层的相邻层实现的是（） A.对话管理 B.数据格式转换 C.路由选择 D.可靠数据传输 7.（13-35）主机甲通过1个路由器（存储转发方式）与主机乙互联，两段链路的数据传输速率均为10Mbps,主机甲分别采用报文交换和分组大小为10kb的分组交换向主机乙发送1个大小为8Mb（1M=106）的报文。若忽略链路传播延迟、分组头开销和分组拆装时间，则两种交换方式完成该报文传输所需的总时间分别为（） 、1600ms 、1600ms 、800ms、 D、1600ms、801ms 8.（14-33）在OSI参考模型中，直接为会话层提供服务的是（） A.应用层 B表示层 C传输层 D网络层 参考答案： 一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？ 答：平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ 答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 最大熵值为。 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？ 答：信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 答：通信系统模型如下： 数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有， 。说明经数据处理后，一般只会增加信息的损失。 5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。 .答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。 由得，则 6.解释无失真变长信源编码定理。 .答：只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。 答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？ 答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。 二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求： 第三章数据链路层 嵌入18-1杜国龙20180307008 3-01数据链路(即逻辑链路)与链路{即物理链路)有何区别?“电路接通了”与"数据链路接通了”的区别何在? 答:数据链路与链路的区别在于数据链路出链路外，还必须有一一些必要的规程来控制数据的传输，因此，数据链路比链路多了实现通信规程所需要的硬件和软件。“电路接通了”表示链路两端的结点交换机已经开机，物理连接已经能够传送比特流了，但是，数据传输并不可靠，在物理连接基础上，再建立数据链路连接，才是"数据链路接通了”，此后，由于数据链路连接具有检测、确认和重传功能，才使不太可靠的物理链路变成可靠的数据链路，进行可靠的数据传输当数据链路断开连接时，物理电路连接不- -定跟着断开连接。 3-02数据链路层中的链路控制包括哪些功能?试讨论收据链路层做成可靠的链路层有哪些优点和缺点. 答:链路管理帧定界流量控制差错控制将数据和控制信息区分开透明传输寻址可靠的链路层的优点和缺点取决于所应用的环境:对于干扰严重的信道，可靠的链路层可以将重传范围约束在局部链路，防止全网络的传输效率受损:对于优质信道，采用可靠的链路层会增大资源开销，影响传输效率。 3-03网络适配器的作用是什么?网络适配器工作在哪- -层? 答:适配器(即网卡)来实现数据链路层和物理层这两层的协议的硬件和软件网络适配器工作在TCP/IP协议中的网络接口层(OSI 中的数据链里层和物理层) 3-04数据链路层的3三个基本问(帧定界、透明传轴和差错检测)为什么都必须加以解决? 答:帧定界是分组交换的必然要求透明传输避免消息符号与帧定界符号相混淆差错检测防止合差错的无效数据帧浪费后续路由上的传输和处理资源 3-05如果在数据链路层不进行帧定界,会发生什么问题? 答:无法区分分组与分组无法确定分组的控制域和数据域无法将差错更正的范围限定在确切的局部 3-06 PPP协议的主特点是什么?为什么PPP不使用帧的编号? PPP适用于什么情况?为什么PPP协议不能使数据链路层实现可靠传输? 答:简单，提供不可靠的数据报服务，检错，无纠错不使用序号和确认机制地址字段A只置为0xFF.地址字段实际上并不起作用。控制字段C通常置为0x03。PPP 是面向字节的当PPP用在同步传输链路时，协议规定采用硬件来完成比特填充(和HDLC的做法-一样)，当PPP用在异步传输时，就使用一种特殊的字符填充法PPP适用于线路质量不太差的情况下、PPP没有编码和确认机制 3-07要发送的数据为1101011011.采用CRC的生成多项式是P (X) -X4+X+1. 试求应添加在数据后面的余数。数据在传输过程中最后一个1变成了0，问接收端能否发现?若数据在传输过程中最后两个1都变成了0，问接收端能否发现?采用CRC检验后，数据链路层的传输是否就变成了可靠的传输? 答:作二进制除法，1101011011 0000 10011得余数1110，添加的检验序列是1110.作二进制除法， 信息理论基础习题集【考前必看】 一、判断： 1、必然事件和不可能事件的自信息量都是0 。 2、自信息量是p(x i)的单调递减函数。 3、单符号离散信源的自信息和信源熵都具有非负性。 4、单符号离散信源的自信息和信源熵都是一个确定值。 5、单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的 6、自信息量、条件自信息量和联合自信息量之间有如下关系： 7、自信息量、条件自信息量和互信息量之间有如下关系：8当随机变量X和丫相互独立时，条件熵等于信源熵。 9、当随机变量X和丫相互独立时，I (X; Y) =H (X)。 10、信源熵具有严格的下凸性。 11、平均互信息量1(X;Y)对于信源概率分布p(X i)和条件概率分布p(y j/x i) 都具有凸函数性。 12、m阶马尔可夫信源和消息长度为m 的有记忆信源，其所含符号的依赖关系相同。 13、利用状态极限概率和状态一步转移概率来求m 阶马尔可夫信源的极限熵。 14、定长编码的效率一般小于不定长编码的效率。 15、信道容量C是I (X；丫)关于p (X)的条件极大值。 16、离散无噪信道的信道容量等于log2n，其中n是信源X的消息个数。 17、信道无失真传递信息的条件是信息率小于信道容量。 18、最大信息传输速率，即：选择某一信源的概率分布(p (X),使信道所能传送的信息率的最大值。 19、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小。 20、率失真函数对允许的平均失真度具有上凸性。 21、信源编码是提高通信有效性为目的的编码。 22、信源编码通常是通过压缩信源的冗余度来实现的。 23、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 24、一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。 25、在编m (m>2)进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。 26、对于BSC信道，信道编码应当是一对一的编码，因此，消息m的长度等于码字 c 的长度。 27、汉明码是一种线性分组码。 28、循环码也是一种线性分组码。 一、填空题（共15分，每空1分） 1、当时，信源与信道达到匹配。 2、若高斯白噪声的平均功率为6 W，则噪声熵为。如果一个平均功率为9 W的连续信源的熵等于该噪声熵，则该连续信源的熵功率为。 3、信源符号的相关程度越大，信源的符号熵越，信源的剩余度越。 4、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的统计特性，对概率的符号用短码，对概率的符号用长码，从而减少平均码长，提高编码效率。 8、香农第一编码定理指出平均码长的理论极限值为，此时编码效率为。 4、在下面空格中选择填入数学符号“=，≥，≤，>”或“<” （1）()()2212X X H H = X ()X 3H = ()3 321X X X H （2）()XY H ()()Y X H Y H |+ ()()X H Y H +。 9、有一信源X ，其概率分布为??? ? ????=??????818141214321x x x x P X ，若对该信源进行１００次扩展， 则每扩展符号的平均信息量是 。 11、当 时，信源熵为最大值。８进制信源的最大熵为 。 二、判断题（正确打√，错误打×）（共5分，每小题1分） 1）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大。 （ ） 2）即时码可以在一个码字后面添上一些码元构成另一个码字。 （ ） 3）连续信源的熵可正、可负、可为 零， （ ） 4）平均互信息始终是非负 的。 （ ） 5） 信道容量C 只与信道的统计特性有关，而与输入信源的概率分布无关。 （ ） 三、（10分）计算机终端发出A 、B 、C 、D 、E 五种符号，出现概率分别为1/16，1/16，1/8，1/4，1/2。通过一条带宽为18kHz 的信道传输数据，假设信道输出信噪比为2047，试计算： 1） 香农信道容量； 2） 无误码传输的最高符号速率。 四、（10分）有一信源发出恒定宽度，但不同幅度的脉冲，幅度值x 处在1a 和2a 之间。此信源连至信道，信道接收端接收脉冲的幅度y 处在1b 和2b 之间。已知随机变量X 和Y 的联合概率密度函数 ) )((1)(1212b b a a xy p --= 试计算)(),(),(XY h Y h X h 和);(Y X I 信息论与编码 1. 通信系统模型 信源—信源编码—加密—信道编码—信道—信道解码—解密—信源解码—信宿 | | | （加密密钥） 干扰源、窃听者 （解密秘钥） 信源：向通信系统提供消息的人或机器 信宿：接受消息的人或机器 信道：传递消息的通道，也是传送物理信号的设施 干扰源：整个系统中各个干扰的集中反映，表示消息在信道中传输受干扰情况 信源编码： 编码器：把信源发出的消息变换成代码组，同时压缩信源的冗余度，提高通信的有效性 （代码组 = 基带信号；无失真用于离散信源，限失真用于连续信源） 译码器：把信道译码器输出的代码组变换成信宿所需要的消息形式 基本途径：一是使各个符号尽可能互相独立，即解除相关性；二是使各个符号出现的概率尽可能相等，即概率均匀化 信道编码： 编码器：在信源编码器输出的代码组上增加监督码元，使之具有纠错或检错的能力，提高通信的可靠性 译码器：将落在纠检错范围内的错传码元检出或纠正 基本途径：增大码率或频带，即增大所需的信道容量 2. 自信息：()log ()X i i I x P x =-，或()log ()I x P x =- 表示随机事件的不确定度，或随机事件发生后给予观察者的信息量。 条件自信息：//(/)log (/)X Y i j X Y i j I x y P x y =- 联合自信息：(,)log ()XY i j XY i j I x y P x y =- 3. 互信息：;(/) () (;)log log ()()()i j i j X Y i j i i j P x y P x y I x y P x P x P y == 信源的先验概率与信宿收到符号消息后计算信源各消息的后验概率的比值，表示由事件y 发生所得到的关于事件x 的信息量。 4. 信息熵：()()log ()i i i H X p x p x =-∑ 表示信源的平均不确定度，或信源输出的每个信源符号提供的平均信息量，或解除信源不确定度所需的信息量。 条件熵：,(/)()log (/)i j i j i j H X Y P x y P x y =- ∑ 联合熵：,()()log ()i j i j i j H XY P x y P x y =-∑ 5. 平均互信息：,()(;)()log ()() i j i j i j i j p x y I X Y p x y p x p y =∑ 信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。 第一章 1.通信系统的基本模型: 2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等 第二章 １.自信息量：一个随机事件发生某一结果所带的信息量。 ２.平均互信息量：两个离散随机事件集合X 和Y ，若其任意两件的互信息量为 I （Xi;Yj ），则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I （X;Y ）表示 ３.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信源的剩余度。信源熵的相对率(信源效率)：实际熵与最大熵的比值 信源冗余度： 0H H ∞=ηη ζ-=1 意义：针对最大熵而言，无用信息在其中所占的比例。 ３.极限熵： 平均符号熵的N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。 ４. ５.离散信源和连续信源的最大熵定理。 离散无记忆信源，等概率分布时熵最大。 连续信源，峰值功率受限时，均匀分布的熵最大。 平均功率受限时，高斯分布的熵最大。 均值受限时，指数分布的熵最大 ６.限平均功率的连续信源的最大熵功率： 称为平均符号熵。 定义：即无记忆有记忆N X H H X H N X H X NH X H X H X H N N N N N N )() ()()()()()(=≤∴≤≤ 若一个连续信源输出信号的平均功率被限定为p ，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为 1log 22 ep π.对于N 维连续平稳信源来说，若其输出的N 维随机序列的协方差矩阵C 被限定，则N 维随机矢量为正态分布时信源 的熵最大，也就是N 维高斯信源的熵最大，其值为1log ||log 222N C e π+ 7.离散信源的无失真定长编码定理： 离散信源无失真编码的基本原理 原理图 说明： （1） 信源发出的消息：是多符号离散信源消息，长度为L,可以用L 次扩展信 源表示为： X L =(X 1X 2……X L ) 其中，每一位X i 都取自同一个原始信源符号集合（n 种符号）： X={x 1，x 2，…x n } 则最多可以对应n L 条消息。 （2）信源编码后，编成的码序列长度为k,可以用k 次扩展信宿符号表示为： Y k =(Y 1Y 2……Y k ) 称为码字/码组 其中，每一位Y i 都取自同一个原始信宿符号集合： Y={y 1，y 2，…y m } 又叫信道基本符号集合（称为码元，且是m 进制的） 则最多可编成m k 个码序列，对应m k 条消息 定长编码：信源消息编成的码字长度k 是固定的。对应的编码定理称为定长信源编码定理。 变长编码：信源消息编成的码字长度k 是可变的。 8.离散信源的最佳变长编码定理 最佳变长编码定理：若信源有n 条消息，第i 条消息出现的概率为p i ，且 p 1>=p 2>=…>=p n ，且第i 条消息对应的码长为k i ，并有k 1<=k 2<=…<=k n信息论基础各章参考答案
计算机网络谢希仁(第七版)复习题(带答案)
信息论复习知识点汇总
信息论测试题及答案
信息论基础及答案
计算机网络谢希仁第七版课后答案完整版
信息论期末总结
计算机网络谢希仁第七版复习题带答案
信息论与编码试卷及答案(多篇)
计算机网络谢希仁第七版第三章课后答案完全版
信息论习题
信息论试题
信息论与编码总结
信息论基础理论与应用考试题及答案
(完整版)信息论与编码概念总结
相关主题
文本预览