信息论在信息与通信工程领域的应用.ppt

信息论在通信工程中的应用信息论是由克劳德·香农于1948年提出的，它是研究在信息传输过程中信息的传输、表示、处理、存储等问题的数学理论。

信息论中的基本概念包括：信息量、熵、信道容量等。

信息论不仅在通信工程、计算机科学等领域中得到广泛的应用，而且在生物学、财务等领域也有着很重要的应用。

在通信工程中，信息论有着广泛的应用，特别是在数码通信和无线通信中的应用最为广泛，下面我们就从这两个方面来介绍信息论在通信工程中的应用。

一、数码通信中的信息论应用数码通信中，数据在传输过程中会遭受到各种干扰，如噪声、衰落等。

信息论研究了如何通过编码和解码技术，使数据在传输过程中尽可能地保持原始信息的完整性。

下面我们将介绍两个信息论在数码通信中的应用例子：调制与编码。

1. 调制调制是一种将数字信号转换为模拟信号的技术，在无线通信和有线通信中都有着广泛的应用。

调制可以将传输数据的信息通过某一个特定的载波频率进行传输，经过调制的信号的可靠性会提高，同时也可以被用来降低传输噪声的影响。

信息论中的香农定理指出，对于一个噪声随机分布的信道，最大信道容量是有限的，而调制技术的目的就是尽可能地接近这个极限。

因此，调制技术的选择对于数码通信系统的性能有着很大的影响。

2. 编码编码是数码通信中的另一个重要技术，它可以用来降低传输数据时的错误率。

编码技术包括前向纠错编码和追溯纠错编码两种。

前向纠错编码可以在传输数据的同时检测出其中的错误，而追溯纠错编码可以在传输数据出现错误时进行修复。

信息论中的海明编码是一种最常用的前向纠错编码技术。

它可以通过增加冗余信息的方式来探测和修复错误。

海明编码可以在多元数字信道中产生最小误差概率。

二、无线通信中的信息论应用对于无线通信来说，最大的问题是信号传输的距离和传输信号的信噪比。

信息论中的一些概念和技术可以帮助我们解决这些问题，下面我们将介绍两个信息论在无线通信中的应用例子：无线多输入多输出（MIMO）和功率控制。

通信的数学基石——信息论引言1948年，美国科学家香农（C. E. Shannon）发表了题为“通信的数学理论”论文，这篇划时代学术论文的问世，宣告了信息论的诞生。

文中，香农创造性地采用概率论的方法研究通信的基本问题，把通信的基本问题归结为“一方精确或近似地重现出另一方所选择的消息”，并针对这一基本问题给予了“信息”科学定量的描述，第一次提出了信息熵的概念，进而给出由信源、编码、信道、译码、信宿等组建的通信系统数学模型。

如今，信息的概念和范畴正不断地被扩大和深化，并迅速地渗透到其他相关学科领域，信息论也从狭义信息论发展到如今的广义信息论，成为涉及面极广的信息科学。

信息论将信息的传递看作一种统计现象，运用概率论与数理统计方法，给出信息压缩和信息传输两大问题的解决方法。

针对信息压缩的数学极限问题，给出了信息源编理论；针对信息传输的极限问题，则给出了信道编码理论。

《信息论基础与应用》在力求降低信息论学习对数学理论要求下，加强了信息论中基础概念的物理模型和物理意义的阐述；除此这外，该书将理论和实际相结合，增加了在基础概念的理解基础上信息论对实际通信的应用指导，并给出了相关应用的MATLAB程序实现，以最大可能消除学生对信息论学习的疑惑。

全书共分7章，第1章是绪论，第2章介绍信源与信息熵，第3章介绍信道与信道容量，第4章给出信源编码理论，第5章给出信道编码理论，在此基础上，第6章、第7章分别介绍了网络信息理论和量子信息理论。

什么是信息论什么是信息论？信息论就是回答：1）信息是如何被度量？2）如何有效地被传输？3）如果接收到的信息不正确，如何保证信息的可靠性？4）需要多少内存，可实现信息的存储。

所有问题的回答聚集在一起，形成的理论，称为信息论。

总之，信息论是研究信息的度量问题，以及信息是如何有效地、可靠地、安全地从信源传输到信宿，其中信息的度量是最重要的问题，香农首次将事件的不确定性作为信息的度量从而提出了信息熵的概念。

信息论形成的背景与基础人们对于信息的认识和利用，可以追溯到古代的通讯实践可以说是传递信息的原始方式。

随着社会生产的发展，科学技术的进步，人们对传递信息的要求急剧增加。

到了20世纪20年代，如何提高传递信息的能力和可靠性已成为普遍重视的课题。

美国科学家N.奈奎斯特、德国K.屈普夫米勒、前苏联A.H.科尔莫戈罗夫和英国R.A.赛希尔等人，从不同角度研究信息，为建立信息论做出了很大贡献。

信息论是在人们长期的通信工程实践中，由通信技术和概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。

信息论的奠基人是美国伟大的数学家、贝尔实验室杰出的科学家 C.E.香农(被称为是“信息论之父”)，他在1948年发表了著名的论文《通信的数学理论》，1949年发表《噪声中的通信》，为信息论奠定了理论基础。

20世纪70年代以后，随着数学计算机的广泛应用和社会信息化的迅速发展，信息论正逐渐突破香农狭义信息论的范围，发展为一门不仅研究语法信息，而且研究语义信息和语用信息的科学。

近半个世纪以来，以通信理论为核心的经典信息论，正以信息技术为物化手段，向高精尖方向迅猛发展，并以神奇般的力量把人类社会推入了信息时代。

信息是关于事物的运动状态和规律，而信息论的产生与发展过程，就是立足于这个基本性质。

随着信息理论的迅猛发展和信息概念的不断深化，信息论所涉及的内容早已超越了狭义的通信工程范畴，进入了信息科学领域。

信息论定义及概述信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。

核心问题是信息传输的有效性和可靠性以及两者间的关系。

它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。

基于这一理论产生了数据压缩技术、纠错技术等各种应用技术，这些技术提高了数据传输和存储的效率。

信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。

信息论信息论是一门研究信息传输和处理的学科，它涉及信号的传输、存储和处理，以及信息的量化和表示等方面。

信息论的概念最早由美国数学家克劳德·香农于1948年提出，它是通信工程和计算机科学的基础理论之一。

信息论的研究对象是信息。

那么什么是信息呢？根据香农的定义，信息是一种排除干扰的度量，它代表了一个事件的不确定性的减少。

信息的传递需要通过信号来实现，信号是用来传递信息的载体。

在传输过程中，信号可能会受到各种干扰的影响，导致信息的丢失或损坏。

信息论的目标就是通过对信号和信息的处理，使得信息的传输更加可靠和高效。

在信息论中，最基本的概念之一是熵。

熵是信息的度量方式，它表示了信源输出的平均信息量。

当一个信源的输出是均匀分布的时候，熵达到最大值；当一个信源的输出是确定的时候，熵达到最小值。

通过对信源的编码，可以将信息进行压缩，从而提高信息的传输效率。

除了熵，信息论中还有一个重要的概念是信道容量。

信道容量是指在给定的传输条件下，一个信道可以传输的最大信息量。

在通信系统设计中，我们需要选择合适的调制方式和编码方式，以使得信道的传输容量最大化。

信息论还涉及到误差校正编码、数据压缩、信源编码等方面的研究。

误差校正编码是一种技术，通过在发送端对信息进行编码，并在接收端对接收到的信息进行解码，可以检测和纠正传输过程中产生的错误。

数据压缩则是通过对信息进行编码，去除冗余信息，从而减少信息的存储和传输所需的空间和带宽。

信源编码是一种特殊的数据压缩技术，它通过对信源输出进行编码，从而减少信息传输所需的位数。

信息论的理论研究与实际应用密切相关。

例如在无线通信中，研究如何提高信道利用率和减少传输功耗；在数据存储与传输中，研究如何提高数据压缩比和减小数据传输延迟等。

信息论的成果不仅在通信工程和计算机科学领域有广泛的应用，同时也为其他学科的研究提供了理论基础。

总之，信息论的研究旨在探索信息的传输和处理规律，为信息的存储、传输和处理提供有效、可靠的技术和方法。

论信息论与编码信息论是信息科学的主要理论基础之一，它是在长期通信工程实践和理论基础上发展起来的。

信息论是应用概率论、随机过程和数理统计和近代代数等方法，来研究信息的存储、传输和处理中一般规律的学科。

它的主要目的是提高通信系统的可靠性、有效性和安全性，以便达到系统的最优化。

编码理论与信息论紧密关联，它以信息论基本原理为理论依据，研究编码和译码的理论知识和实现方法。

由于信息论方法具有相当普遍的意义和价值，因此在计算机科学、人工智能、语言学、基因工程、神经解剖学甚至金融投资学等众多领域都有广泛的应用，信息论促进了这些学科领域的发展，同时也促进了整个社会经济的发展。

人们已经开始利用信息论的方法来探索系统的存在方式和运动变化的规律，信息论已经成为认识世界和改造世界的手段，因此信息论对哲学领域也有深远的影响。

编码和译码的理论知识和实现方法。

由于信息论方法具有相当普遍的意义和价值，因此在计算机科学、人工智能、语言学、基因工程、神经解剖学甚至金融投资学等众多领域都有广泛的应用，信息论促进了这些学科领域的发展，同时也促进了整个社会经济的发展。

人们已经开始利用信息论的方法来探索系统的存在方式和运动变化的规律，信息论已经成为认识世界和改造世界的手段，因此信息论对哲学领域也有深远的影响。

信息论是应用概率论、随机过程和数理统计和近代代数等方法，来研究信息的存储、传输和处理中一般规律的学科。

它的主要目的是提高通信系统的可靠性、有效性和安全性，以便达到系统的最优化。

关于信息论的基本理论体系，1948年，香农在贝尔系统技术杂志上发表“通信的数学理论”。

在文中，他用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。

香农理论的核心是：揭示了在通信系统中采用适当的编码后能够实现高效率和高可靠地传输信息，并得出了信源编码定理和信道编码定理。

然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为寻找最佳通信系统提供了重要的理论依据。

息论的创始人是美贝尔电话研究所的数学家申农（C.E.Shannon1916——），他为解决通讯技术中的信息编码问题，突破发老框框，把发射信息和接收信息作为一个整体的通讯过程来研究，提出发通讯系统的一般模型；同时建立了信息量的统计公式，奠定了信息论的理论基础。

1948年申农发表的《通讯的数学理论》一文，成为信息论诞生的标志。

申农创立信息论，是在前人研究的基础上完成的。

1922年卡松提出边带理论，指明信号在调制（编码）与传送过程中与频谱宽度的关系。

1922年哈特莱发表《信息传输》的文章，首先提出消息是代码、符号而不是信息内容本身，使信息与消息区分开来，并提出用消息可能数目的对数来度量消息中所含有的信息量，为信息论的创立提供了思路。

美国统计学家费希尔从古典统计理论角度研究了信息理论，苏联数学家哥尔莫戈洛夫也对信息论作过研究。

控制论创始人维纳建立了维纳滤波理论和信号预测理论，也提出了信息量的统计数学公式，甚至有人认为维纳也是信息论创始人之一。

在信息论的发展中，还有许多科学家对它做出了卓越的贡献。

法国物理学家L.布里渊（L.Brillouin）1956年发表《科学与信息论》专著，从热力学和生命等许多方面探讨信息论，把热力学熵与信息熵直接联系起来，使热力学中争论了一个世纪之久的“麦克斯韦尔妖”的佯谬问题得到了满意的解释。

英国神经生理学家（W.B.Ashby）1964年发表的《系统与信息》等文章，还把信息论推广应用芋生物学和神经生理学领域，也成为信息论的重要著作。

这些科学家们的研究，以及后来从经济、管理和社会的各个部门对信息论的研究，使信息论远远地超越了通讯的范围。

信息论-信息概念信息科学是以信息为主要研究对象，以信息的运动规律和应用方法为主要研究内容，以计算机等技术为主要研究工具，以扩展人类的信息功能为主要目标的一门新兴的综合性学科。

信息科学由信息论、控制论、计算机科学、仿生学、系统工程与人工智能等学科互相渗透、互相结合而形成的。

信息论中的信息论方法与应用信息论是一门研究信息传输、存储和处理的学科，它主要关注信息的度量和通信的效率。

信息论方法和应用涵盖了多个领域，包括通信工程、计算机科学、统计学和生物学等。

本文将探讨信息论中的方法和它们在不同领域中的应用。

一、信息论的基本概念和原理信息论的基本概念包括信源、信道和编码三个要素。

信源是信息的来源，信道是信息传输的媒介，编码是将信息转化为符号的过程。

在信息论中，信息的度量使用熵来衡量，熵越大表示信息越不确定，反之则越确定。

熵的计算公式为H(X) = -Σp(x)log2(p(x))，其中p(x)表示信源输出为x的概率。

二、信息论方法的应用1. 通信工程领域信息论在通信工程领域中起到了重要的作用。

通过研究信道容量和编码理论，可以设计出更高效的通信系统。

例如，通过研究码距、纠错编码和调制技术等，可以提高信道传输的可靠性和抗干扰能力。

2. 数据压缩信息论方法在数据压缩方面具有广泛的应用。

通过研究数据的统计特性和冗余性，可以设计出高效的压缩算法。

这些算法可以将冗余信息删除或者利用编码技术对数据进行压缩，从而减少存储和传输所需的资源。

3. 密码学信息论对密码学的发展也起到了重要的推动作用。

通过研究信息论中的信息安全理论，可以设计出更安全可靠的加密算法和协议。

信息论方法还可以用于分析密码系统的安全性，并通过理论模型和数学推导来评估密码系统的强度。

4. 生物信息学信息论方法在生物信息学领域中也得到了广泛应用。

通过研究DNA序列的信息熵和互信息，可以揭示基因组的结构和功能。

信息论还可以应用于序列比对、基因识别和蛋白质结构预测等问题，从而促进生物信息学的发展。

5. 机器学习信息论方法在机器学习领域中具有重要的应用价值。

通过研究信息熵、条件熵和互信息等概念，可以对数据进行特征选择、聚类和分类等任务。

信息论方法还可以用于构建决策树、神经网络和支持向量机等机器学习模型，从而提高算法的性能和泛化能力。

“信息论”课程教学体系改革的探索与实践在2010年教育部制定的《高等学校电子信息科学与工程类本科指导性专业规范(试行)》中,《信息论》课程被规定为通信工程专业基础知识体系之一[1]。

该课程是通信工程专业的一门核心专业基础课程,目前几乎所有高校的通信工程专业本科都开设了该课程。

信息论主要目的是提高通信系统的可靠性、有效性和安全性,以达到系统的最优化。

本课程的教学任务是使学生获得有关信息的基本知识及信道传输信息的基本理论,为学生今后可能从事广义的信息系统设计提供一定的理论基础及方向性指导[2]。

该课程理论性强、涉及众多学科、概念抽象、需要广泛的数学基础,是一门“难教”、“难学”、“难考”的课程。

目前,教学中普遍存在一些问题,如:课堂教学以讲授基本概念和理论为主,忽略了理论在相关通信技术中的广泛应用,使得学生对课程的重要性认识不足;长期采用“填鸭式”教学模式,学生易形成依赖性的思维方式,缺乏学习兴趣与动力;缺乏实践、互动环节,造成理论与实际脱节等等[3]。

为了解决上述问题,达到教学规范的培养目标,适应行业对人才的需求,配合我校“通信专业课程软硬件一体化教学模式研究与实践”的教学改革项目的进行,我们课程教研组进行了以培养具有扎实理论基础和创新精神人才为目的的教学体系改革。

在培养方案、教学方法、教学内容等方面进行了探索和实践,并取得了初步成效。

1.培养方案的调整作为通信工程专业重要的专业基础课,在国内重点院校的本科培养计划中,一般是将该课程安排在大二下学期或者大三上学期。

这样安排的好处是,该门课程所要用到的数学类课程如线性代数、概率论与数理统计、随机过程等刚结束,学生对数学知识较熟悉,对信息论中复杂的公式和繁琐的数学证明,掌握起来相对容易;教师授课时对数学知识的回顾较少,提高了教学效率。

但这样的安排也使学生在学习信息论课程时,还未接触通信原理、无线通信、移动通信、光纤通信等专业基础课和专业课,对具体的通信系统的组成、功能的原理和应用一无所知,学生普遍反映在信息论课程学习过程中感到概念抽象,“看不见、摸不着、理解不了”,因此对课程中的分析.方法和基本理论不能很好的理解和应用,这严重影响了学生的学习热情和教学效果。

信息论基础与应用pdf信息论是一门研究信息传输和处理的学科，它的基础理论和方法对于现代通信、计算机科学和数据处理等领域具有重要的意义。

信息论的基本概念和原理可以通过一本名为《信息论基础与应用》的PDF文档来学习和了解。

这本PDF文档首先介绍了信息论的基本概念和背景知识。

它解释了信息的定义和度量方法，以及信息熵和条件熵的概念。

通过对信息熵和条件熵的计算和分析，读者可以了解信息的不确定性和可预测性，并学会如何利用信息熵来衡量和比较不同的信息源和信道。

接下来，这本PDF文档介绍了信息论的一些重要定理和原理。

其中最著名的是香农的噪声信道编码定理，它表明在存在噪声的信道中，通过适当的编码和解码方法，可以实现任意小的错误概率。

这个定理对于现代通信系统的设计和优化具有重要的指导意义。

此外，这本PDF文档还介绍了信息论在数据压缩和加密方面的应用。

数据压缩是指通过编码方法将数据表示为更紧凑的形式，以减少存储空间和传输带宽的需求。

信息论提供了一些有效的压缩算法和编码方法，如霍夫曼编码和算术编码。

而数据加密则是指通过密码学方法将数据转化为不可读的形式，以保护数据的机密性和安全性。

信息论提供了一些重要的加密算法和协议，如RSA算法和Diffie-Hellman密钥交换协议。

最后，这本PDF文档还介绍了信息论在其他领域的应用。

例如，在机器学习和模式识别中，信息论可以用来衡量特征的重要性和相关性，以及评估分类和聚类算法的性能。

在生物信息学中，信息论可以用来分析和比较DNA和蛋白质序列的相似性和进化关系。

在金融和经济学中，信息论可以用来研究市场信息的传播和价格波动的原因。

总之，这本名为《信息论基础与应用》的PDF文档是一本介绍信息论基本概念和应用的重要参考资料。

通过学习和理解其中的内容，读者可以深入了解信息论的原理和方法，并将其应用于实际问题的解决中。

无论是从事通信工程、计算机科学还是数据科学的专业人士，都可以从这本PDF文档中获得丰富的知识和启发。

数学在通信技术中的重要性与发展通信技术在现代社会中扮演着至关重要的角色，而数学作为通信技术的基石，发挥着不可或缺的作用。

本文将探讨数学在通信技术中的重要性和其发展过程。

一、数学在通信技术中的重要性1. 编码与解码在通信中，信息需要经过编码与解码的过程才能传递。

数学中的编码理论和解码算法为通信工程师提供了重要的工具。

通过数学的手段，我们能够将源信息转化为能够高效传输的编码形式，并且在接收端还原出准确的信息内容。

2. 信道建模与调制技术通信中的信道是指信息传输的媒介，可以是无线信号传播的空间，也可以是光纤等有线介质。

数学通过建立信道模型来描述信道的特性和行为，进而为工程师提供了更好的信号设计和传输策略。

此外，数学还在调制技术中扮演了重要角色，通过对信号进行调制，使其适应不同的信道环境和传输需求。

3. 误差控制与纠错编码通信中常常伴随着各种干扰和噪声，导致信息传输过程中的误码。

为了提高通信系统的可靠性，数学在误差控制和纠错编码中起到重要作用。

通过数学模型的建立和分析，我们能够设计出具有纠错能力的编码方案，使得接收端能够在一定程度上恢复出原始信息。

4. 信息论与压缩算法信息论是研究信息的传输和处理的数学理论。

通过信息论的研究，我们可以对通信中的信息传输效率进行量化和优化。

此外，数学在数据压缩算法中也发挥着重要作用，通过压缩算法可以减少数据传输的开销和占用的带宽。

二、数学在通信技术中的发展1. 香农的信息论信息论是通信技术中的重要理论基础，而信息论的奠基人克劳德·香农正是一位研究数学的科学家。

香农于20世纪40年代提出了“信息熵”的概念，用于描述信息的不确定性，从而为后来的编码与解码理论打下了基础。

2. 数字信号处理数字信号处理是一门研究数字信号处理和分析的科学，也是通信技术中必不可少的一部分。

数学在数字信号处理中的应用包括信号的傅里叶分析与变换、滤波器设计等。

这些数学工具和算法使得我们能够更好地理解和处理数字信号，提高通信的质量和可靠性。

信息论的基本理论和应用信息论是研究信息传输和处理的数学分支，其基于对信息量和信息传输速率的量化分析，为通信、信息处理、控制系统等领域提供了一套理论框架。

信息论的重要性在于，它极大地促进了人类对信息科学发展的深入认识，丰富了我们对信息的理解和实际应用。

信息论的基本概念信息的基本单位是比特，是“Binary Digit”的缩写，表示用二进制数码表示的信息单元。

比特是最小的信息单元，一位二进制数可以表示两种状态（0或1），因此是最基本的信号元素。

信息量是指用比特表示的信息大小，是反映信息不确定性的度量。

信息量与概率有关，当事件发生的概率越小，所包含的信息量就越大。

以翻译为例，听到一个人说英文可以得出的信息较少，收到一封电报就不同了，文字比较准确地传递了信息，包含的信息量相对较大。

信息熵是对信息量的量化，它揭示了一个信源（发出消息的源头）内部自身的不确定性。

信息熵越大，信源的不确定性也越大，所包含的信息量也越大。

例如，在一个公平掷硬币的概率试验中，结果的不确定性很高，因此信息熵也很大，为1。

信息熵还与信息编码有关。

信息编码是将原信息用少量的比特来表示的一种方法，可以提高信息传输的效率和可靠性。

为了使编码的效率尽可能高，我们需要有一个标准，即编码的平均码长应该尽量短。

而通过定义信息熵可以得出信息编码的最低平均码长，这也称为信息编码理论。

信息论的应用信息论为通信领域提供了重要的理论基础，包括信道编码、信号传输、信道容量等研究。

信道编码是为了提高通信中的抗干扰能力，如当一段信号遭到干扰时，通过纠错码的检测和恢复，可以确保消息的完整性。

信号传输是使得消息信号在信道上传输得到的研究，其中工程学和物理学的知识密切相关。

传输通信中的信道包括光纤、卫星等，也包括更基本的有线和无线通信。

信道容量指的是特定信道上传输数据的最大速率，这是一个通信系统的重要性能指标。

例如，带宽表示信道传输的数据速率，其值受到信噪比、码率等因素的影响。

摘要:信息是自从人类出现以来就存在于这个世界上了，天地万物，飞禽走兽，以及人类的生存方式都离不开信息的产生和传播。

人类每时每刻都在不停的接受信息，传播信息，以及利用信息。

而信息理论的提出却远远落后于信息的出现，它是在近代才被提出来而形成一套完整的理论体系。

信息论是信息科学的主要理论基础之一，它是在长期通信工程实践和理论基础上发展起来的。

是应用概率论、随机过程和数理统计和近代代数等方法，来研究信息的存储、传输和处理中一般规律的学科。

信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆离散和连续信道的信道容量；无失真信源编码定理。

它的主要目的是提高通信系统的可靠性、有效性和安全性，以便达到系统的最优化。

编码理论与信息论紧密关联，它以信息论基本原理为理论依据，研究编码和译码的理论知识和实现方法。

关键字：信息信息论主要基本理论信息度量编码信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学科学，是将信息的传递作为一种统计现象，同时它也给出了估算通信信道容量的方法。

它从诞生到今天，已经五十多年的历史了，是29世纪40年代后期从长期通讯实践中经过抽象、概括、提高而逐步总结出来的，现在已经成为一门独立的理论科学。

本书系统地介绍了香农信息论的基本内容及其应用，即信息的度量、信道容量以及信源和信道编码理论等问题。

全书共分九章，其中第1章主要介绍了信息的概念，信息论研究的对象、目的和内容，信息论的形成及发展。

第2章详细地介绍了各类离散信源的信息度量、信源熵及其性质。

第3章主要介绍了离散信源输出信息的有效表示问题，即离散信源的无失真编码问题，主要包括离散无记忆信源的等长和变长编码定理，离散平稳信源和马尔可夫信源的编码定理以及典型的变长码的编码方法。

第4章主要介绍了信道的数学模型和分类、信道传输的平均互信息、信道容量的概念及其各种计算方法。