信息论与编码

信息论与编码

信息论与编码论文

班级：通信12-3班

学号：1206020321

姓名：郑兴月

【摘要】随着计算机技术、通信技术和网络技术等信息技术的快速发展，信息技术已经成为当今社会应用范围最广的高新技术之一。信息论是信息技术的主要理论技术基础之一，它的一些基本理论在通信、计算机、网络等工程领域中得到了广泛的应用。目前，信息论所研究的范畴已经超过了通信及其相近学科，在其他学科应用也很广泛。本学期我们开设了“电子信息工程导论”这一课程，我在其中对信息论的基础理论有了初步的了解，借此文对信息论基本理论及应用问题进行论述。

【关键词】信息论电子信息工程通信网络

Basic Theory Study Of Information Theory And Coding

Abstract: With the rapid development of information

technologies such as computer technology, communication

technology and network technology, information technology has

become one of the most advanced technologies widely used in

modern society. Information theory is one of the main theoretical

base of information technology. Some of its basic theories are

widely used in engineering fields like communication,computer

and network.Recently,the categories of the study of information

theory has exceeded communication and similar disciplines,and

is widely used in other disciplines.This term,we’re offered the

course" Electronic And Information Engineering Introduction ",I

have a preliminary understanding about the basic theory of

information theory.This paper is to discuss the basic theories and

application problems of information theory. Key Words: Information Theory; Electronic And Information

Engineering Introduction; Communication; Network

1.前言

人类社会的生存和发展无时不刻都离不开信息的获取、传递、再生、控制和利用。信息论正式一门把信息作为研究对象的科学，以揭示信息的本质特性和规律为基础，应用概率论。随机过程和树立统计等方法来研究信息的存储、传输、处理、控制和利用。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。许多科学技术问题（如无线电通讯、电视、遥测、图像和声音识别等）都必须以信息论为理论指导才能很好地解决。信息论的研究对象又可以是广义的信息传输和信息处理系统。从最普通的电报、电话、传真、电视、雷达、声纳, 一直到各类生物神经的感知系统, 以及大到人类社会系统,可以用同一的信息论观点加以阐述, 都可以概括成某种随机过程或统计学的数学模型

加以深入研究。

2.信息论发展简史

信息论从诞生到今天，已有半个多世纪的历程，现已成为一门独立的理论学科。回顾它的发展历史，我们可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。 信息论形成的背景和基础

信息论是在长期的通信工程实践和理论研究的基础上发展起来的。电的通信系统（电信系统）已有170多年的历史了。法拉第(M．Faraday)于1820年—1830年期间发现电磁感应的基本规律后，不久莫尔斯(F．B．Morse)就建立起电报系统(1832—1835)。1876年，贝尔(A．G．BELL)又发明了电话系统。1864年麦克斯韦(Maxell)预言了电磁波的存在，1888年赫兹(H．Hertz)用实验证明了这一预言。接着1895年英国的马可尼(G.Marconi)和俄国的波波夫(A．C．ΠoΠoB)发明了无线电通信。随着工程技术的发展，有关理论问题的研究也逐步深入。1832年莫尔斯电报系统中高效率编码方法对后来香农的编码理论是有启发的。1885年凯尔文(L.Kelvin)曾经研究过一条电缆的极限传信率问题。1922年卡逊(J．R．Carson)对调幅信号的频谱结构进行了研究，并建立了信号频谱概念。1924年奈奎斯特(H．Nyquist)指出，如果以一个确定的速度来传输电报信号，就需要一定的带宽。他把信息率与带宽联系起来了。1928年哈特莱(R．V．Hartley)发展了奈奎斯特的工作，并提出把消息考虑为代码或单语的序列。他的工作对后来香农的思想是有影响的。1936年阿姆斯特朗(E．H．Armstrong)认识到在传输过程中增加带宽的办法对抑制噪声干扰肯定有好处。根据这一思想他提出了宽偏移的频率调制方法，该方法是有划时代意义的。 20世纪40年代初期，由于军事上的需要，维纳在研究防空火炮的控制问题时，提出了“平稳时间序列的外推，内插与平滑及其工程应用”的论文。他把随机过程和数理统计的观点引入通信和控制系统中来，揭示了信息传输和处理过程的统计本质。他还利用早在30年代初他本人提出的“广义谐波分析理论”对信息系统中的随机过程进行谱分析。这就使通信系统的理论研究面貌焕然一新，产生了质的飞跃。

Shannon信息论的建立和发展

1948年6月和10月，Shannon在贝尔实验室出版的著名的《贝尔系统技术》杂志上发表了两篇有关《通信的数学理论》的文章。在这两篇论文中，他用概率测度和树立统计的方法系统地讨论了通信的基本问题，首先严格定义了信息的度量—熵的概念，又定义了信道容量的概念，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。

Shannon理论的核心是：揭示了在通信系统中采用适当的编码后能够实现高效率和高可靠地传输信息，并得出了信源编码定理和信道编码定理。从数学观点看，这些定理是最优编码的存在定理。但从工程观点看，这些定理不是结构性的，不能从定理的结果直接得出实现最优编码的具体途径。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为人们寻找出最佳通信系统提供了重要的理论依据。而其理论到目前主要经历了以下几个方面的发展：Shannon信息理论的数学严格化、无失真信源编码定力和技术的发展、信道纠错编码的发展、限失真信源编码的提出和发展、多用户、网络信息论的发展、信息保密与安全理论的提出与发展，从此以后，纠错码和密码学相结合的研究迅速发展起来。目前，在Shannon信息论方面，值得注意的研究动向是：

信息概念的深化；

网络信息理论和多重相关信源编码理论的发展和应用；

通信网的一般信息理论研究；

记录信道的信息理论研究；

信息率失真理论的发展及其在数据压缩和图像处理中的应用；

信息论在大规模集成电路中的应用等问题；

这些领域都是与当前信息工程的前景—光通信、空间通信、计算机互联网、移动通信、多媒体通信、语音和图像的信息处理等密切相关的。

信息论与信息科学

一般说来, 信息论学科所研究的范围, 大致可以分为下述三个主要方向:

（1）以编码理论为中心的狭义信息论, 主要研究信息系统模型, 信息的度量, 信道容量, 信源统计特性, 信源编码, 信道编码, 这些是香农信息论的中心向题, 也是研究得比较深入和成熟的间题。

（2）以信号作为主要研究对象, 包括信息和噪声的统计分析, 信号的最佳过滤、预测、检测和估值等理论, 如维纳过滤理论, 卡尔曼过滤理论, 卡切里尼可夫潜在抗干扰性最佳接收理论等。

（3）以计算机为中心的信息处理系统基本理论, 包括语言、文字、图象的模式识别,自动机器翻译, 机器学习理论等, 这些是近年来特别引人注目的研究课题。

目前，信息理论与技术不仅在通信、计算机和自动控制等电子学领域中得到直接的应用，而且还广泛的渗透到生物学、医学、生理学、语言学、人文学、社会学和经济学各领域。在信息论与数学、物理、自动控制系统工程、人工智能、生物学、电子计算机等学科互相渗透，互相结合的基础上，形成了一门综合性的新兴学科—信息科学。

信息科学作为一门独立的学科，它是以信息作为主要研究对象，以信息的运动规律和利用信息的原理作为主要的研究内容，以信息科学方法论作为主要的研究手段，以扩大人类的信息功能（特别是智力功能）为主要的研究目标的一门新兴学科。

信息科学理论主要包括信息定性理论、信息定量理论和信息应用理论。

信息科学理论、信息科学技术和信息科学方法三者之间既有区别，又有相互联系和作用而构成信息科学的整体。毫无疑问，随着信息论和信息科学的发展，人们将会揭示出客观世界和人类主观世界更多的内在规律，从而使人们有可能创造出各种性能优异的信息获取系统、信息传输系统、信息控制系统及智能信息系统，使人类进一步从自然力的束缚下得到解放和自由。

3．信息论与编码的应用

信息作为一种资源，如何开发、利用、共享是人们普遍关注的问题。信息是信息论中最基本最重要的概念。信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学。其基本任务是为设计有效而可靠的通信系统提供理论依据，主要特点是理论的成功应用，主要体现在信息论在数据压缩、密码学、统计及信号处理中的应用。

3.1. 信息论在数据压缩理论中的应用

数据压缩的主要目的是力求用最少的数据表示信源所发出的信号，使信号占用的存储空间尽可能小，以达到提高信息传输速度的目的。数据压缩在近代信息处理问题中有大量的应用，无论在数据存储或传送中，通过数据压缩不仅可以大大节省资源利用的成本，而且把一些原来无实用意义的技术，如多媒体技术中的一些问题，达到具有实用意义的标准。

数据压缩作为信息论研究中的一项内容，主要是有关数据压缩比和各种编码方法的研究，即按某种方法对源数据流进行编码，使得经过编码的数据流比原数据流占有较少的空间。其中基于符号频率统计的哈夫曼编码效率高，运算速度快，实现方式灵活，使得其在数据压缩领域得到了广泛的应用。

数据压缩技术的不断完善是依靠在信息论这门学科的成长上的，