泛函分析学习报告

2012~2013学年第2学期《信息论与编码》课程论文题目信息论及其前沿应用专业信息与通信工程姓名徐玉伟学号2010208303二〇一三年六月十日信息论及其前沿应用学号：2010208303 姓名：徐玉伟专业：信息与通信工程摘要：信息论目前应用在我们生活的方方面面，生活中随处可见信息论应用的身影。

本文首先介绍了信息论，阐述了信息、信息论的意义，介绍了信息论的发展阶段，随后重点介绍了信息论在各行各业中的具体应用，最后对信息论的发展前景进行了展望。

关键词：信息信息论香农信息墒压缩感知情报分析统计信号处理一.信息论的基本认识1.1什么是信息“信息”一词有着很悠久的历史，早在两千多年前的西汉，即有“信”字的出现。

“信”常可作消息来理解。

作为日常用语，“信息”经常是指“音讯、消息”的意思，但至今信息还没有一个公认的定义。

信息是物质、能量、信息及其属性的标示。

信息是确定性的增加。

信息是事物现象及其属性标识的集合。

信息以物质介质为载体，传递和反映世界各种事物存在方式和运动状态的表征。

信息是物质运动规律总和，信息不是物质，也不是能量。

信息是客观事物状态和运动特征的一种普遍形式，客观世界中大量地存在、产生和传递着以这些方式表示出来的各种各样的信息。

信息论的创始人香农认为：“信息是能够用来消除不确定性的东西”。

信息相关资料：图片信息（又称作讯息），又称资讯，是一种消息，通常以文字或声音、图象的形式来表现，是数据按有意义的关联排列的结果。

信息由意义和符号组成。

文献是信息的一种，即通常讲到的文献信息。

信息就是指以声音、语言、文字、图像、动画、气味等方式所表示的实际内容。

信息是抽象于物质的映射集合。

信息是有价值的，就像不能没有空气和水一样，人类也离不开信息。

因此人们常说，物质、能量和信息是构成世界的三大要素。

所以说，信息的传播是极具重要与有效的。

信息是事物的运动状态和过程以及关于这种状态和过程的知识。

它的作用在于消除观察者在相应认识上的不确定性，她的数值则以消除不确定性的大小，或等效地以新增知识的多少来度量。

虽然有着各式各样的传播活动，但所有的社会传播活动的内容从本质上说都是信息。

目前对信息这个概念的描述很多很繁杂，但是却不能涵盖信息的本质特征。

其实，用一个词就可以说明信息的本质：记录。

具体表述为：信息是事物在相互作用中所“刻画”出的记录。

[2]这一表述可以说明信息产生、存在、运动、产生进一步影响等多种问题。

我们提到信息往往在潜意识里就是指一个概念群。

因为，信息不是一个孤立的概念。

有时你会把它理解为一个名词，有时则理解为动词、形容词，原因就是信息概念本身就包含诸多语义。

另外，这里所说的“事物”，包括自然界的所有事物，不仅只包含与人类相关的事物，如语言、思维、文字、计算机等等。

1.1.1本体论层次的信息：在最一般的意义上，亦即没有任何约束条件，我们可以将信息定义为事物存在的方式和运动状态的表现形式。

这里的“事物”泛指存在于人类社会、思维活动和自然界中一切可能的对象。

“存在方式”指事物的内部结构和外部联系。

“运动状态”则是指事物在时间和空间上变化，信息的载体所展示的特征、态势和规律。

1.1.2认识论层次的信息：主体所感知或表述的事物存在的方式和运动状态。

主体所感知的是外部世界向主体输入的信息，主体所表述的则是主体向外部世界输出的信息。

在本体论层次上，信息的存在不以主体的存在为前提，即使根本不存在主体，信息也仍然存在。

在认识论层次上则不同，没有主体，就不能认识信息，也就没有认识论层次上的信息。

[4]1.2 什么是信息论信息论是由美国数学家香农创立的，它是用概率论和数理统计方法，研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题，并从量的方面来研究系统的信息如何获取、加工、处理、传输和控制的一门科学。

信息就是指消息中所包含的新内容与新知识，是用来减少和消除人们对于事物认识的不确定性。

信息是一切系统保持一定结构、实现其功能的基础。

狭义信息论是研究在通讯系统中普遍存在着的信息传递的共同规律、以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。

广义信息论被理解为使运用狭义信息论的观点来研究一切问题的理论。

信息论认为，系统正是通过获取、传递、加工与处理信息而实现其有目的的运动的。

信息论能够揭示人类认识活动产生飞跃的实质，有助于探索与研究人们的思维规律和推动与进化人们的思维活动。

信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。

信息传输和信息压缩是信息论研究中的两大领域。

这两个方面又由信息传输定理、信源－信道隔离定理相互联系。

它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。

[1]二.信息论的发展阶段信息论的发展经历了三个阶段。

第一阶段：1948年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。

第二阶段：20世纪50年代，信息论向各门学科发起冲击；60年代信息论进入一个消化、理解的时期，在已有的基础上进行重大建设的时期。

研究重点是信息和信源编码问题。

第三阶段：到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。

人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。

信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破香农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。

[3]三.信息论的应用信息论被广泛应用于：编码学、密码学与密码分析学、数据传输、数据压缩、检测理论、估计理论等学科领域。

3.1 信息论在压缩感知方面的应用压缩感知理论首先由candes,Romberg,Tao和Donodol等人在2004年提出,相关文献直到2006年才发表。

candes指出如果信号在某一正交空间具有稀疏性,那么就能够通过一个与选定正交基不相关的矩阵对信号进行投影变换,进而将原信号压缩为低维信号,并能够通过求解相应的优化问题以较高概率重构原始信号。

作为压缩感知理论的应用,在进行信号采集与获取的过程中,能够以较低的频率(低于奈奎斯特频率)采样信号,并且能够以高概率重构原始信号。

该理论表明,可以在不丢失重构原始信号所需信息的条件下,通过较少的采样次数实现对信号的降维处理,即实现了在采样信号的同时压缩信号的目的。

显然,这样的数据采集方式相对传统的奈奎斯特采样方式,节约了大量的采样资源和传输成本，是信号处理领域的重大发现和创新。

基于这一理论,Kriolosl等设计了基于压缩感知理论的模拟一数字转换器。

Laskalsl等人进一步发展了基于随机采样系统的模拟一数字信息转换器,并给出了随机采样的两种实现模型。

信息论之父香农在1948年发表的论文《通信的数学理论》一文中指出，任何信息都有冗余，冗余大小和信息中每个符号的出现概率或者说不确定性有关[2]。

香农把信息中排除了冗余后的平均信息量称为信息熵，并给出了计算信息熵的数学表达式，这为数据压缩奠定了理论基础。

数据压缩的主要目的是力求用最少的数据表示信源所发出的信号，使信号占用的存储空间尽可能小，以达到提高信息传输速度的目的。

数据压缩在近代信息处理问题中有大量的应用，无论在数据存储或传送中，通过数据压缩不仅可以大大节省资源利用的成本，而且把一些原来无实用意义的技术，如多媒体技术中的一些问题，达到具有实用意义的标准。

数据压缩作为信息论研究中的一项内容，主要是有关数据压缩比和各种编码方法的研究，即按某种方法对源数据流进行编码，使得经过编码的数据流比厡数据流占有较少的空间。

其中基于符号频率统计的哈夫曼编码效率高，运算速度快，实现方式灵活，使得其在数据压缩领域得到了广泛的应用。

不过，哈夫曼所得的编码长度只是对信息熵计算结果的一种近似，还无法真正逼近信息熵的极限。

所以尽管哈夫曼编码具有良好的压缩性能，也一直占据重要的地位，还是不断有基于哈夫曼编码的改进算法提出。

算数编码是一种可以成功地逼近信息熵极限的编码方法，它与部分分配预测模型结合，[12]开发了压缩效果近乎完美的压缩算法。

算数编码虽然可以获得最短的编码长度，但其本身的复杂性也使得算数编码的任何具体实现在运行时都慢如蜗牛，导致难以满足日常应用的需求。

此时，LZ 系列算法的优越性很快就在数据压缩领域里体现了出来，LZ 系列算法基本解决了通用数据压缩中兼顾速度与压缩效果的难题。

数据压缩技术的不断完善是依靠在信息论这门学科的成长上的，信息能否被压缩以及能在多大程度上被压缩与信息的不确定性有直接的关系，人工智能技术将会对数据压缩的未来产生重大影响。

3.2 信息论在信号处理中的应用信号处理包括数据、影象、语声或其他的信号的处理，从信息论的观点看，信号则是观察客观事物表达其相应信息的技术手段，也就是特定信息的载体。

信息是通过信号来表达的，对信息的加工和处理，也就是信号的加工和处理。

所有处理过程无非是信源编码，变换，过滤或决策过程，其实变换也是一种编码过程。

[11]这些过程中的大部分的信息论基础是信息率失真理论。

譬如数字信号处理，其技术可以归结为以快速傅里叶变换和数字滤波器为核心，以逻电路为基础，以大规模集成电路为手段，利用软硬件来实现各种模拟信号的数字处理，其中要用到信息论中的信号检测、信号变换、信号的调制和解调、信号的运算、信号的传输和信号的交换等。

[5]3.3信息论在作战效能评估中的应用现代高技术战争是一场信息化战争,其核心和纽带是信息,而信息是信息论中的核心,信息的度量是其研究的基本问题,信息熵理论是其基础理论。

因此基于信息论中一些基本理论,试图探讨一种新的作战效能评估方法是当前军事研究的一个热点。

由于军事行动中存在大量的随机性和不确定性,因此从信息的不确定性着手评估其作战效能是可行的, 也是近年来作战效能评估研究的一个新方向。

将作战过程分解成多个节点,以信息论中自信息量(不确定性的定量表示)为度量纽带,对信息熵函数进行改造,探索出一种新的作战效能评估方法。

该方法计算简单,能研讨出各影响因素影响程度的高低,并能在不同假设背景下很方便地进行效能验模和灵敏度分析。

为了提高该方法的可信度,需要加强作战任务的需求分析,力求得到准确的影响因素隶属度,这样计算出来的作战效能才更具有实际意义和实用价值。

[13]3.4信息论在统计中的应用信息论在统计中的应用一般指信息量在统计中的应用，也有编码定理与码结构在统计中的应用等问题。

由于统计学研究的问题日趋复杂，如统计模型从线性到非线性，统计分布从单一分布到混合分布，因此信息量在统计中的作用日趋重要，在许多问题中以信息量作为它们的基本度量[10]。