学号：201122010835 姓名：李毅
信息论在图像处理中的应用
摘要：把信息论的基本原理应用到图像处理中具有十分重要的价值。本文主要从评估图像捕捉部分性能的评估、图像分割算法这两个个方面阐述信息论在图像处理中的应用。 通过理论分析来说明使用信息论的基本理论对图像处理的价值。
关键字：信息论；图像捕捉；图像分割
第1章 引言
随着科学技术的不断发展，人们对图形图像认识越来越广泛，图形图像处理的应用领域也将随之不断扩大。为了寻找快速有效的图像处理方法，信息理论越来越多地渗透到图像处理技术中。文章介绍了信息论基本理论在图像处理中的应用，并通过理论分析说明其价值。把通信系统的基本理论信息论应用于采样成像系统，对系统作端到端的系统性能评价，从而优化采样成像系统的设计，是当前采样成像系统研究的分支之一。有些图像很繁杂，而我们只需要其中有意义的一部分，图像分割就是将图像分为一些有意义的区域，然后对这些区域进行描述，就相当于提取出某些目标区域图像的特征，随后判断这些图像中是否有感兴趣的目标。
第2章 图像捕捉部分性能评估
2.1 图像捕捉的数学模型
图像捕捉过程如图1所示。G 为系统的稳态增益，),(y x p 是图像捕捉设备的空间响应函数，),(y x n p 是光电探索的噪声。),(y x comb 代表采样网格函数，),(),,(y x s y x o 分别为输入、输出信号。
在这种模型下的输出信号
),(),()],(),([),(y x n y x comb y x p y x Go y x s p +*=
其中，∑--=
n
m n y m x y x comb ,),(),(δ，代表在直角坐标系下，具有单位采样间隔的采样设备的采样函数。
输出信号的傅立叶变换为：
),(),(),(),(v u N v u P v u GO v u S +=
其中：),(v u O 是输入信号的傅立叶变换，),(v u N 是欠采样噪声和光电探测器噪声和，),(v u P 是图像捕捉设备的空间频率响应。 Gp(x,y)Gp(x,y)comb(x,y)
comb(x,y)o(x,y)(,)
p n x y S(x,y)
图1 图像捕捉过程
2.2 性能评估
设信源X 通过系统后输出Y 。根据信息论知，X 与Y 之间的互信息量),(Y X I 定义为：
)/()(),(X Y H Y H Y X I -=
)/()(),(Y X H X H Y X I -=
)(),(Y H X H 分别为X,Y 的熵，)/(),/(X Y H Y X H 为条件熵。
互信息量),(Y X I 的物理意义是输出Y 中得到的关于X 的平均信息量的大小。显然),(Y X I 越大，Y 得到的关于X 的越多。采样成像系统的目标是一致的。把输入图像),(v u O 看着信源，我们希望输出),(v u S 中包含多的关于),(v u O 的信息，即希望二者的互信息量尽量大。
根据互信息量的定义，),(),,(y x s y x o 之间的互信息量为：
)],(/),([)],([)],(/),([)],([v u O v u S H v u S H y x o y x s H y x s H I -=-=
)],(/),([v u O v u S H 可以称为噪声熵。因此可以用噪声熵)],([v u N H 代替，则上式可以改写为：
)],([)],([v u N H v u S H I -=
又I 可改写为：
dudv v u G v u P v u I p o ??-+=]),(),(),(1log[2122φφ （1）
),(0v u φ是输入信号),(v u O 的功率谱。可令2),(p p v u σφ=，则有
22
2),(),(),(),(p o n v u COMB v u P v u G v u σφφ+*= （2） 式（1），（2）是图像捕捉系统的基础。
第2章 图像分割算法
2.1 图像分割定义及方法概述
图像分割可借助集合的概念做如下的定义：令集合R 代表整个图像区域，对R 的分割可以看成将R 分成若干个满足以下条件的非空子集Rn R R ,,2,1 ;
(1)R R n
i i == 1
(2) 对所有的i 和j ，;,Θ=≠j i R R j i 有
(3) 对();,,,3,2,1TURE R P n i i ==有 (4) 对 ();,FALSE R R P j i j i =≠ 有
(5) 是连通区域i R n i ,,,3,2,1 =
其中)(i R P 是对所有在集合i R 中元素的逻辑谓词，Θ是空集。
对图像的分割可基于相邻像素在像素值方面的两个性质：不连续性和相似性。区域内部的像素一般具有某种相似性，而在区域之间的边界上一般具有某种不连续性。所以分割算法可据此分为利用区域间特性不连续性的基于边界的算法和利用区域内特性相似性的基于区域的算法。基于区域的算法又主要分为区域生长法和特征向量聚类法。另外根据分割过程中处理策略的不同，分割算法又可分为并行算法和串行算法。在并行算法中，所有判断和决定都可独立地和同时地做出，而在串行算法中，早期处理的结果可被其后的处理过程所利用。一般串行分割算法所需的计算时间常比并行分割算法要长，过程控制较复杂，但抗噪声能力也常较强。
2.2 基于最大熵原理的图像分割
图像的信息熵反映了图像的总体概貌。若图像中包含目标，则在目标与背景可分割的交界处信息量(即熵)最大。将Shannon 熵概念应用于图像分割时，依据是使图像中目标与背景分布的信息量最大，通过分析图像灰度直方图的熵，找到最佳阂值。
应用二值化进行图像分割，最终目的是通过对图像的处理把目标从背景中分割出来，即将图像分成两个区域：目标区和背景区，这样就得到了一幅二值图像。在一幅含有目标的多灰度图像中，必然存在一个灰度t ，以它作为阈值，可使图像得到最佳二值化分割。设t 将多灰度图像分成两个区域：一个区域的灰度值为t ~0，概率分布为F(t)=Pi ／Pl ，其中
∑
===t
i i l p p t i 0,,,2,1,0 。该区域的熵为“一F(t)lnF(t)”；另一个区域的灰度值为1~1-+L t 。概率分布为1一F(t)，该区域的熵为“一(1一F(t))In(1一F(t))”。则总的熵为H(F(t))=
一F(t)1nF(t)一(1一F(t))In(1一F(t))。根据信息论，当把目标从背景中最佳分割出来时，熵应最大。所以，使H(F(t))最大的t 即为最佳阈值。
设由最大类间方差法得到的分割阈值为1t ，则H(F(1t ))=一F(1t )ln F(1t )一(1一F(1t ))ln(1一F(1t )；由一致性准则法得到的分割阈值为2t ，则H(F(2t ))=一F (2t )lnF(2t )一(1
一F(2t ))In(1一F(2t )。为了使分割后的二值图像同时具有最大类间方差和最大一致性，选择的
阈值t 应满足min(1t ，2t )≤t ≤maX(，2t )，由于F 是t 的增函数，因此可以得到min(F(1t )，F(2t ))≤F(t)≤maX(F(1t )，F(2t ))。根据最大熵法，最佳阈值*t 应为*t =arg maxH(F(t))，即满足
H(F(t))最大的t 的取值就是所要得到的最佳阈值*t 。这就是基于最大熵原理的图像分割算法。
第3章 结论
随着信息技术的迅猛发展，信息理论在通信领域中发挥了越来越重要的作用，由于信息理论解决问题的思路和方法独特、新颖和有效，信息论已经渗透到其他科学领域。随着计算机技术的发展，信息熵已经不仅仅在通信领域中使用。将信息熵应用到图像处理中，对图像处理技术的发展有着重大的作用，使得图像处理的算法更加优良。
参考文献
[1]迟学芬，韩昌元，易志栋。基于信息理论的采样成像系统匹配设计。长春：吉林大学通信工程学院 130012
[2]迟学芬，于银辉，李秩群。互信息量用于采样成像系统的评价。长春：1000-1794（2001） 04-0024-05
[3]王晶，王华军。基于信息论的图像分割算法研究。
信息论与编码在处理网络问题中的应用 摘要 随着计算机技术、通信技术和网络技术等信息技术的快速发展，信息技术已经成为当今社会应用范围最广的高新技术之一。信息论是信息技术的主要理论技术基础之一，它的一些基本理论在通信、计算机、网络等工程领域中得到了广泛的应用。其中信息论与编码与网络结合的更为紧密，在网络方面得到了广泛的应用。本文主要从这个方面作为切入点，介绍了信息论与编码在网络编码、基于网络编码的路由选择、在网络安全方面的放窃听的网络编码，还有就是在网络数据挖掘这方面的应用。 1.引言 人类社会的生存和发展无时不刻都离不开信息的获取、传递、再生、控制和利用。信息论正式一门把信息作为研究对象的科学，以揭示信息的本质特性和规律为基础，应用概率论。随机过程和树立统计等方法来研究信息的存储、传输、处理、控制和利用。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。许多科学技术问题（如无线电通讯、电视、遥测、图像和声音识别等）都必须以信息论为理论指导才能很好地解决。信息论的研究对象又可以是广义的信息传输和信息处理系统。从最普通的电报、电话、传真、电视、雷达、声纳,一直到各类生物神经的感知系统,以及大到人类社会系统,可以用同一的信息论观点加以阐述,?都可以概括成某种随机过程或统计学的数学模型加以深入研究。 2.概述 2.1信息与信息论 1948年6月和10月香农在贝尔实验室出版的著名的《贝尔系统技术》杂志上发表了两篇有关《通信的数学理论》的文章。在这两篇文章中，他用概率测度和数理统计的方法系统的讨论了通信得基本问题，首先严格定义了信息的度量—
—熵的概念，又定义了信道容量的概念，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。 Shannon理论的核心是：揭示了在通信系统中采用适当的编码后能够实现高效率和高可靠地传输信息，并得出了信源编码定理和信道编码定理。从数学观点看，这些定理是最优编码的存在定理。但从工程观点看，这些定理不是结构性的，不能从定理的结果直接得出实现最优编码的具体途径。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为人们寻找出最佳通信系统提供了重要的理论依据。 而其理论到目前主要经历了以下几个方面的发展：Shannon信息理论的数学严格化、无失真信源编码定力和技术的发展、信道纠错编码的发展、限失真信源编码的提出和发展、多用户、网络信息论的发展、信息保密与安全理论的提出与发展，从此以后，纠错码和密码学相结合的研究迅速发展起来。 2.2网络与信息论 网络信息论的发展前期是多用户信息论，在20世纪70、80年代有很大的发展，当时的多用户信息论已具有网络结构的特征，其中的信源与信道模型已具有多数人多输出的结构，对信道还有并联与串联的结构等模型，多用户信息论就是解决这些模型的编码问题，一时成为信息论研究的热点问题。到20世纪90年代，由于网络通信的兴起，网络模型远比多用户模型复杂，网络中的通信、数据压缩、资源共享与安全管理将是信息论发展的重要领域。 2.3网络编码 2000 年Ahlswede 等人首次提出了网络编码理论, 通过网络编码可以实现网络流量的最大化.2003年, Li , Yeung 和Cai证明了线性网络编码就可以实现网络的最大流.随后T .Ho 等人提出了随机网络编码理论, 其思想是在网络中参与传输的节点, 其输出信道上传输的数据是该点多条输入信道上传输的数据的随机线性组合, 他们并且证明了接收节点能以很大的概率正确恢复出信源所发送的信息. 传统的通信网络传送数据的方式是存储转发，即除了数据的发送节点和接收节点以外的节点只负责路由，而不对数据内容做任何处理，中间节点扮演着转发
信息论基础调研报告 一.信息论的起源： 信息论理论基础的建立，一般来说开始于1948年美国数学家香农在《贝尔系统电话杂志》发表题为“通信的数学理论”的长篇论文。这篇论文以概率论为工具，深刻阐释了通信工程的一系列基本理论问题，给出了计算信源信息量和信道容量的方法和一般公式，得出了一组表征信息传递重要关系的编码定理，从而创立了信息论。 信息论自诞生到现在不过60多年，在人类科学史上是相当短暂的。但它的发展对学术界以及人类社会的影响是相当广泛和深刻的。信息作为一种资源，如何开发、利用、共享，是人们普遍关心的问题。 信息论是研究信息的传输、存储和处理的学科，亦称“信息论”为“通信的数学理论”。它主要研究在通信系统设计中如何实现信息传输的有效性和可靠性。 因此，信息论与通信技术、统计数学信号处理等密切相关。 二.信息技术的发展： 现代信息论其实是从上世纪二十年代奈奎斯特和哈特莱的研究开始的，他们最早开始研究了通信系统传输信息的能力，并且试图度量系统的信道容量。 香农于1940年在普林斯顿高级研究所期间开始思考信息论与有效通信系统的问题。经过8年的努力，1948年，来自贝尔研究所的Claude Shannon（克劳德·香农）的《通信的数学理论》论文公诸于世，从此宣告了崭新的一门关于信息发面的学科──信息论的诞生。1949年，香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中，香农阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。这两篇论文一起阐述了现代信息论的基础。并且香农开始创造性的定义了“信息”。 信息论自从二十世纪四十年代中叶到二十一世纪初期，现已成为一门独立的理论科学，他给出一切传输、存储、处理信息系统的一般理论，并指出，实现有效、可靠地传输和存储信息的途径是走数字化的道路。这是通信技术领域数字化革命的数学或理论基础。1946年的计算机和1947年晶体管的诞生和相应技术的发展，是这一革命的物理或物质基础。信息论是在长期的通信工程实践和理论研究的基础上发展起来的。 20世纪50年代，包括香农在内的一些科学家做了大量的工作，发表了许多重要文章，将香农的科学论断进一步推广，同时信道编码理论有了较大的发展。20世纪60年代，信道编码技术已经成为信息论的又一重要分支。它把代数方法引入到纠错码的研究，使分组码技术达到了高峰，找到了可纠正多个错误的码，并提出了可实现的译码方法。其次是卷积码和概率译码有了重大突破，提出了序列译码和维特比译码方法。 1961年，香农的重要论文“双路通信信道”开拓了多用户信息理论的研究。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何
学号：201122010835 姓名：李毅 信息论在图像处理中的应用 摘要：把信息论的基本原理应用到图像处理中具有十分重要的价值。本文主要从评估图像捕捉部分性能的评估、图像分割算法这两个个方面阐述信息论在图像处理中的应用。 通过理论分析来说明使用信息论的基本理论对图像处理的价值。 关键字：信息论；图像捕捉；图像分割 第1章 引言 随着科学技术的不断发展，人们对图形图像认识越来越广泛，图形图像处理的应用领域也将随之不断扩大。为了寻找快速有效的图像处理方法，信息理论越来越多地渗透到图像处理技术中。文章介绍了信息论基本理论在图像处理中的应用，并通过理论分析说明其价值。把通信系统的基本理论信息论应用于采样成像系统，对系统作端到端的系统性能评价，从而优化采样成像系统的设计，是当前采样成像系统研究的分支之一。有些图像很繁杂，而我们只需要其中有意义的一部分，图像分割就是将图像分为一些有意义的区域，然后对这些区域进行描述，就相当于提取出某些目标区域图像的特征，随后判断这些图像中是否有感兴趣的目标。 第2章 图像捕捉部分性能评估 2.1 图像捕捉的数学模型 图像捕捉过程如图1所示。G 为系统的稳态增益，),(y x p 是图像捕捉设备的空间响应函数，),(y x n p 是光电探索的噪声。),(y x comb 代表采样网格函数，),(),,(y x s y x o 分别为输入、输出信号。 在这种模型下的输出信号 ),(),()],(),([),(y x n y x comb y x p y x Go y x s p +*= 其中，∑--= n m n y m x y x comb ,),(),(δ，代表在直角坐标系下，具有单位采样间隔的采样设备的采样函数。
信息的内涵与信息论发展简史学院：数学与统计学院专业：信息与计算科学学生：卢富毓学号：20101910072 内容摘要：信息论经过六十多年的发展，现在已经成为现代信息科学的一个重要组成部分，信息论是现代通信和信息技术的理论基础。本文详细从来阐述信息论的内涵以及发展史。 信息是什么？什么叫信息论？ 信息泛指人类社会传播的一切内容。人通过获得、识别自然界和社会的不同信息来区别不同事物，得以认识和改造世界。在一切通讯和控制系统中，信息是一种普遍联系的形式。1948年，数学家香农在题为“通讯的数学理论”的论文中指出：“信息是用来消除随机不定性的东西”。美国数学家、控制论的奠基人诺伯特·维纳在他的《控制论——动物和机器中的通讯与控制问题》中认为，信息是“我们在适应外部世界，控制外部世界的过程中同外部世界交换的内容的名称”。英国学者阿希贝认为，信息的本性在于事物本身具有变异度。 由此可见在不同的领域，有着对信息的不同定义。 而如今比较首肯的是数学家香农给出的解释——信息是用来消除随机不定性的东西。 信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。 信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。 1948~1949年，香农（Shannon）在《贝尔系统技术杂志》上发表了论文《通信的数学理论》以及《噪声下的通信》。在这两篇论文中，他经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题，并且开始创造性的定义了“信息”。这两篇论文成了现在信息论的奠基著作。而香农也一鸣惊人，成了这门新兴学科的奠基人。香农也因此被称为是“信息论之父”。 信息有什么内涵？ 信息是现代社会的一种非常重要的资源，信息社会中的信息就像农业社会的土地，工业社会的资金和技术一样，将会成为人们竞相争夺的对象，从某种意义上来说，信息就是现代社会最重要的财富，谁掌握了信息，谁就掌握了未来。 信息的内涵是什么呢？ 不同人对信息有着不同的理解。有人认为信息就是消息，传递信息就是传递消息。这种定义有一定道理，但不太准确。信息和消息是有区别的，一般来说，
信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。
信息论的发展及应用 信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。 信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。信息论经过六十多年的发展，现在已经成为现代信息科学的一个重要组成部分，信息论是现代通信和信息技术的理论基础。现代信息论又是数学概率论与数理统计下年的一个分支学科。现在信息论已经成为国内数学系信息与计算科学专业的一门必须课程。作为信息论的奠基人克劳德·艾尔伍德·香农（Claude Elwood Shannon ），于1948 年和1949 年发表的两篇论文一起奠定了现代信息论的基础信息论的研究范围极为广阔。一般把信息论分成三种不同类型： (1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。 (2)一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。 (3)广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。
信息论发展： 1924年，Nyquist提出信息传输理论； 1928年，Hartley提出信息量关系； 1932年，Morse发明电报编码； 1946年，柯切尼柯夫提出信号检测理论； 1948年，Shannon提出信息论，他发表的论文：“A mathematical theory of communication ”同时维纳提出了最佳滤波理论，成为信息论的一个重要分支。 1959年，香农为各种信息源编码的研究奠定基础，发表论文：“Coding theorems for a discrete source with a fidelity criterion”，数据压缩理论与技术成为信息论的重要分支 六十年代，信道编码技术有较大的发展，信道编码成为信息论重要分支。 1961年，香农的重要论文“双路通信信道”开拓了多用户信息理论的研究、 七十年代，有关信息论的研究，从点对点的单用户通信推广到多用户系统的研究。密码学成为信息论的重要分支。 详细介绍； 现代信息论其实是从上世纪二十年代奈奎斯特和哈特莱的研究开始的，他们最早开始研究了通信系统传输信息的能力，并且试图度量系统的信道容量。香农于1940 年在普林斯顿高级研究所期间开始思考信息论与有效通信系统的问题。经过8 年的努力，1948
信息论发展 现代信息论是从上世纪二十年代奈奎斯特和哈特莱的研究开始的,他们最早开始研究了通信系统传输信息的能力,并且试图度量系统的信道容量。香农于1940年在普林斯顿高级研究所期间开始思考信息论与有效通信系统的问题。经过8年的努力,1948年,来自贝尔研究所的ClaudeShannon（克劳德·香农）的《通信的数学理论》论文公诸于世,从此宣告了崭新的一门关于信息发面的学科──信息论的诞生。1949年,香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中,香农阐明了通信的基本问题,给出了通信系统的模型,提出了信息量的数学表达式,并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。这两篇论文一起阐述了现代信息论的基础。并且香农开始创造性的定义了“信息”。 信息论自从二十世纪四十年代中叶到二十一世纪初期,现已成为一门独立的理论科学,他给出一切传输、存储、处理信息系统的一般理论,并指出,实现有效、可靠地传输和存储信息的途径是走数字化的道路。这是通信技术领域数字化革命的数学或理论基础。1946年的计算机和1947年晶体管的诞生和相应技术的发展,是这一革命的物理或物质基础。信息论是在长期的通信工程实践和理论研究的基础上发展起来的。当物理学中的电磁理论以及后来的电子学理论一旦有某些进展,很快就会促进电信系统的创造发明或改进。这是因为通信系统对人类社会的发展,其关系实在是太密切了。日常生活、工农业生产、科学研究以及战争等等,一切都离不开消息传递和信息流动。通信系统是人类社会的神经系统,即使在原始社会也存在着最简单的通信工具和通信系统,这方面的社会实践是悠久漫长的。自从香农十九世纪四十年代末两篇论文发表后,前苏联和美国的科学家采取了不同的研究途径经一部发展了信息论。柯尔莫哥洛夫、宾斯基和达布鲁新为首的一批著名数学家致力于信息论的公理化体系和更一般更抽象的数学模型,对信息论的基本定理给出了更为普遍的结果,为信息论发展成数学的一个分支作出了贡献。而在美国测试有一批数学修养很高的工程技术人员致力于信息有效处理和可靠传输的可实现性,维信息论转化为信息技术作出了贡献。 20世纪50年代,信息论向各门学科发起冲击；60年代信息论进入一个消化、
信息论概述及其应用 信息的概念 人类从产生的那天起,就生活在信息的海洋之中。 人类社会的生存和发展,无时无刻都离不开接收信息,传递信息,处理信息和利用信息。 比如原始人的“结绳记事”也许是最初期的表达,存储和传送信息的办法,古代的“烽火告警”是一种最早的快速,远距离的传递信息的方式。 近现代以来,由于电子计算机的迅速发展和广泛应用,尤其个人微型计算机得以普及,大大提高了人们处理加工信息,存储信息及控制和管理信息的能力。 随着计算机技术,微电子技术,传感技术,激光技术,卫星通讯,移动通讯等等新技术的发展和应用,尤其是近年来以计算机为主体的互联网技术的兴起与发展,他们相互结合,相互促进,以前所未有的的威力推动着人类经济和社会的高速发展。这是这些现代新科学,新技术,将人类社会推入到高度信息化时代。 信息与信号,消息的比较 消息是信息的数学载体,信号是信息的物理载体。 信号是具体的,物理的 消息是具体的,非物理的 信息是非具体的,非物理的 信号最具体,它是一物理量,可测量,可显示,可描述,同时它又是载荷信息的试题信息的物理层表达。 消息是具体的,非物理的,可以描述为语言文字,符号,数据,图片,能够被感觉到,同时它也是信息的载荷体。是信息论中的主要描述形式。 信息是抽象的,非物理的,是哲学层的表达。
信息的定义 关于信息的科学定义,到目前为止,国内外已有上百种说法,他们都是从不同侧面和不同的层次来揭露信息的本质。 最早对信息进行科学定义的是莱哈特。他在1928年发表的《信息传输》一文中,首先提出信息这个概念。 但是哈莱特这种理解在一定程度上能够解释通信工程中的一些信息问题,但他存在着严重的局限性。 1948年,控制论的创始人之一,美国科学家维纳出版了《控制论——动物和机器中通讯与控制问题》一书。他指出了,信息就是信息自己,不是其他什么东西的替代物,它是与物质,能量等同等重要的基本概念。正是维纳,首先将信息上升到了最基本概念的位置。 香农在1948年发表了一篇著名的论文—《通信的数学理论》。他从研究通信的系统传输的实质出发,对信息做了科学的定义,并进行了定性和定量的描述。 香农信息论是以概率论、随机过程为基本研究工具,研究广义通信系统的整个过程,而不是整个环节,并以编、译码器为重点,其关心的是最优系统的性能及如何达到该性能（并不具体设计环节,也不研究信宿）。目前,香农信息论方面值得注意的研究方向有信息概念的深化问题、信息失真理论的发展及在数据压缩中的应用、以计算机为中心的信息处理系统的基本理论等。 信息论研究的对象,目的和内容 信息论研究的对象是统一的通信系统模型。 通信系统模型主要分成下列五部分。 1，信息源：信源是产生消息和消息序列的源。
信息论发展史和展望 蒲鹤升（020150802） 一、信息论定义 信息论，顾名思义是一门研究信息的处理和传输的科学；即用概率论与数理统计方法来探究信息的度量、传递和变换规律的一门学科。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法，信息传输和信息压缩是信息论研究中的两大领域，这两个方面又由信息传输理论、信源－信道隔离定理相互联系。信息是系统传输和处理的对象，它载荷于语言、文字、图像、数据等之中。这就是现代信息论的出发点。 二、狭义与广义 狭义的信息论是应用数理统计方法来研究信息处理和信息传递的科学，它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规体，以及如何提高各信息传输系统的有效性和可能性的一门通讯理论。狭义信息论是申农氏于1948年创立的，其主要内容就是研究信源、信宿、传递及编码问题，因此它主要应用于通讯工作。后来信息论发展很快，将申农氏信息论的观点做为研究一切问题的理论，即广义信息论。信息论是建立在信息基础上的理论，所谓信息，即人类凭借感觉器官感知的周围一切变化，都可称作信息。 三、相关人物贡献 20世纪通信技术的发展推动了信息理论的研究. 美国科学家H.Nyquist 于1924年解释了信号带宽和信息速率之间的关系 美国科学家L.V.R.Hartley 于1928年开始研究通信系统传输信息的能力，给出了信息的度量方法 美国科学家C.E.Shannon 于1948年发表的著名论文《通信的数学理论》 A Mathematical Theory of Communication奠定了信息论的理论基础 四、各发展阶段 第一阶段：1948年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述,创立了信息论. 第二阶段：20世纪50年代,信息论向各门学科发起冲击；60年代信息论进入一个消化、理解的时期,在已有的基础上进行重大建设的时期.研究重点是信息和信源编码问题.
马尔科夫信源熵的研究
第1章引言 第1章引言 信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是专门研究信息的有效处理和可靠传输的一般规律的科学。信息是系统传输和处理的对象，它载荷于语言、文字、数据、图像、影视、信号等之中，是研究信息处理和传输的规律，首先要对信息进行定量的描述，即信息的度量，这是信息论研究的出发点。但要对通常含义下的信息（如知识、情报、消息等）给出一个统一的度量是困难的，因为它涉及主观和客观两个标准，而迄今为止最成功、应用最广泛的是建立在概率模型基础上的信息度量，进而建立在此种信息量基础上的信息论成功的解决了信息处理和可靠传输中的一系列理论问题。信息论也是马尔科夫链的一个很重要的应用领域。 在信息论的发展过程中，Shannon作了很大贡献，他于1948年发表了一篇具有里程碑性质的论文——“通信的数学理论"，这是世界上首次将通讯过程建立了数学模型的论文，这篇论文和他于1949年发表的另一篇论文一起，奠定了现代信息论的基础。熵是信息论的基本概念之一，它表示信源的平均不确定，有些物理学家甚至认为信息论就是熵的理论，熵率是一种极限熵，它描述了信源平均不确定性的一种变化趋势，在此基础上，许多科学家又采取了不同的研究途径进一步发展了信息论。 1
马尔科夫信源熵的研究 2 第2章 马尔科夫信源及其熵的求解 2.1 马尔科夫过程概述 马尔科夫过程是一类常见的，重要的随机过程，它有着极为深厚的理论基础，如拓扑学、函数论、泛函分析、近世代数和几何学。又有着广泛的应用空间，其主要应用于排队论，存储模型，更新模型，信息理论和数学计算等方面。由于马尔科夫过程在物理学、生物科学、信息理论、自动控制、工程技术及数值计算等方面起到的异乎寻常的作用，使得人们越来越重视马尔科夫过程的理论及其应用的研究。这一类随机过程的特点是：当过程在时刻靠所处的状态已知，则过程在靠以后所处状态与过程“以前所处状态无关，这个特性叫无后效性，也叫做马尔科夫性。通俗地说，就是“已知现在，将来和过去无关”。若马尔科夫过程(){},X t t T ∈的状态空间S 为R 中的可列集，则称(){},X t t T ∈为马尔科夫链。若T 为可列离散集，则称(){},X t t T ∈为离散参数马尔科夫链；若T 为连续的，则称(){},X t t T ∈为连续参数马尔科夫链。本文主要研究离散参数马尔科夫链，其严格数学定义将在后文给出。 自1907年苏联数学家A ．A ．Markov 引出马尔科夫链的概念，并开始研究以来，世界各国数学家对马尔科夫链的研究可以说盛久不衰。如研究有限或可数马尔科夫链，研究马尔科夫链及随机稳定性，以及对马尔科夫链基础知识的研究。 熵定理是信息论中最基本的定理，也称为Shannon ．McMillan ．Breiman 定理，亦称作渐近均分割性(AEP)。渐近均分割性首先是由Shannon 在1948年的开创性论文中进行了论述，他证明了有限齐次遍历马氏信源熵密度依概率收敛于常数，随后，就有许多数学家将此定理做了推广，McMillan 证明了有限平稳遍历信源的相对熵密度平均收敛于常数，其实这个常数就是熵率。Chuang ．K ．L 将定理推广到可数字母表情形，证明了平稳遍历信源几乎处处收敛于其熵率，Mayml ，Perez 和Kieffer 证明了当序列连续取值且遍历时的1L 收敛性，Barron 和Orey 证明了实值遍历过程的几乎处处收敛性，Algoet 和Cover 给出了Shannon ．McMillan ．Breiman 定理的三明治证法。
信息论在生物学和化学领域的应用 信息科学与技术学院** 指导教师** 摘要：信息论近年来迅速发展，已广泛渗入物理、化学、生物、医学、自动控制、计算机、人工智能、仿生学、经济和管理等不同领域。本文阐述信息论在现代生物学、化学等学科中的应用。 关键词：信息论；生物信息论；化学信息论；基因编码 一、概述 1948年，Claude E.Shannon在BSTJ发表题为“The Mathematical Theory of Communica-tion”的著名论文，创立了后人所称的“信息论”，揭开了人类认识史上的新纪元:由材料和能量的 时代开始走向自觉地认识和利用信息的时代。现在，人们越来越清楚地看到，Shannon信息论 的确是科学史上一座巍峨的里程碑，它把科学领进了信息世界的大门。但是，Shannon信息论 并没有穷尽信息问题的研究。正如Shannon本人所说：“企求一次就揭开自然的全部奥秘，这 种期望是不切实际的”。事实上，一个具有旺盛生命力的理论必然会不断地渗透到新的领域，不断地改变自己的面貌[1]。现如今，信息熵概念广泛渗入物理、化学、生物、医学、自动控制、计算机、人工智能、仿生学、经济和管理等不同领域。信息过程不仅是通讯研究的对象，而且被当作控制社会的手段来研究[2]。就正是由Shannon信息论经过不断的开拓、发展和升华的结果，它是信息理论发展的全新阶段。 二、信息论与生物学 （一）信息与遗传[2] 1944年细菌转化现象的发现，第一次证实了细胞核内DNA核酸是遗传的物质基础。1953 年沃森和克里克提出 DNA螺旋结构模型，认为是由两条多核苷酸链靠碱基间确定配对关系而 联系在一起，形成犹如螺旋状的长梯子，第一梯级相当一对碱基。梯级很多，若以500梯级的 大分子计，其结构可能取型的数目为10330信息量。历史上有过物种，最高估计是40亿种，其 信息量不过才是10g24*109=31.9比特，可见DNA结构可储存遗传信息量大得足以使每一物种 内各个个体间都可以有差别。
信息论在图像处理中的应用 摘要：把信息论的基本原理应用到图像处理中具有十分重要的价值。本文主要从评估图像捕捉部分性能的评估、图像分割算法这两个个方面阐述信息论在图像处理中的应用。 通过理论分析来说明使用信息论的基本理论对图像处理的价值。 关键字：信息论；图像捕捉；图像分割 第1章 引言 随着科学技术的不断发展，人们对图形图像认识越来越广泛，图形图像处理的应用领域也将随之不断扩大。为了寻找快速有效的图像处理方法，信息理论越来越多地渗透到图像处理技术中。文章介绍了信息论基本理论在图像处理中的应用，并通过理论分析说明其价值。把通信系统的基本理论信息论应用于采样成像系统，对系统作端到端的系统性能评价，从而优化采样成像系统的设计，是当前采样成像系统研究的分支之一。有些图像很繁杂，而我们只需要其中有意义的一部分，图像分割就是将图像分为一些有意义的区域，然后对这些区域进行描述，就相当于提取出某些目标区域图像的特征，随后判断这些图像中是否有感兴趣的目标。 第2章 图像捕捉部分性能评估 2.1 图像捕捉的数学模型 图像捕捉过程如图1所示。G 为系统的稳态增益，),(y x p 是图像捕捉设备的空间响应 函数，),(y x n p 是光电探索的噪声。),(y x comb 代表采样网格函数，),(),,(y x s y x o 分别为输入、输出信号。 在这种模型下的输出信号 ),(),()],(),([),(y x n y x comb y x p y x Go y x s p +*= 其中，∑--= n m n y m x y x comb ,),(),(δ，代表在直角坐标系下，具有单位采样间隔的采样设备的采样函数。 输出信号的傅立叶变换为： ),(),(),(),(v u N v u P v u GO v u S += 其中：),(v u O 是输入信号的傅立叶变换，),(v u N 是欠采样噪声和光电探测器噪声和，
信息论及其应用 摘要 信息论是在人们长期的通信工程实践中，由通信技术和概率论、随机过程和数理统计相结合而逐步发展起来的一门应用数学学科，能够运用概率论和数理统计的方法来研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题。本文主要介绍信息论的一些基本知识以及它在数据压缩、密码学、统计及信号处理中的应用。 关键字：信息论三大定律应用 一信息论的产生及发展 信息论是20世纪40年代由当代伟大的数学家、美国贝尔实验室杰出的科学家香农提出的，他在1948年发表了著名的论文《通信的数学理论》，为信息论奠定了理论基础。 信息论有狭义和广义之分。狭义信息论即香农早期的研究成果，它以编码理论为中心，主要研究信息系统模型、信息的度量、信息容量、编码理论及噪声理论等。广义信息论又称信息科学，是以信息为主要研究对象，以信息及其运动规律为主要研究内容，以信息科学方法论为主要研究方法，以扩展人的信息器官的功能为主要研究目标的一门新兴的横向科学。它把各种事物都看作是一个信息流动的系统，通过对信息流程的分析和处理，达到对事物复杂运动规律认识的一种科学方法。它的特点是撇开对象的具体运动形态，把它作为一个信息流通过程加以分析。 信息论与编码研究的是整个通信的最基本的问题，可以说信息论是我们专业的大纲，从香农1948年发表《通信中的数学原理》到现在60余年的时间，信息论对整个行业的发展有着不可替代的指导意义。
信息论中最著名的是香农的四大定理（国内一般称三大定理），第一定理信源编码定理，是解决通信中信源的压缩问题，也是后来图像和视频压缩的基本定理；第二定理信道编码定理，是解决通信中数据能够在特定信道中传输的最大值的问题，即最大数据速率小于信道容量，容量问题是通信中研究最活跃的问题之一；第三定理有损信源编码定理解决了在允许一定失真的情况下的信源编码问题，比如jpeg图像编码，mp3音频编码，都是有损的编码，其都是在香农第三定理的界之下得出的；第四定理信源信道分离定理，解决了信源编码和信道编码能够分开来解决的问题，所以现在做信源编码的可以是一部分人，做信道编码的可以是另一部分人。 二信息论的研究内容 实际通信系统比较复杂，但是任何通信系统都可以抽象为信息源发送机信道接收机收信者，因此，通信过程中信息的定量表示信源和信宿信道和信道容量编码和译码等方面的问题，就构成了信息论的基本内容。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域这两个方面又由信息传输定理信源信道隔离定理相互联系。 1. 信息。从广义上讲，信息是指不同物质在运动过程中发出的各种信号；从狭义上讲，信息是指各种物质在运动过程中发出的映出来的数据。指令消息情报图象信号等对于信息的定义，目前学术界还没有一个一致的看法，信息论的创始人申农认为，信息就是用以消除随机的不定性的东西；控制论的创始人维纳认为，信息是人与环境相互交换内容的名称，也可以叫负商。 2. 信息量。它是信息多少的量度许多科学家对信息进行深入的研究以后，发现事件的信息量与事件出现的概率有密切的关系：事件发生的概率大，信息量就越小；反之，事件发生的概率就越小，信息量就越大。例如：池塘周围的护栏越密，小孩或大人掉进池塘的可能性就越少；反之则反[4]。 3. 信源和信宿。信源即消息的来源消息一般以符号的形式发出，通常就有随即性信源是多方面的，自然界的一切物体都可以成为信源。如果信源发出的信号是确定的，即是事先知道的，就不会传输任何信息如果符号的出现是时刻变化
信息论基础理论与应用测验题及答案
————————————————————————————————作者：————————————————————————————————日期：
信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4，2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即 （11()log ()log ()()q i i i i H X E P a P a P a =?? ==-??? ?∑） 。
信息论与编码的应用与发展 通过信道编码器和译码器实现的用于提高信道可靠性的理论和方法。信息论的内容之一。信道编码大致分为两类：①信道编码定理，从理论上解决理想编码器、译码器的存在性问题，也就是解决信道能传送的最大信息率的可能性和超过这个最大值时的传输问题。②构造性的编码方法以及这些方法能达到的性能界限。编码定理的证明，从离散信道发展到连续信道，从无记忆信道到有记忆信道，从单用户信道到多用户信道，从证明差错概率可接近于零到以指数规律逼近于零，正在不断完善。编码方法，在离散信道中一般用代数码形式，其类型有较大发展，各种界限也不断有人提出，但尚未达到编码定理所启示的限度，尤其是关于多用户信道，更显得不足。在连续信道中常采用正交函数系来代表消息，这在极限情况下可达到编码定理的限度。不是所有信道的编码定理都已被证明。只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明；其他信道也有一些结果，但尚不完善。 信道编码技术 数字信号在传输中往往由于各种原因，使得在传送的数据流中产生误码，从而使接收端产生图象跳跃、不连续、出现马赛克等现象。所以通过信道编码这一环节，对数码流进行相应的处理，使系统具有一定的纠错能力和抗干扰能力，可极大地避免码流传送中误码的发生。误码的处理技术有纠错、交织、线性内插等。 提高数据传输效率，降低误码率是信道编码的任务。信道编码的本质是增加通信的可靠性。但信道编码会使有用的信息数据传输减少，信道编码的过程是在源数据码流中加插一些码元，从而达到在接收端进行判错和纠错的目的，这就是我们常常说的开销。这就好象我们运送一批玻璃杯一样，为了保证运送途中不出现打烂玻璃杯的情况，我们通常都用一些泡沫或海棉等物将玻璃杯包装起来，这种包装使玻璃杯所占的容积变大，原来一部车能装5000各玻璃杯的，包装后就只能装4000个了，显然包装的代价使运送玻璃杯的有效个数减少了。同样，在带宽固定的信道中，总的传送码率也是固定的，由于信道编码增加了数据量，其结果只能是以降低传送有用信息码率为代价了。将有用比特数除以总比特数就等于编码效率了，不同的编码方式，其编码效率有所不同。 数字电视中常用的纠错编码，通常采用两次附加纠错码的前向纠错（FEC）编码。RS编码属于第一个FEC，188字节后附加16字节RS码，构成（204，188）RS码，这也可以称为外编码。第二个附加纠错码的FEC 一般采用卷积编码，又称为内编码。外编码和内编码结合一起，称之为级联编码。级联编码后得到的数据流再按规定的调制方式对载频进行调制。 前向纠错码（FEC）的码字是具有一定纠错能力的码型，它在接收端解码后，不仅可以发现错误，而且能够判断错误码元所在的位置，并自动纠错。这种纠错码信息不需要储存，不需要反馈，实时性好。所以在广播系统（单向传输系统）都采用这种信道编码方式。 下面是纠错码的各种类型: 1、RS编码
摘要 人类已经进入了“信息时代”，我们的社会日益转型为一个“信息社会”。本文主要探讨了信息论的概念及其应用和和发展。 关键词 信息论；应用；发展 信息论的应用与发展 引言 信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。 1 信息论 克劳德·香农（Claude Shannon）被称为“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《通信的数学理论（英语：A Mathematical Theory of Communication）》（A Mathematical Theory of Communication）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了信息熵（以下简称为“熵”）的定义： H(x)=E[I(xi)]=E[log2 1/p(xi)]= -Σp(xi)log2 p(xi)(i=1,2,..n)
这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量，其中去除了由消息的固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。 信息论中熵的概念与物理学中的热力学熵有着紧密的联系。玻尔兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。 互信息（Mutual Information）是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为： I(X,Y) = H(X) + H(Y) - H(X,Y) 其中 H(X,Y) 是联合熵（Joint Entropy），其定义为： H(X,Y) = - ∑ p(x,y)logp(x,y) x,y 2 信息论的应用 信息论是研究信息的产生、获取、变换、传输、存贮、处理识别及利用的学科。信息论还研究信道的容量、消息的编码与调制的问题以及噪声与滤波的理论等方面的内容。信息论还研究语义信息、有效信息和模糊信息等方面的问题。 信息论有狭义和广义之分。狭义信息论即香农早期的研究成果，它以编码理论为中心，主要研究信息系统模型、信息的度量、信息容量、编码理论及噪声理论等。广义信息论又称信息科学，主要研究以计算机处理为中心的信息处理的基本理论，包括评议、文字的处理、
《信息与编码理论》上机实验指导书———————应用MATLAB软件实现 UPC通信工程系
前言 本实验系列是采用MATLAB软件，主要针对《信息论基础》课程中的相关内容进行的实验。 MATLAB是一完整的并可扩展的计算机环境，是一种进行科学和工程计算的交互式程序语言。它的基本数据单元是不需要制定维数的矩阵，它可直接用于表达数学的算式和技术概念，解决同样的数值计算问题，使用MATLAB要比使用Basic、Fortran和C语言等提高效率许多倍。MATLAB还是一种有利的教学工具，在大学的线性代数课程以及其它领域的高一级课程的教学中，已称为标准的教学工具。 该指导书共安排了4个实验，现就一些情况作简要说明： 各实验要求学生在MATLAB系统上尽量独立完成，弄懂。实验内容紧扣课程教学内容的各主要基本概念，希望同学们在完成每个实验后，对所学的内容起到巩固和加深理解的作用。 每个实验做完后必须交一份实验报告。 恳请各位实验老师和同学在实验中提出宝贵意见，以利于以后改进提高。
目录 实验一离散信源及其信息测度 (3) 实验二离散信道及其容量 (6) 实验三无失真信源编码 (8) 实验四有噪信道编码 (10) 附录部分常用MATLAB命令 (12)
实验一 离散信源及其信息测度 一、[实验目的] 离散无记忆信源是一种最简单且最重要的信源，可以用完备的离散型概率空间来描述。本实验通过计算给定的信源的熵，加深对信源及其扩展信源的熵的概念的理解。 二、[实验环境] windows XP,MATLAB 三、[实验原理] 信源输出的各消息的自信息量的数学期望为信源的信息熵，表达式如下 1()[()]()log ()q i i i H X E I xi p x p x ===-∑ 信源熵是信源的统计平均不确定性的描述，是概率函数()p x 的函数。 四、[实验内容] 1、有条100字符英文信息，假定其中每字符从26个英文字母和1个空格中等概选取，那么每条信息提供的信息量为多少？若将27个字符分为三类，9个出现概率占2/7,13个出现概率占4/7，5个出现占1/7，而每类中符号出现等概，求该字符信源的信息熵。 2、二进制通信系统使用0、1,由于存在失真，传输会产生误码，用符号表示下列事件：u0:一个0发出；u1:一个1发出；v0:一个0收到；v1:一个1收到；给定下列概率：p(u0)=1/2,p(v0|u0)=3/4,p(v0|u1)=1/2。求：(a)已知发出一个0，求收到符号后得到的信息量；(b)已知发出的符号，求收到符号后得到的信息量； 3、给定离散无记忆信源X ，其概率空间为 010.70.3X P ????=???? ???? 求该信源的熵和其二次、三次扩展信源的熵。(编写一M 函数文件： function [H_X1,H_X2,H_X3]=t03(X1,P1) %t03 求信源和其二次、三次扩展信源的熵 %输入为X1,P1,分别为信源符号和概率阵 %输出为原离散信源的熵H_X1和二次、三次扩展信源的熵H_X2、H_X3