信息熵在图像处理中的应用
摘要：为了寻找快速有效的图像处理方法，信息理论越来越多地渗透到图像处理技术中。文章介绍了信息熵在图像处理中的应用，总
结了一些基于熵的图像处理特别是图像分割技术的方法，及其在这一领域内的应用现状和前景 同时介绍了熵在织物疵点检测中的应用。
Application of Information Entropy on Image Analysis
Abstract ：In order to find fast and efficient methods of image analysis ，information theory is used more and more in image analysis ．The paper introduces the application of information entropy on the image analysis ，and summarizes some methods of image analysis based on information entropy ，especially the image segmentation method ．At the same time ，the methods and application of fabric defect inspection based on information entropy ale introduced ．
信息论是人们在长期通信实践活动中，由通信技术与概率论、随机过程、数理统计等学科相结合而逐步发展起来的一门新兴交叉学科。而熵是信息论中事件出现概率的不确定性的量度，能有效反映事件包含的信息。随着科学技术，特别是信息技术的迅猛发展，信息理论在通信领域中发挥了越来越重要的作用，由于信息理论解决问题的思路和方法独特、新颖和有效，信息论已渗透到其他科学领域。随着计算机技术和数学理论的不断发展，人工智能、神经网络、遗传算法、模糊理论的不断完善，信息理论的应用越来越广泛。在图像处理研究中，信息熵也越来越受到关注。
1 信息熵
1948年，美国科学家香农(C ．E ．Shannon)发表了一篇著名的论文《通信的数学理论》 。他从研究通信系统传输的实质出发，对信息做了科学的定义，并进行了定性和定量的描述。
他指出，信息是事物运动状态或存在方式的不确定性的描述。其通信系统的模型如下所示：
图1 信息的传播
信息的基本作用就是消除人们对事物的不确定性。信息熵是信息论中用于度量信息量的一个概念。假定X 是随机变量χ的集合，p （x ）表示其概率密度，计算此随机变量的信息熵H （x ）的公式是
P （x ，y ）表示一对随机变量的联合密度函数，他们的联合熵H （x ，y ）可以表示为
信息熵描述的是信源的不确定性，是信源中所有目标的平均信息量。信息量是信息论的中心概念，将熵作为一个随机事件的不确定性或信息量的量度，它奠定了现代信息论的科学理论基础，大大地促进了信息论的发展。设信源X 发符号a i ，的概率为Pi ，其中i=1，2，…，r ，P i >O ，要∑=r
i Pi 1=1，则信息熵的代数定义形式为：
H(X)=-∑=r
i ai P 1
)(logP(a i) (1)
2 图像处理
所谓计算机图像处理是指：将图像信号转换成数字格式，并利用计算机对其进行处理的过程。
近几年来，数字图像处理技术的发展进一步深入、广泛和迅速，人们已充分认识到图像处理技术是认识世界、改造世界的重要手段之一。图像信息处理技术已广泛应用于许多社会领域，如工业、农业、国防军事、社会公安、科研、生物医学、通信邮电等等。概念上说，数字图像处理过程中所需的基本步骤如图2所示。
图2 数字图像处理基本步骤
图像处理和分析过程主要包括：图像变换、图像编码、边缘检测、图像分割、目标表达、描述和测量等等ra]。人们为了得到感兴趣的目标，用各种方法来处理和分析图像。如灰度共生矩阵法、Markov 随机场法、灰度直方图统计法、灰度匹配法、二维傅立叶变换法、6abor 变换法、小波变换法和数学形态法等等。例如在灰度共生矩阵法中，用于测量灰度级分布随机性的一种特征参数就叫做熵。它的定义为：
(2)
当矩阵P[i,j]的所有项皆为零时，其熵值最高。除此之外，还有和熵、灰度熵、梯度熵、混合熵等等，从而说明了熵是图像的重要特征之一。
3 信息熵在图像处理中的应用
图像分割是图像处理和分析的关键步骤，也是一种基本的计算机视觉技术。当今信息熵主要应用在图像分割技术中。为了识别和分析目标，图像分割把图像分成各具特性的区域。这些特性可以是灰度、颜色、纹理等， 目标可以对应单个区域，也可以对应多个区域。
基于熵的图像分割方法，尽可能减少了图像信息的损失，因此可用于复杂背景，而且这种方法有很多。如黄春艳等提出的图像的分割方法有最大熵法和最小交叉熵法。最大熵法和最小交叉熵法的基本思想都是利用图像的灰度分布密度函数定义图像的信息熵，根据假设的不同或视角的不同提 不同的熵准则，最后通过优化该准则得到阈值。最人熵准则强调系统内部的均匀性，应用于阈值化分割中就是搜索使目标或背景内部的灰度分布尽可能均匀的最优阈值。交叉熵是度量两个概率分布之间信息量差异，它是Fn 函数。最小交叉熵准则应用在阈值化分割中，一般是搜索使分割前后图像的信息量差异最小的阈值。吴谨等提出的在最大类间方差法和一致性准则法的基础上，运用最大熵原理来选择灰度阈值对图像进行分割方法。还有庞全等提出的基于面向对象思想的图像分割算法。此方法是分割阈值与局部灰度分
布相关的分割方法，针对非均匀图像的特点，在香农熵上推导出子集熵与全集熵的关系，作为图像的面向对象描述 实验表明，相比常用的动态阈值算法，该算法具有运算量少、分割结果白适应性好的特点。
随着计算机技术和数学理论的不断发展，人工智能、神经网络、遗传算法、模糊理论的不断完善，以及处理的
图像越来越复杂，单一的方法已不能满足人们的需求，因此，研究多方法的结合是这一领域的趋势。如刘耀辉等提出的结合小波变换和二维最大熵法的图像分割的方法。在小波变换后的低频子图上应用二维最大熵法获得最优分割阈值，同时减小了运算量，并利用高频子图获取图像边缘信息进而更好地定位目标区域，实现对子图的成功分割。还有刘勃等提出的基于交叉熵的改进PCNN图像自动分割新方法。该方法从原始图像与分割图像的目标之间、背景之间的差异性出发，对PCNN模型中的变阈值函数进行了改进，然后使其与最小交叉熵判据相结合来对图像进行自动分割。实验表明，该片法对图像的分割精度高而且适应性较强。
图像处理中噪声的干扰是不可避免的，因此去除燥声也是图像处理中的问题之一。目前，去除噪声的方法主要是利用图像变换，把图像从空域变为频域然后再进行滤波。实验证明，信息熵用于抑制噪声干扰也是可行有效的。如杨光等提出的一种改进的中值滤波方法，此方法利用选点滤波的方式，并结合信息熵理论来有效地抑制脉冲噪声干扰，并对其他类型噪声有一定的抑制作用，而且可以与其他算法联合抑制综合噪声下扰，还能保持图像很好的清晰度。
图像的边缘是指图像局部亮度变化最显著的部分。边缘主要存在于目标与目标、目标与背景、区域与区域之间，是图像分割、纹理提取和形状特征提取等图像分析的重要基础，图像分析和理解的第一步常常是边缘检测。边缘检测如此重要，其方法主要有：Roberts算子、Sobel算子、Prewitt算子，还有二阶微分算子等等。然而信息熵原理近来也被用于边缘检测技术中。如张香琴等提出将熵算子与去除噪声相结合的边界检测法，如果计算的熵大于阈值，要判断是噪声的出现所引起，还是边界的出现所引起，这样，边检测边界边去噪声。
根据熵的理论，局部熵反映了图像灰度的离散程度，图像灰度分布相对均匀时则局部熵较大，而图像灰度分布离散性较大时局部熵较小。局部熵是局部窗口内所有像素点共同作用的结果，对单点噪声不敏感，故局部熵本身具有一定的抗噪滤波能力。
下面这个实验说明了信息熵在图像处理中的相关应用
再计算出信息熵和互信息，如此进行十次实验，观察结果并进行分析。
选取两幅有相同部分但不完全相同的图片，matlab分别读出两幅图片的信息熵，同时计算他们的互信息，然后对图片进行剪裁，保留全部相同部分，
再计算出信息熵和互信息，如此进行十次实验，观察结果并进行分析。步骤如下：
（1）选取两幅符合要求的图片。分别命名为a1 和b1。
a1 b1
（2）打开matlab，创建新文件，并编写完成实验所需要的程序。代码如下。
clc
a=imread('a1.jpg');
a=rgb2gray(a);
b=imread(' b1.jpg');
b=rgb2gray(b);
[Ma,Na] = size(a);
[Mb,Nb] = size(b);
M=min(Ma,Mb);
N=min(Na,Nb);%初始化直方图数组
hab = zeros(256,256);
ha = zeros(1,256);
hb = zeros(1,256);%归一化
if max(max(a))~=min(min(a))
a = (a-min(min(a)))/(max(max(a))-min(min(a)));
else
a = zeros(M,N);
end
if max(max(b))-min(min(b))
b = (b-min(min(b)))/(max(max(b))-min(min(b)));
else
b = zeros(M,N);
end
a = double(int16(a*255))+1;
b = double(int16(b*255))+1;%统计直方图
for i=1:M
for j=1:N
indexx = a(i,j);
indexy = b(i,j) ;
hab(indexx,indexy) = hab(indexx,indexy)+1;%联合直方图ha(indexx) = ha(indexx)+1;%a图直方图
hb(indexy) = hb(indexy)+1;%b图直方图
end
end
%计算联合信息熵
hsum = sum(sum(hab));
index = find(hab~=0);
p = hab/hsum;
Hab = sum(sum(-p(index).*log(p(index))));
%计算a图信息熵
hsum = sum(sum(ha));
index = find(ha~=0);
p = ha/hsum;
Ha = sum(sum(-p(index).*log(p(index))));
%计算b图信息熵
hsum = sum(sum(hb));
index = find(hb~=0);
p = hb/hsum;
Hb = sum(sum(-p(index).*log(p(index))));
%计算a和b的互信息
mi = Ha+Hb-Hab;
%计算a和b的归一化互信息
%mi = hab/(Ha+Hb);
（3）运行matlab，得出并记录结果。
（4）剪裁图片，保留全部相同部分。再计算信息熵，同时程序里的图片名称更改一下，如此进行九次。所得结果如下：
a2 b2
a3 b3
a4 b4
a 5 b5
a 6
b 6
a 7 b7
a 8
b 8
a 9
b 9
a 10
b 10
结果2
结果3
结果4
结果5
结果6
结果7
结果8
结果9
结果10
下表对所需结果做出总结
实验结论：两幅图片重叠部分所占比例越大，互信息越大。而信息熵与此无明显关系。信息熵仅与图片的内容有关，内容越混乱信息熵越大。
5 结语
随着计算机技术的迅速发展，以及其他科学技术的不断完善，信息熵已不再仅仅是通信领域中的概念，因此把信息熵应用到图像处理中是图像处理领域的又一方向，随着信息熵更好更充分地发挥作用，图像处理技术将会发展得更快，更加完善。
参考文献：
【1】傅芸祖信息论-基础理论与应用.北京：电子工业出版社，2007.5
【2】姜丹．信息论与编码[M]．合肥：中国科学技术大学出版社，2004．
【3】章毓晋．图像处理和分析[M]．北京清华大学出版社，1999．
【4】黄春艳，杨国胜，侯艳丽．基于熵的图像二值化方法比较研究[J]．河南大学学报，2005，
【5】吴谨，李娟，刘成云，等．基丁最大熵的灰度闽值选取方法[J]．武汉科技大学学报，2004，
【6】庞全，苏佳，段会龙．基于四叉树和交叉熵的面向对象图像分割方法[J]．浙江大学学报：工学版，2004 【7】刘耀辉，鲍苏苏．?种结合小波变换与二维最大闽值法的图像闽值分割方法[J]．现代计算机，2005.7 【8】杨光，韩炎．一种改进的中值滤波方法[J]．电脑开发与应用，2005.7
【9】张香琴，方如明，蔡健荣，等．基于去噪的熵算子边界检测法[J]．江苏理工大学学报，2000
最大熵算法笔记 最大熵，就是要保留全部的不确定性，将风险降到最小，从信息论的角度讲，就是保留了最大的不确定性。 最大熵原理指出，当我们需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。在这种情况下，概率分布最均匀，预测的风险最小。因为这时概率分布的信息熵最大，所以人们称这种模型叫"最大熵模型"。 匈牙利著名数学家、信息论最高奖香农奖得主希萨（Csiszar）证明，对任何一组不自相矛盾的信息，这个最大熵模型不仅存在，而且是唯一的。而且它们都有同一个非常简单的形式-- 指数函数。 我们已经知道所有的最大熵模型都是指数函数的形式，现在只需要确定指数函数的参数就可以了，这个过程称为模型的训练。 最原始的最大熵模型的训练方法是一种称为通用迭代算法GIS (generalized iterative scaling) 的迭代算法。GIS 的原理并不复杂，大致可以概括为以下几个步骤： 1. 假定第零次迭代的初始模型为等概率的均匀分布。 2. 用第N 次迭代的模型来估算每种信息特征在训练数据中的分布，如果超过了实际的，就把相应的模型参数变小；否则，将它们便大。 3. 重复步骤2 直到收敛。 GIS 最早是由Darroch 和Ratcliff 在七十年代提出的。但是，这两人没有能对这种算法的物理含义进行很好地解释。后来是由数学家希萨（Csiszar) 解释清楚的，因此，人们在谈到这个算法时，总是同时引用Darroch 和Ratcliff 以及希萨的两篇论文。GIS 算法每
次迭代的时间都很长，需要迭代很多次才能收敛，而且不太稳定，即使在64 位计算机上都会出现溢出。因此，在实际应用中很少有人真正使用GIS。大家只是通过它来了解最大熵模型的算法。 八十年代，很有天才的孪生兄弟的达拉皮垂(Della Pietra) 在IBM 对GIS 算法进行了两方面的改进，提出了改进迭代算法IIS （improved iterative scaling）。这使得最大熵模型的训练时间缩短了一到两个数量级。这样最大熵模型才有可能变得实用。即使如此，在当时也只有IBM 有条件是用最大熵模型。 由于最大熵模型在数学上十分完美，对科学家们有很大的诱惑力，因此不少研究者试图把自己的问题用一个类似最大熵的近似模型去套。谁知这一近似，最大熵模型就变得不完美了，结果可想而知，比打补丁的凑合的方法也好不了多少。于是，不少热心人又放弃了这种方法。第一个在实际信息处理应用中验证了最大熵模型的优势的，是宾夕法尼亚大学马库斯的另一个高徒原IBM 现微软的研究员拉纳帕提(Adwait Ratnaparkhi)。拉纳帕提的聪明之处在于他没有对最大熵模型进行近似，而是找到了几个最适合用最大熵模型、而计算量相对不太大的自然语言处理问题，比如词性标注和句法分析。拉纳帕提成功地将上下文信息、词性（名词、动词和形容词等）、句子成分（主谓宾）通过最大熵模型结合起来，做出了当时世界上最好的词性标识系统和句法分析器。拉纳帕提的论文发表后让人们耳目一新。拉纳帕提的词性标注系统，至今仍然是使用单一方法最好的系统。科学家们从拉纳帕提的成就中，又看到了用最大熵模型解决复杂的文字信息处理的希望。
图像处理在航天航空中的应用-结业论文
论文题目：图像处理在航天和航空技术方面的运用 学院：机械电气工程学院 班级： 2012级机制3班 姓名：张娜 学号： 20125009077
摘要：图像处理技术的研究和应用越来越受到社会发展的影响，并以自身的技术特点反过来影响整个社会技术的进步。本文主要简单概括了数字图像处理技术的特点、优势，列举了数字图像处理技术的应用领域并详细介绍了其在航天航空领域中的发展。 关键字：图像处理简介技术的优点发展技术应用 一、引言 数字图像处理是通过计算机采用一定的算法对图像图形进行处理的技术，它已经在各个领域上都有了较广泛的应用。图像处理的信息量很大，对处理速度要求也很高。本文就简单的介绍图像处理技术及其在各个领域的应用，详细说明图像处理在航天航空技术方面的应用。 二、数字图像处理简介 （一）图像的概念 图像包含了它所表达的物体的描述信息。我们生活在一个信息时代，科学研究和统计表明，人类从外界获得的信息约有百分之七十来自视觉系统，也就是从图像中获得，即我们平常所熟知的照片，绘画，动画。视像等。 （二）数字图像处理技术 数字图像处理又称为计算机图像处理，它是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。图像处理技术着重强调在图像之间进行的变换，主要目标是要对图像进行各种加工以改善图像的视觉效果并为其后的目标自动识别打基础，或对图像进行压缩编码以减少图像存储所需要的空间或图像传输所需的时间。图像处理是比较低层的操作，它主要在图像像素级上进行处理，处理的数据量非常大。数字图像处理的早期应用是对宇宙飞船发回的图像所进行的
信息熵理论 在通信系统中，信息从发送到接收的传输过程是一个有干扰的信息复制过程。 对每一个具体的应用而言，传输的信息是确定的，有明确的应用目的。 对一个通信系统而言主，不同的用户要传送的具体的信息内容是不同的，则如何从这些繁杂的具体信息中提炼出它们的共同特征，并可进行量化估计是shannon 信息论研究的基础。 所谓量化估计就是用提炼的共同特征估计与某些具体内容所对应的需要传输的信息量大小。 信息量定义的另一个重要特征是它能保证信息量值的大小与具体的信息内容无关。 1.定义信息熵： 设X 是一个离散的随机变量，其定义空间为一个字符集E 。 ()()E x x X P x p ∈==,，表示相应的概率分布函数，则 ()()()()x p x p X H x log ∑-=称为离散随机变量的熵。 有时记()()()()(){}X p E x p x p p H p x log log -=-=∑ {}p E 表示以概率分布()x p 对某随机变量或随机函数求概率平均。 2.定义联合熵： 设X ﹑Y 是丙个离散的随机变量，（X,Y ）的联合概率分布函数为()()y Y x X P y x p ===,,，则 ()()()y x p y x P Y X H x y ,log ,,∑∑-= 称为离散随机变量X 与Y 的联合熵。 有时记为： ()()()(){}Y X p E y x p y x p Y X H p x y ,log ,log ,,-=-=∑∑ 3.定义条件熵： 如果()(),,~,y x p Y X 则条件熵()X Y H /定义为 ()()() ∑=-=x x X Y H x p X Y H // ()()()∑∑- =x y x y p x y p x p /log / ()()∑∑-=x y x y p y x p /log , (){}X Y p E /log -= 条件熵等于零的条件为()1==Y X p 事实上，对任意的y x ,都有()()0/log /=x y p x y p ，从而得()()1/0/==x y p x y p 或，又因为X 与Y 是取值空间完全相同的随机变量，所以有()1/=X Y p
图像处理技术原理及其在生活中的应用探讨 摘要在社会生活实践中，图像处理技术获得了广泛的应用。这种技术之所以可以得到广泛应用，与其极强的功能所分不开的。在计算机算法不断改善的过程中，图像处理技术的发展前景是非常广阔的。笔者对图像处理技术的原理进行了分析，并其对在生活中的应用进行了探究[1]。 关键词图像处理技术原理；生活；应用 1 图像处理技术的原理分析 所谓的图像处理技术，就是通过计算机技术以及相关的技术来对图像进行处理，从而使图像更好地为我们所利用的一种技术。在这个过程中，需要运用到几个技术要点。第一个就是使图像进行转换，从而得到计算机容易识别的矩阵，这种矩阵被称为是“数字矩阵”。这样得到的矩阵更容易被计算机所存储。第二就是通过多种算法来实现对计算机所存储的图像进行有关处理，其中用到的常用算法就有基于人眼视觉特性的阈值算法、具有去噪功能的图像增强算法等。第三就是在进行了一些技术性的处理，然后获取图像信息。通过中国知网、万方数据库等平台所查阅到的图像类型相关资料可知，图像的类型主要可以分为两大类，一类是数字化图像，另一类是模拟图像。前者不仅处理便捷，而且精度较高，能够适应现代社会的发展要求，后者在现实生活中的应用更为常见，比如在相机图片中的应用。模拟图像输出较为简单，灵活性和精度不太高，因此其使用的限制性较大[2]。 2 图像处理技术原理在生活中的应用探讨 2.1 图像处理技术原理在安全防范中的应用 在安全防范监控系统不断发展的过程中，系统从模拟向数字的方向发展，这跟人们要求图像的精准度越来越高有关。在安防领域，图像处理技术如果能够得到很好的利用，那么就可以实现对图像的去噪声处理，对失真的图像进行矫正处理。在公安部门破案的过程中，有时会根据犯罪现场的指纹特征来对视频采集参数进行调节，比如色彩补偿就是一种很好的调節方法，这样方便公安部门更快地破案。尽管现在的监控系统越来越完善，但是如果遇到暴风暴雨和雾霾或者光线较弱的天气，那么监控得到的视频图像往往还是比较模糊的，对于这些模糊的图像，可以通过图像增强技术进行一些处理，从而为后续的公安部门调查和取证提供便利，模糊图像处理技术这时就排上了用场[3]。 2.2 图像处理技术原理在娱乐休闲领域的应用 在娱乐休闲领域，图像处理技术原理主要的应用场合就是平时我们利用手机或数码相机摄影以及电影特效制作等场合。在数码相机出现以前，图像只能使用传统相机通过胶片的形式保存。在数码相机出现之后，人们就可以短时间内对相
图像处理技术及其应用 姓名： （班级：学号：） 【摘要】图像处理技术的研究和应用越来越收到社会发展的影响，并以自身的技术特点反过来影响整个社会技术的进步。本文主要简单概括了数字图像处理技术近期的发展及应用现状，列举了数字图像处理技术的主要优点和制约其发展的因素，同时设想了图像处理技术在未来的应用和发展。 【关键字】图像处理；发展；技术应用 1 引言 计算机图像处理技术是在20世纪80年代后期，随着计算机技术的发展应运而生的一门综合技术。图像处理就是利用计算机、摄像机及其它有关数字技术，对图像施加某种运算和处理，使图像更加清晰，以提取某些特定的信息，从而达到特定目的的技术。随着多媒体技术和网络技术的快速发展，数字图像处理已经广泛应用到了人类社会生活的各个方面，如：遥感，工业检测，医学，气象，通信，侦查，智能机器人等。无论在哪个领域中，人们喜欢采用图像的方式来描述和表达事物的特性与逻辑关系，因此，数字图像处理技术的发展及对其的要求就越来显得重要。 2 图像处理技术发展现况 进入21世纪，随着计算机技术的迅猛发展和相关理论的不断完善，数字图像处理技术在许多应用领域受到广泛重视并取得了重大的开拓性成就。随着计算机技术和人工智能、思维科学研究的迅速发展，数字图像处理向更高、更深层次发展。人们已开始研究如何用计算机系统解释图像，实现类似人类视觉系统理解外部世界，这被称为图像理解或计算机视觉。 从图像变换方面来讲，目前新兴研究的小波变换在时域和频域中都具有良好的局部化特性，它在图像处理中也有着广泛而有效的应用；而图像增强和复原图像增强和复原的目的是为了提高图像的质量，如去除噪声，提高图像的清晰度等，目前主要在指纹图像增强处理技术，医学影像学方面有显著的成果。这项技术使得各自图像的空间分辨率和对比度有了更大的提高，而最新的医学图像融合则是指对医学影像信息如CT、MRI、SPECT和PET所得的图像,利用计算机技术将它们综合在一起,实现多信息的同步可视化,对多种医学影像起到互补的作用。图像分割图像分割是数字图像处理中的关键技术之一。图像分割是将图像中有意义的特征部分提取出来，这是进一步进行图像识别、分析和理解的基础。虽然目前已研究出不少边缘提取、区域分割的方法，但还没有一种普遍适用于各种图像的有效方法。因此，对图像分割的研究还在不断深入之中，是目前图像处理中研究的热点之一。 图像描述图像描述是图像识别和理解的必要前提。作为最简单的二值图像可采用其几何特性描述物体的特性，一般图像的描述方法采用二维形状描述，它有边界描述和区域描述两类方法。对于特殊的纹理图像可采用二维纹理特征描述。随着图像处理研究的深入发展，已经开始进行三维物体描述的研究，提出了体积描述、表面描述、广义圆柱体描述等方法；图像分类（识别）图像分类（识别）属于模式识别的范畴，其主要内容是图像经过某些预处理（增强、复原、压缩）后，进行图像分割和特征提取，从而进行判决分类。近年来新发展起来的模糊模式识别和人工神经网络模式分类在图像识别中也越来越受到重视。 3 图像处理技术应用现状 图像是人类获取和交换信息的主要来源，因此，图像处理的应用领域必然涉及到人类生活和工作的方方面面。随着人类活动范围的不断扩大，图像处理的应用领域也将随之不断扩大。 3.1航天和航空技术方面的应用 数字图像处理技术在航天和航空技术方面的应用，许多国家每天派出很多侦察飞
分类号： O236单位代码：106 密级：一般学号： 本科毕业论文（设计） 题目：信息熵在球员选拔中的应用专业： 姓名： 指导教师： 职称： 答辩日期：
信息熵在球员选拔中的应用 摘要:.本课题通过研究信息熵的定义和性质,运用p c -分析法,通过统计一场球赛中各个球员的各项技术指标并该场球赛中各个队员的信息熵,自信息等值,得到球员选拔过程中对球员的评判方法.并以此法选出优秀的球员,根据信息熵的性质指出每个球员的不足之处,为今后的训练指明了方向. 关键字:信息熵;P-C分析法;球员选拔 Information entropy application in selecting players Abstract: Shannon information entropy presented expressions in 1948, which pioneered information theory. Now more and more international competitions, how to select best players on behalf of the state competition become critical .This issue through the definition and nature of information entropy, use of p c -law to come the assessment of each player, and select a good player, and point out the inadequacties of each player based on information entropy, that should be strengthened in future training exercises. Key Words: Information Entropy; P-C Analysis; Selecting Players
信息熵理论的应用研究 [摘要] 广告活动是信息的活动，信息熵是信息活动的度量标准。本文利用信息熵理论对广告活动中的信息处理、广告传播、广告效果测定和广告受众进行了论证，指出了广告信息活动的规律。 [关键词] 信息熵；负熵；广告活动；广告受众 广告是一种非人际的信息传播，是信息交流的工具。广告系统实质上是信息系统，它具备了信息传播的五要素：谁——通过什么媒介——对谁——说了什么——取得了什么效果。广告的信息传播包括：广告发布者(包括广告主、广告制作者和传播者，即信息源)、广告信息内容、广告媒介、广告受众、广告效果等要素。信息熵理论是描述信息系统发展的基本理论，利用信息熵从信息的角度分析广告行为、预判广告活动的发展趋势，是研究广告活动的一种新方法。 一、熵、信息熵与广告活动的理论分析 熵是一个重要的物理概念，热力学中的熵通常被用于表征一个物理系统的无序程度。随着科学综合化的发展，熵又远远超出物理学范围。1948年，香农(shannon)第一次将熵这一概念引入到信息论中，从此，熵这一概念被广泛用于信息的度量，在自然科学和社会科学众多领域中得到广泛应用，并成为一些新学科的理论基础，由狭义熵发展为广义熵。正如爱因斯坦的评价那样：“熵理论对于整个科学来说是第一法则”。熵表示的是系统固有的、规律性的本质。在没有外界作用下，一个系统的熵越增，不可用能就越大，动力越小；换言之，一个系统的熵不相同时，对于相等的进程，它们的利用价值可以大不相同。一个孤立系统的熵永不减少，这叫做熵增原理。根据这一原理，以熵变为判据，不仅可以判断过程进行的方向，而且还能给出孤立系统达到平衡的条件。熵增原理揭示了一切自发过程都是不可逆的这一共同本质。为了打破平衡，必须与外部系统交换熵，从外部系统得到的熵称为负熵，目的是使本系统的熵值减少，更具有活力。
图像处理技术的应用先展示一下自己用Photoshop处理的图片（做的不好望见谅）
摘要：图像处理技术的研究和应用越来越收到社会发展的影响，并以自身的技术特点反过来影响整个社会技术的进步。本文主要简单概括了数字图像处理技术近期的发展及应用现状，列举了数字图像处理技术的主要优点和制约其发展的因素，同时设想了图像处理技术在未来的应用和发展。 关键字：图像处理发展技术应用 1.概述 1.1图像的概念 图像包含了它所表达的物体的描述信息。我们生活在一个信息时代，科学研究和统计表明，人类从外界获得的信息约有百分之七十来自视觉系统，也就是从图像中获得，即我们平常所熟知的照片，绘画，动画。视像等。 1.2图像处理技术 图像处理技术着重强调在图像之间进行的变换，主要目标是要对图像进行各种加工以改善图像的视觉效果并为其后的目标自动识别打基础，或对图像进行压缩编码以减少图像存储所需要的空间或图像传输所需的时间。图像处理是比较低层的操作，它主要在图像像素级上进行处理，处理的数据量非常大。 1.3优点分析 1．再现性好。数字图像处理与模拟图像处理的根本不同在于，它不会因图像的存储、传输或复制等一系列变换操作而导致图像质量的退化。 2．处理精度高。按目前的技术，几乎可将一幅模拟图像数字化为任意大小的二维数组，这主要取决于图像数字化设备的能力。现代扫描仪可以把每个像素的灰度等级量化为16位甚至更高，这意味着图像的数字化精度可以达到满足任一应用需求。 3．适用面宽。图像可以来自多种信息源，它们可以是可见光图像，也可以是不可见的波谱图像（例如X射线图像、射线图像、超声波图像或红外图像等）。从图像反映的客观实体尺度看，可以小到电子显微镜图像，大到航空照片、遥感图像甚至天文望远镜图像。即只要针对不同的图像信息源，采取相应的图像信息采集措施，图像的数字处理方法适用于任何一种图像。 4．灵活性高。图像处理大体上可分为图像的像质改善、图像分析和图像重建三大部分，每一部分均包含丰富的内容。而数字图像处理不仅能完成线性运算，而且能实现非线性处理，即凡是可以用数学公式或逻辑关系来表达的一切运算均可用数字图像处理实现。 2.应用领域 2.1图像技术应用领域
信息熵在图像处理中的应用 摘要：为了寻找快速有效的图像处理方法，信息理论越来越多地渗透到图像处理技术中。文章介绍了信息熵在图像处理中的应用，总 结了一些基于熵的图像处理特别是图像分割技术的方法，及其在这一领域内的应用现状和前景 同时介绍了熵在织物疵点检测中的应用。 Application of Information Entropy on Image Analysis Abstract ：In order to find fast and efficient methods of image analysis ，information theory is used more and more in image analysis ．The paper introduces the application of information entropy on the image analysis ，and summarizes some methods of image analysis based on information entropy ，especially the image segmentation method ．At the same time ，the methods and application of fabric defect inspection based on information entropy ale introduced ． 信息论是人们在长期通信实践活动中，由通信技术与概率论、随机过程、数理统计等学科相结合而逐步发展起来的一门新兴交叉学科。而熵是信息论中事件出现概率的不确定性的量度，能有效反映事件包含的信息。随着科学技术，特别是信息技术的迅猛发展，信息理论在通信领域中发挥了越来越重要的作用，由于信息理论解决问题的思路和方法独特、新颖和有效，信息论已渗透到其他科学领域。随着计算机技术和数学理论的不断发展，人工智能、神经网络、遗传算法、模糊理论的不断完善，信息理论的应用越来越广泛。在图像处理研究中，信息熵也越来越受到关注。 1 信息熵 1948年，美国科学家香农(C ．E ．Shannon)发表了一篇著名的论文《通信的数学理论》 。他从研究通信系统传输的实质出发，对信息做了科学的定义，并进行了定性和定量的描述。 他指出，信息是事物运动状态或存在方式的不确定性的描述。其通信系统的模型如下所示： 图1 信息的传播 信息的基本作用就是消除人们对事物的不确定性。信息熵是信息论中用于度量信息量的一个概念。假定X 是随机变量χ的集合，p （x ）表示其概率密度，计算此随机变量的信息熵H （x ）的公式是 P （x ，y ）表示一对随机变量的联合密度函数，他们的联合熵H （x ，y ）可以表示为 信息熵描述的是信源的不确定性，是信源中所有目标的平均信息量。信息量是信息论的中心概念，将熵作为一个随机事件的不确定性或信息量的量度，它奠定了现代信息论的科学理论基础，大大地促进了信息论的发展。设信源X 发符号a i ，的概率为Pi ，其中i=1，2，…，r ，P i >O ，要∑=r i Pi 1=1，则信息熵的代数定义形式为：
基于最大熵原理的语言建模 1 问题的引入 在自然语言处理中，为了建立语言模型，需要使用上下文文本中的信息特征，利用不同的信息特征所建立的语言模型，对当前词预测所得的概率结果可能会有所不同，这样的信息特征在上下文 中有多种。例如，利用当前词w i 前面的连续n-1个词(∈-+-1 i 1n i w h)作为历史信息特征构造的n-gram 模型，其概率估计为)W |W (P 1i 1n i i -+-；而触发对语言模型，则是利用当前词前面的某个历史窗口中的 词作为触发词，要预测的当前词作为被触发词，该模型中所用的历史信息特征和n-gram 中的就不同，它可以是历史窗口中与当前词相距为d 的某个词或词串。例如，如果我们想估计在给定的文本历史情况下词“模型”的出现概率P(模型｜h)，如果使用Bigram 模型，则就会将事件空间（h,模型）根据h 的最后一个词划分成几个等价类，比如说，在训练文本中可能有“数学模型”、“语言模型”、“工程模型”、“汽车模型”等这样的短语，因此，“模型”一词的历史文本h 的最后一个词可能就是“数学”、“语言”、“工程”、“汽车”等，并将它们分别看作一个等价类，Bigram 模型为每个等价类赋以相同的概率。例如： ｛语言，模型｝ 模型｜语言）＝K (P Bigram (1) 这里，K {语言,模型}定义如下： ) Count() ,Count(},{语言模型语言模型语言= K (2) Count(语言,模型)是“语言”与“模型”两个词在训练语料中的同现次数，Count(语言)是“语 言”在训练语料中出现的次数。另一种对“模型”出现概率的估计方法就是根据特殊的触发对，比如说“建立汉语语言模型”或“使用语言模型”，我们就要考察在相同的历史信息h 中，是否有“建立”或“使用”这样的词，这样，又可以形成对事件空间（h,模型）的另一种划分，利用Trigger 模型，可以为同一个等价类赋以相同的概率： 模型） 建立 模型建立建立模型,(h h K )|(P ∈=∈→ (3) 这里定义模型） 建立 ,(h K ∈为： ) C() ,C(K h h ,(h ∈∈∈建立模型建立＝ 模型） 建立 (4) 显然，利用Bigram 和Trigger 模型所使用的信息特征估计得到的“模型”出现概率是不一样的，同理，用前面提到的其他信息特征所得到的概率也会不一样，能不能将它们协调一致，建立一个符合多个信息特征约束的统一模型框架呢？1992年，Della Pietra 等人利用最大熵原理建立语言模型就是对这一想法的尝试。 2 最大熵原理 2.1 基本思想 最大熵原理是E.T.Jayness 于1950年提出的，其基本思想是：假设｛X ｝是一个事件空间，有许多种能够刻画该事件空间的信息源特征（或称约束），可以用来对事件的出现概率P(X)进行表述，假设每个约束i 与一个约束函数f i (X)和一个数学期望K i 相联系，则该约束可以写为：
第六章最大熵原理在气象学中的应用 上一章我们把熵原理作了简要介绍，并附带提及了它在一些领域的应用。由于熵原理的普遍的适用性，因而认真分析它在气象上的应用潜力是十分值得的。很显然，用熵原理说明的气象学中的问题越多，不仅越加显示熵原理的重要性，显示宇宙真理的统一性，而且也为气象学找到了新的理论武器，而这势必也提高了气象学的科学性和实用性。 在这一章我们就重点讨论最大熵原理怎样应用于各种气象问题之中，以及由此得出的结果。把最大熵原理用于说明气象现象大致包含如下步骤： ◆首先把气象问题归结为某种分布函数(这在第二章 已列出约30个分布函数的个例)。 ◆找出形成上述分布函数的物理(气象)过程中有哪些 重要的约束条件。 ◆从物理(气象)过程含有随机性引出对应的熵达到极 大值(即随机性导致最混乱)。 ◆进行数学处理，从熵理论导出分布函数。 ◆用实际资料验证理论结果(如不符，可再重复上述过 程)。 后边的介绍就是把上述步骤分别用于各个具体的气象分布问题中，并从中逐步加深对最大熵原理的认识。 另外，从70年代以来Paltridge[1]等人从热力学熵平衡角度研究地球纬圈上的气温分布的工作，也应属于试着用熵原理的一种事例。这个工作中尽管在原理上尚有不清楚之处，但其结果与实况的一致性和引用极值原理都是很有意义的。鉴于汤懋苍[2]近年对此已有介绍，我们这里就不再评述
了。 顺便指出，早在上世纪，从力学中发展起来的最小作用原理就从力学领域体现了自然界遵守某种极值原理的精神。 在气象界，罗伦茨[3]在60年代就设想大气也应当遵守某种极值原理。而我们指出有一些气象分布函数可以从熵达极大的角度推导出来，这可以看成是罗伦茨思想从统计角度(非决定论角度)的具体体现。 所以，最大熵原理在气象学中的应用不仅应看作是随机论(非决定论)的胜利，也应当看成广义的极值原理的胜利。 §1 大气的温度场和气压场 从最大熵原理出发，很容易说明大气中的温度场和气压场的分布。在第二章第4节我们已经论证了大气的温度场和气压场的分布。对气压场，我们从简单的分析得出它应是均匀分布，对温度场则从平均图上得出其分布也是均匀分布。这就是说，如果从大气中纯随机地抽取一个空气样品，则其气压(气温)为各种可能值的出现概率都是相等的，或者说各种可能的气压(温度)占有的大气质量是一样的。图2．5 就是其代表。 大气温度为什么恰为均匀分布(它竟然遵守如此简单的分布，确实有些出人意料！）? 形成现今温度分布的原因当然是太阳辐射和大气的对外辐射，这使我们想到如图6．1的极简单的模型。图的左侧有一高温的恒定热源，其温度为T1，左侧有一低温的恒定热汇，其温度为T0。介质处于T1和T0两个温度之间，它的温度在各处不会都是T1或T0，从而构成了一个温度场。如果介质仅能从左右两端吞吐热量而其他界面与外界绝缘，那么介质中的温度场理应会形成如图所示的等温线呈均匀分布之形状。此时介质上的温度分布函数应为均匀分布，对此我们也可以从解热传导方程中得出来。
数字图像处理技术的应用研究 图像处理也就是按照人们视觉、心理或实际应用的需要，对 图像信息进行加工修改的过程，在不同的时期、不同的领域往往 会采用不同的图像处理技巧。数字图像处理技术是伴随着计算机 信息功能的日益强大以及人们对高精度图像的需求而产生的，随 着社会的发展，尤其是计算机信息技术的进步，数字图像处理技 术被广泛应用于各个领域，其重要性变得日益突出。 一、数字图像处理技术的概念内涵 当前，我国通常采用的图像处理技术主要有两种，即光学处 理法和数字（电子）处理法。前者产生的时间较早，从最开始的 光学滤波技术到现在的激光全息技术，无论是理论研究，还是应 用技巧，光学图像处理法已日臻完善。但其图像处理精度低、稳 定性差以及操作不便的特点极大地限制了其应用领域拓展，在这 种情况下，数字图像处理技术便应运而生。 数字图像处理，也即是Digital Image Processing，产生于 20世纪50年代，是指人们采用计算机及其它数字硬件设备，对图 像信息转换而来的电信号根据数学运算的方式，进行增强、提取、复原、分割以及去除噪音等处理的方法和技术，以此提高图像的实用性，因此，该技术的产生与发展建立在计算机运用、离算数学理论的产生与完善以及社会诸多领域的需求之上的。其最大特点是不仅图像处理精度高，而且可以通过改进硬件系统配置和优化软件系统功能的方式来提高图像处理效果，一切以计算机运行为基础，操作极为方便。最初，由于数字图像处理技术的数据需求量大，处理速度慢，极大地限制了其应用领域，但随着计算机技术的快速发展，尤其是运算速度的提升，这一瓶颈早已被突破。 二、数字图像处理技术的功能内容分析 （一）增强图像的视觉效果。在某些特殊领域，图像在传输与 转换的过程中容易造成信息的丢失，从而形成失真现象，比如航天拍摄的图片在传回地球的过程中，由于光学系统、大气流、空气介质等原因造成图像模糊；在图像扫描、采样、量化的过程中，所形成的噪音污染等等。我们可以采用数字图像处理技术，一方面突出重要信息而衰减次要信息；另一方面根据失真原因，补偿丢失的信息因素，从而使改善后的图像效果尽可能的接近原始图像。 （二）图像的重建功能。随着电子计算机体层摄影技术的发 展，图像的重建成为一种新兴的数字图像处理技术，它主要是对 目标对象进行观察和测量，重新构建出图像中的大量信息的直观 显示，从而在计算机模拟系统中进行二维或者三维的图像处理， 这也是对特殊实体进行图像回归的过程。 （三）模式识别功能。模式识别也是数字图像处理技术的一
农业大学 本科生课程论文 论文题目信息熵及其性质和应用学生专业班级信息与计算科学09级2班学生学号 20093992 指导教师吴慧 完成时间2012年06月25日 2012 年 06 月 25 日
课程论文任务书 学生指导教师吴慧 论文题目信息熵及其性质和应用 论文容（需明确列出研究的问题）：研究信息熵的目的就是为了更深入的了解信息熵，更好的了解信息熵的作用，更好地使用它解决现实生活中的问题。文中介绍了信息熵的定义和性质及其应用。使我们对信息熵有跟深入的了解。 资料、数据、技术水平等方面的要求：论文要符合一般学术论文的写作规，具备学术性、科学性和一定的创造性。文字要流畅、语言要准确、论点要清楚、论据要准确、论证要完整、严密，有独立的观点和见解。容要理论联系实际，计算数据要求准确，涉及到他人的观点、统计数据或计算公式等要标明出处，结论要写的概括简短。参考文献的书写按论文中引用的先后顺序连续编码。 发出任务书日期 06月15日完成论文日期 06月25日 教研室意见（签字） 院长意见（签字）
信息熵及其性质和应用 信息与计算科学专业 指导教师吴慧 摘要：信息熵是随机变量不确定性的度量，文中从信息熵的定义出发，结合信息熵的性质，介绍了目前信息熵在具体问题中的应用。信息是一个十分通俗而又广泛的名词，它是人类认识世界、改造世界的知识源泉。人类社会发展的速度，在一定程度上取决于人类对信息利用的水平，所以对信息的度量就很有必要。香农提出信息的一种度量，熵的定义形式，它是随机变量不确定性的度量，文中主要介绍熵的性质及其应用。 关键词；信息熵性质应用 Information entropy and its properties and Application Student majoring in Information and Computing Science Specialty dongqiang Tutor WuHui Abstract：information entropy is a measure of uncertainty of random variable, this paper from the definition of information entropy, combined with the nature of information entropy, information entropy, introduced the specific issues in the application https://www.doczj.com/doc/324105691.html,rmation is a very popular and wi dely noun, it is human understanding of the world, transforming the world knowledge source . The human society development speed, depend on on certain level the human make use of information level, so the measurement information is necessary.Shannon put forward the informa-tion a kind of measurement, the definition of entropy form, it is the uncertainty of random variable metric, this paper mainly introduces the property of entropy and its application. Key words:information entropy properties application
一、熵 物理学概念 宏观上：热力学定律——体系的熵变等于可逆过程吸收或耗散的热量除以它的绝对温度（克劳修斯，1865） 微观上：熵是大量微观粒子的位置和速度的分布概率的函数，是描述系统中大量微观粒子的无序性的宏观参数（波尔兹曼，1872） 结论：熵是描述事物无序性的参数，熵越大则无序。 二、熵在自然界的变化规律——熵增原理 一个孤立系统的熵，自发性地趋于极大，随着熵的增加，有序状态逐步变为混沌状态，不可能自发地产生新的有序结构。 当熵处于最小值, 即能量集中程度最高、有效能量处于最大值时, 那么整个系统也处于最有序的状态,相反为最无序状态。 熵增原理预示着自然界越变越无序 三、信息熵 （1）和熵的联系——熵是描述客观事物无序性的参数。香农认为信息是人们对事物了解的不确定性的消除或减少，他把不确定的程度称为信息熵（香农，1948 ）。 随机事件的信息熵：设随机变量ξ，它有A1，A2，A3，A4，……，An共n种可能的结局，每个结局出现的概率分别为p1，p2，p3，p4，……，pn，则其不确定程度，即信息熵为 （2）信息熵是数学方法和语言文字学的结合。一个系统的熵就是它的无组织程度的度量。熵越大，事件越不确定。熵等于0，事件是确定的。 举例：抛硬币， p（head）=0.5，p（tail）=0.5 H（p）=-0.5log2（0.5）+（-0.5l og2（0.5））=1 说明：熵值最大，正反面的概率相等，事件最不确定。 四、最大熵理论 在无外力作用下，事物总是朝着最混乱的方向发展。事物是约束和自由的统一体。事物总是在约束下争取最大的自由权，这其实也是自然界的根本原则。在已知条件下，熵最大的事物，最可能接近它的真实状态。
青岛农业大学 本科生课程论文 论文题目信息熵及其性质和应用学生专业班级信息与计算科学09级2班学生学号姓名20093992 指导教师吴慧 完成时间2012年06月25日 2012 年06月25日
课程论文任务书 学生姓名指导教师吴慧 论文题目信息熵及其性质和应用 论文内容（需明确列出研究的问题）：研究信息熵的目的就是为了更深入的了解信息熵，更好的了解信息熵的作用，更好地使用它解决现实生活中的问题。文中介绍了信息熵的定义和性质及其应用。使我们对信息熵有跟深入的了解。 资料、数据、技术水平等方面的要求：论文要符合一般学术论文的写作规范，具备学术性、科学性和一定的创造性。文字要流畅、语言要准确、论点要清楚、论据要准确、论证要完整、严密，有独立的观点和见解。内容要理论联系实际，计算数据要求准确，涉及到他人的观点、统计数据或计算公式等要标明出处，结论要写的概括简短。参考文献的书写按论文中引用的先后顺序连续编码。 发出任务书日期06月15日完成论文日期06月25日 教研室意见（签字） 院长意见（签字）
信息熵及其性质和应用 信息与计算科学专业 指导教师吴慧 摘要：信息熵是随机变量不确定性的度量，文中从信息熵的定义出发，结合信息熵的性质， 介绍了目前信息熵在具体问题中的应用。信息是一个十分通俗而又广泛的名词，它是人类认识世界、改造世界的知识源泉。人类社会发展的速度，在一定程度上取决于人类对信息利用的水平，所以对信息的度量就很有必要。香农提出信息的一种度量，熵的定义形式，它是随机变量不确定性的度量，文中主要介绍熵的性质及其应用。 关键词；信息熵性质应用 Information entropy and its properties and Application Student majoring in Information and Computing Science Specialty dongqiang Tutor WuHui Abstract：information entropy is a measure of uncertainty of random variable, this paper from the definition of information entropy, combined with the nature of information entropy, information entropy, introduced the specific issues in the application https://www.doczj.com/doc/324105691.html,rmation is a very popular and wi dely noun, it is human understanding of the world, transforming the world knowledge source . The human society development speed, depend on on certain level the human make use of information level, so the measurement information is necessary.Shannon put forward the informa-tion a kind of measurement, the definition of entropy form, it is the uncertainty of random variable metric, this paper mainly introduces the property of entropy and its application. Key words:information entropy properties application
1 第5讲 随机变量的信息熵 在概率论和统计学中，随机变量表示随机试验结果的观测值。随机变量的取值是不确定的，但是服从一定的概率分布。因此，每个取值都有自己的信息量。平均每个取值的信息量称为该随机变量的信息熵。 信息熵这个名称是冯诺依曼向香农推荐的。在物理学中，熵是物理系统的状态函数，用于度量一个物理系统内部状态和运动的无序性。物理学中的熵也称为热熵。信息熵的表达式与热熵的表达式类似，可以视为热熵的推广。香农用信息熵度量一个物理系统内部状态和运动的不确定性。 信息熵是信息论的核心和基础概念，具有多种物理意义。香农所创立的信息论是从定义和研究信息熵开始的。这一讲我们学习信息熵的定义和性质。 1. 信息熵 我们这里考虑离散型随机变量的信息熵，连续型随机变量的信息熵以后有时间再讨论，读者也可以看课本上的定义，先简单地了解一下。 定义1.1 设离散型随机变量X 的概率空间为 1 21 2 ......n n x x x X p p p P ?? ??=???????? 我们把X 的所有取值的自信息的期望称为X 的平均自信息量，通常称为信息熵，简称熵（entropy ），记为H(X)，即 1 1 ()[()]log n i i i H X E I X p p === ∑ (比特) 信息熵也称为香农熵。 注意，熵H (X )是X 的概率分布P 的函数，因此也记为H (P )。 定义1.2 信息熵表达式中的对数底可取任何大于等于2的整数r ，所得结果称为r-进制熵，记为H r (X )，其单位为“r-进制单位”。 我们有
2 ()() log r X H H r X = 注意，在关于熵的表达式中，我们仍然约定 0log 00 0log 00 x ==， 信息熵的物理意义： 信息熵可从多种不同角度来理解。 （1） H(X)是随机变量X 的取值所能提供的平均信息量。 （2） 统计学中用H(X)表征随机变量X 的不确定性，也就是随机性的大小。 例如，假设有甲乙两只箱子，每个箱子里都存放着100个球。甲里面有红蓝色球各50个，乙里面红、蓝色的球分别为99个和1个。显然，甲里面球的颜色更具有不确定性。从两个箱子各摸出一个球，甲里面摸出的球更不好猜。 （3） 若离散无记忆信源的符号概率分布为P ，则H(P)是该信源的所有无损编码的“平均 码长”的极限。 令X 是离散无记忆信源的符号集，所有长度为n 的消息集合为 {1,2, ,}n M X = 每个消息i 在某个无损编码下的码字为w i ，码字长为l i 比特。假设各消息i 出现的概率为p i ，则该每条消息的平均码长为 1 M n i i i L p l ==∑ 因此，平均每个信源符号的码长为 1 1M n i i i L p l n n ==∑ 这个平均每个信源符号的码长称为该编码的平均码长，其量纲为（码元/信源）。 我们有 () lim () n n n L L H X H X n n →∞≥=且 这是信源编码定理的推论。