信息熵在对未来信息的预测应用综述

信息熵在对未来信息的预测应用综述 一、引言： 预测未来信息的准确性无疑是当今社会人类最为关注的焦点之一，无论是在以市场经济为主体的经济时代对市场的预测，在证券市场对未来股市走势的预测以及在供应链市场对其上下游销售和库存等的预计，信息的是否准确都关系到对应行业的兴衰成败，因此，采用何种方式收集和把握相对准确的信息是一个企业是否能够发展一个社会能够进步的关键。 未来的信息是不确定的，我们可以通过经验预测其走势。然而这种预测的准确性是否有保证，是否达到了一定范围内的置信度。对此，信息熵的引入为这类问题的解决提供了一条途径，将预测信息的概率化，预期结果的定量化，为预测信息的相对可靠性提供了保障。 二、信息熵的基本理论 （一）熵的相关概念 熵是一个状态函数， 系统的状态一旦确定， 其熵值就保持不变。也就是说，，其改变量的大小仅与研究对象的起始和终止状态有关，，而与其经历的途径无关。熵作为描述复杂系统结构的物理量，在复杂系统理论中受到越来越多的关注，成为研究复杂系统的一个重要工具[ 1]。 熵概念内涵丰富，源远流长，在不同领域都得到深化和泛化，仅定义就有几十种，但一般说来，基本上就分为物理熵和信息熵[10]。 （二）信息和信息熵的引入 信息作为科学的概念，有它自身的特殊性，有着确切的含义，并可定量度量。熵最初作为热力学中的一个十分重要的态函数有着确切的物理意义。现如今，它的应用已远远超出这一范畴，广泛运用到信息论、控制论等其它领域中。由此而出现了信息熵。熬红（2001）认为，信息熵并没有脱离物理熵而单独存在，它和物理熵可用一统一表达式来表示，它们具有一定联系[ 2]。 1929年，匈牙利科学家L.Szilard提出了熵与信息不确定性的关系，进一步拓宽了熵的内涵。1948年，贝尔实验室的C.Shannon创立了信息论，他把通讯过程中信源讯号的平均信息量称为熵，从而使得熵概念的应用领域又获得了新的扩展，这就是这里所说的信息熵。信息熵是一个数学上颇为抽象的概念，在这里把信息熵理解成某种特定信息的出现概率（离散随机事件的出现概率）。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。信息熵也可以说是系统有序化程度的一个度量。 热力学熵和信息熵都可以作为描述系统紊乱程度的测度， 但一个物理系统的热力学熵是它的无组织程度的度量， 是系统无序状态的描述， 是状态无序性的表现。而信息熵表征物理系统运动状态的不确定性(无序性)通过通信收到消息后，这种不确定性的减少就获得信息，因此， 如果信源的状态是完全确定的( 完全有秩序) ，那么信息熵就等于零。有秩序的信源其熵小，无秩序的信源其熵大， 所以信息熵也是紊乱程度的一种度量。信息熵也是动态的， 如当消息通过系统传输到收信者后，信源的熵要改变[3~4]。 信息熵H(X)是随机变量X的概率分布函数， 所以又称熵函数。如果概率分布p(xi)， i =1，2，…， q， 则信息熵函数又可以写成p= ( p1， p2，..， pq)的函数形式， 记为H(P)。 2121plog(,,...,)()n 。 因为概率空间的完备性， 即1 1q 所以H(p)是(q- 1)元函数， 当q= 2时， 因为p1+p2=1， 若令其中一个概率为p， 则另一个概率为(1- p)[5]。 （三）信息熵的计算 根据Charles H. Bennett对Maxwell's Demon的解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律的。而产生信息，则是为系统引入负（热力学）熵的过程。所以信息熵的符号与热力学熵应该是相反的。一般而 言，当一种信息出现概率更高的时候，表明它被传播得更广泛，或者说，被引用的程度更高。我们可以认为，从信息传播的角度来看，信息熵可以表示信息的价值。这样我们就有一个衡量信息价值高低的标准，可以做出关于知识流通问题的更多推论。 信源的平均不定度。在信息论中信源输出是随机量，因而其不定度可以用概率分布来度量。记 H(X)＝H(P1，P2，…，Pn)＝P(xi)logP(xi)，这里P(xi)，i＝1，2，…，n为信源取第i个符号的概率。P(xi)=1，H(X)称为信源的信息熵。 熵的概念来源于热力学。在热力学中熵的定义是系统可能状态数的对数值，称为热熵。它是用来表达分子状态杂乱程度的一个物理量。热力学指出，对任何已知孤立的物理系统的演化，热熵只能增加，不能减少。然而这里的信息熵则相反，它只能减少，不能增加。所以热熵和信息熵互为负量。且已证明，任何系统要获得信息必须要增加热熵来补偿，即两者在数量上是有联系的。 可以从数学上加以证明，只要H(X)满足下列三个条件： ①连续性：H(P，1－P)是P的连续函数(0≤P≤1)； ②对称性：H(P1，…，Pn)与P1，…，Pn的排列次序无关； ③可加性：若Pn＝Q1+Q2＞0，且Q1，Q2≥0，则有H(P1，…，Pn-1，Q1，Q2)＝H(P1，…，Pn-1)+PnH；则一定有下列唯一表达形式：H(P1，…，Pn)＝-CP(xi)logP(xi) 其中C为正整数，一般取C＝1，它是信息熵的最基本表达式。 信息熵的单位与公式中对数的底有关。最常用的是以2为底，单位为比特(bit)；在理论推导中常采用以e为底，单位为奈特(Nat)；还可以采用其他的底和单位，并可进行互换。 信息熵除了上述三条基本性质外，还具有一系列重要性质，其中最主要的有： ①非负性：H(P1，…，Pn)≥0； ②确定性：H(1，0)＝H(0，1)＝H(0，1，0，…)＝0； ③扩张性：Hn-1(P1，…，Pn-ε，ε)＝Hn(P1，…，Pn)； ④极值性：P(xi)logP(xi)≤P(xi)logQ(xi)；这里Q(xi)＝1； ⑤上凸性：H[λP +(1-λ)Q]＞λH(P)+(1-λ)H(Q)，式中0＜λ＜1。 三、信息熵的相关应用 （一）信息熵应用于供应链财务风险评估 随着信息技术和经济全球化的发展，单个企业的竞争已经转化为不同供应链之间的竞争。贾炜莹，刘永胜（2010）认为在供应链体系中，即使一个供应链成员财务状况不够稳健，也有可能对整个供应链产生致命打击，甚至导致资金链断裂。为全面了解供应链节点企业所面临的各种财务风险的大小与影响程度，确定风险水平对供应链财务风险进进行评估，贾炜莹，刘永胜等（2010）摆脱了对人为主观赋权的依赖，基于信息熵法建立了一个供应链财务风险评估模型[6]。 信息熵是度量随机变量事件不确定性程度的一种有效尺度，具有非负、极值、可加等性质，能够从确切的数值度量出发去描述知识。在具体分析时，可根据各指标值的变异程度，利用信息熵来计算各指标权重，再对所有指标进行加权，从而得出较为客观的综合评价结果。 贾炜莹，刘永胜等（2010）采用了如下步骤对供应链的财务风险进行了评估： 1、评价指数选取 2、数据的同趋化和标准化处理 3、计算指标的熵值 4、计算指标的差异系数 5、计算评价指标的权重 6、供应链财务风险预警 通过对各企业及整个供应链进行财务风险评估，可以认识所处供应链的稳定性，吸收财务风险较低的企业加入，及时发现财务风险较高的企业并予以替换，以防止供应链任一环节出现问题，经长鞭效应，直接或间接影响上下游企业的运营。 （二）信息熵应用于环境管理过程控制 当今，环境与可持续性发展成为世界各国讨论的热点问题之一。随着ISO14000系列环境管理标准的颁发，该标准体系成了工业企业可持续性发展的重要框架模型[7]。张玉华，蔡正英（2007）建立了环境管理过程的闭环过程控制系统模型，用模糊控制系统表达环境过程中的不确定性，分析了环境管理过程的控制能力，建立了过程控制能力函数。将信息熵引入模糊环境过程控制函数的参数识别，建立了环境管理过程度量方法。同时，建立了环境管理过程决策支持系统，以实现环境管理过程的参数识别和能力评估[8]。在ISO14000框架模型下，企业的制造、采购等环节对环境管理提出了越来越高的要求[9]。同时一些学者开始关注环境管理体系实施过程中的决策问题，尤其是环境管理体系的相关能力问题，如可持续性发展能力的评估、环境管理体系影响和绩效评价等。 实际上，环境管理体系同质量管理体系一样，也是基于过程和持续改进的，因此过程控制能力是环境管理体系最重要的能力之一，有必要引入质量管理体系的过程观点，建立环境管理体系的过程控制概念和过程控制能力评估方法[8]。 张玉华，蔡正英（2007）研究了环境管理系体的特点，建立了ISO14000系列环境管理体系的过程控制模型，分析了环境管理体系的过程控制能力，用模糊信息熵函数对过程能力进行定量决策，给出了环境管理体系的过程决策支持系统。 通过对环境管理体系的过程建模并将环境管理过程模糊化的方法，根据不同的熵值求出环境管理过程中各指标的不同权重。把环境管理过程控制能力表达为模糊熵的函数，进行了定量度量[8]。 张玉华，蔡正英（2007）对环境管理过程能力的定量决策进行了探讨，用闭环控制图表达环境管理过程的循环性也符合实际情况，模糊信息熵函数能够考虑实际环境中管理过程的不确定性，摒弃了在实际盲目照搬企业现有的环境管理流程的做法，提高了控制能力及其量化评价可行性。 （三）信息熵应用于水系统中的应用研究 水系统是一个复杂巨系统，包含了诸多不确定性，例如随机、模糊、灰色等，为了深入研究这些特性，王栋，朱元（2010）探索引入随即过程理论，模糊数学理论、灰色系统理论等，提出并发展了随机水文学、模糊水文学、灰色系统水文学等分支学科，推动了水文资源学科的研究[10]。 王栋，朱元（2010）在介绍信息熵基本概念和理论的基础上，对其在水系统中的应用研究，主要从概率分布推导和参数估计、熵谱预报、水文（水质）站网布设评估、水质水环境的预测预报评估、水系统建模系统中、水利学、河流地貌学等问题进行了总结，并对今后的研究进行了展望[10]。 和其他学者不同的是，王栋，朱元（2010）在水系统的应用研究中首先提出了概率分布推导和参数估计的问题，因为在水系统中应用