基于熵模型的多维变量熵不确定度
摘要：基于信息熵概念在测量精度分析中的应用特点，从理论上推出信息熵和不确定度的关系式。试图寻找合适的模型，将已知一维随机变量的熵不确定度指标推广到二维、三维和N维的情况，得出多维变量的熵不确定度指标的统一公式，并对结果加于讨论和验证。
关键词：熵不确定度；信息熵；多维随机变量；
1 熵与不确定度的关系
首先我们从理论上推出信息论中的熵和误差理论中的不确定度的关系式，并着重说明二者在物理意义上的一致性。
1.1 信息论中的熵
在信息论中，熵可用作某一事件不确定度的量度。信息量越大，体系结构越规则，功能越完善，熵就越小。利用熵的概念可以从理论上研究信息的计量、传递、变换和存储。
信息论中的熵：由信息论的创始人Shannon在著作《通信的数学理论》中提出，并建立在概率统计模型上的信息度量。他把信息定义
为“用来消除不确定性的东西”。
Shannon公式：I(A)=-log P(A)（1）
公式中：I(A)为度量事件A发生所提供的信息量，称之为事件A的自信息；P(A)为事件A发生的概率。
熵定义为信息量的概率加权统计平均值：如果一个随机试验有个可能的结果，或一个随机消息有n个可能值，若它们出现的概率分
最大熵算法笔记 最大熵，就是要保留全部的不确定性，将风险降到最小，从信息论的角度讲，就是保留了最大的不确定性。 最大熵原理指出，当我们需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。在这种情况下，概率分布最均匀，预测的风险最小。因为这时概率分布的信息熵最大，所以人们称这种模型叫"最大熵模型"。 匈牙利著名数学家、信息论最高奖香农奖得主希萨（Csiszar）证明，对任何一组不自相矛盾的信息，这个最大熵模型不仅存在，而且是唯一的。而且它们都有同一个非常简单的形式-- 指数函数。 我们已经知道所有的最大熵模型都是指数函数的形式，现在只需要确定指数函数的参数就可以了，这个过程称为模型的训练。 最原始的最大熵模型的训练方法是一种称为通用迭代算法GIS (generalized iterative scaling) 的迭代算法。GIS 的原理并不复杂，大致可以概括为以下几个步骤： 1. 假定第零次迭代的初始模型为等概率的均匀分布。 2. 用第N 次迭代的模型来估算每种信息特征在训练数据中的分布，如果超过了实际的，就把相应的模型参数变小；否则，将它们便大。 3. 重复步骤2 直到收敛。 GIS 最早是由Darroch 和Ratcliff 在七十年代提出的。但是，这两人没有能对这种算法的物理含义进行很好地解释。后来是由数学家希萨（Csiszar) 解释清楚的，因此，人们在谈到这个算法时，总是同时引用Darroch 和Ratcliff 以及希萨的两篇论文。GIS 算法每
次迭代的时间都很长，需要迭代很多次才能收敛，而且不太稳定，即使在64 位计算机上都会出现溢出。因此，在实际应用中很少有人真正使用GIS。大家只是通过它来了解最大熵模型的算法。 八十年代，很有天才的孪生兄弟的达拉皮垂(Della Pietra) 在IBM 对GIS 算法进行了两方面的改进，提出了改进迭代算法IIS （improved iterative scaling）。这使得最大熵模型的训练时间缩短了一到两个数量级。这样最大熵模型才有可能变得实用。即使如此，在当时也只有IBM 有条件是用最大熵模型。 由于最大熵模型在数学上十分完美，对科学家们有很大的诱惑力，因此不少研究者试图把自己的问题用一个类似最大熵的近似模型去套。谁知这一近似，最大熵模型就变得不完美了，结果可想而知，比打补丁的凑合的方法也好不了多少。于是，不少热心人又放弃了这种方法。第一个在实际信息处理应用中验证了最大熵模型的优势的，是宾夕法尼亚大学马库斯的另一个高徒原IBM 现微软的研究员拉纳帕提(Adwait Ratnaparkhi)。拉纳帕提的聪明之处在于他没有对最大熵模型进行近似，而是找到了几个最适合用最大熵模型、而计算量相对不太大的自然语言处理问题，比如词性标注和句法分析。拉纳帕提成功地将上下文信息、词性（名词、动词和形容词等）、句子成分（主谓宾）通过最大熵模型结合起来，做出了当时世界上最好的词性标识系统和句法分析器。拉纳帕提的论文发表后让人们耳目一新。拉纳帕提的词性标注系统，至今仍然是使用单一方法最好的系统。科学家们从拉纳帕提的成就中，又看到了用最大熵模型解决复杂的文字信息处理的希望。
题目：浅谈熵 内容摘要：热力学中的熵是用来描述系统混乱程度的物理量。在信息论中，将它定义为信息的缺失，试验结果的不确定性。实际上，热力学中的熵与信息论中的熵它们有着密切的联系。或者说它们是等价的。无论是在热力学中还是在信息论中，熵的定义以及导出过程都有着异曲同工之处。本文即将从着重统计力学的观点出发阐明热力学中的熵与信息论中的熵的关系，将信息论与热力学结合，以此来简明介绍有关Maxwell —demon 的问题。并简单介绍熵的量子观点，进一步说明熵的本质及其意义。并着重于热力学中的各种熵作出详细的讨论。诸如：平动熵、转动熵、振动熵、电子熵、核熵等。 关键词：统计力学、量子观点、信息论、混乱程度、不确定性、Maxwell —demon 在热力学中我们知道熵描述了一个系统的混乱程度的大小。系统的熵值越大，则意味着系统越混乱。一切宏观现象上的热力学现象总是朝着熵增加的方向进行。但是我们也可以这样来想：若一个系统内部它越混乱，则我们从中所获取的微观信息也就越少。也就是说熵描述了信息的缺失，系统的破确。至此我们来考虑这样的一个问题，比如一条具有一定长度的信息（There is a cat ）共14个字符，包含空格。如果把组成上述信息的所有字符都打乱，在我们对此一无所知的情况下，将会有14!/3!2!21种组合方式（即系统完全破却）。得到一系列的概率分布。针对此问题，通过信息论我们知道，信息的获取意味着不确定性的消除，或不确定性意味着信息的缺失。在Maxwell —demon 中所谓的精灵就是通过信息与外界系统进行相互作用的，该精灵利用信息操控着过程，使其向逆自发方向方向进行。其实有了Maxwell —demon 的存在，系统已变成了敞开系统，该精灵将负熵引入了系统，降低了系统的熵。因此从整体看气体的反方向集中必不违背热力学第二定律，换句话说：信息即可视为负熵。这种不确定度完全由试验结果的一组概率来唯一确定，令这种不确定度为H ，则 123(......);n H H p p p p =且H 需要满足以下条件： （1）H 是一个关于123......n p p p p 的连续函数。 （2）若所有的概率相等，则1231111 (......)( .....)n H p p p p H n n n n =；为关于n 的单调增函数。 （3）如果一个实验的可能结果依赖于n 个辅助实验的可能结果，那么H 就是辅助实验的不确定性之和。即1 n i i H H == ∑。 数学家香农证实H 的最简单选择是：1231 (......)()n n i i H H p p p p f p === ∑；这里的f 是 未知的。因为是一个连续函数，所以对于等概率的特殊情况，可以定出f ，对已所有的i ，若有1i p n = ，则上述方程可写成:11111(.....)()H nf n n n n n =;由条件（2）知1 [()]0d f dn n ≥； 调用合成定律，考虑第一个辅助实验的等概率结果数目是r, 第二个辅助实验的等概率 结果数目是s,那么n rs =；并且： 11111111 (.....)(.....)(.....)(.....);.......(1)H H H H r r s s n n rs rs +==，所以：
【时间简“识”】 说明：本文摘自于经管之家(原人大经济论坛) 作者：胖胖小龟宝。原版请到经管之家(原人大经济论坛) 查看。 1.带你看看时间序列的简史 现在前面的话—— 时间序列作为一门统计学，经济学相结合的学科，在我们论坛，特别是五区计量经济学中是热门讨论话题。本月楼主推出新的系列专题——时间简“识”，旨在对时间序列方面进行知识扫盲（扫盲，仅仅扫盲而已……），同时也想借此吸引一些专业人士能够协助讨论和帮助大家解疑答惑。 在统计学的必修课里，时间序列估计是遭吐槽的重点科目了，其理论性强，虽然应用领域十分广泛，但往往在实际操作中会遇到很多“令人发指”的问题。所以本帖就从基础开始，为大家絮叨絮叨那些关于“时间”的故事！
Long long ago，有多long？估计大概7000年前吧，古埃及人把尼罗河涨落的情况逐天记录下来，这一记录也就被我们称作所谓的时间序列。记录这个河流涨落有什么意义？当时的人们并不是随手一记，而是对这个时间序列进行了长期的观察。结果，他们发现尼罗河的涨落非常有规律。掌握了尼罗河泛滥的规律，这帮助了古埃及对农耕和居所有了规划，使农业迅速发展，从而创建了埃及灿烂的史前文明。 好~~从上面那个故事我们看到了 1、时间序列的定义——按照时间的顺序把随机事件变化发展的过程记录下来就构成了一个时间序列。 2、时间序列分析的定义——对时间序列进行观察、研究，找寻它变化发展的规律，预测它将来的走势就是时间序列分析。 既然有了序列，那怎么拿来分析呢？ 时间序列分析方法分为描述性时序分析和统计时序分析。 1、描述性时序分析——通过直观的数据比较或绘图观测，寻找序列中蕴含的发展规律，这种分析方法就称为描述性时序分析 ?描述性时序分析方法具有操作简单、直观有效的特点，它通常是人们进行统计时序分析的第一步。
熵的由来 物理学中，熵有两个定义——热力学定义和统计力学定义。 熵最初是从热力学角度定义的。19世纪50年代，克劳修斯 （... R J E C lausius）编造了一个新名词：entropy，它来自希腊 词“trope”，意为“转变，变换”。为了与能量（energy）相对 应，克劳修斯在“trope”上加了一个前缀“en”。在克劳修斯看 来，“energy”和“entropy”这两个概念有某种相似性。前者从 正面量度运动转化的能力；后者从反面量度运动不能转化的能力， 即运动丧失转化能力的程度，表述能量的可转换能力（活力）丧失的程度，或能量僵化（蜕化）的程度（尽管能量总体是守恒的）。 例如，你用20元人民币购得一袋大米，你的价值总量（能量）不变，但一袋大米在市场上的再交换能力（活力）低于20元人民币。这种消费使其熵（经济）增大。按当初的设计，活力越丧失，能量越僵化，熵越大。热力学第一定律描述了自然界中各种形式的能量转换过程中量的守恒，并未指出不同形式能量的本质的差异。而热力学第二定律告诉我们，能量之间的品质是有差别的：有序运动的能量可以通过做功完全转变成无序运动的能量；而无序运动的能量不能完全转变成有序运动的能量（效率为100%的热机是不能实现的）。或者说，有序运动的能量转化为其他形式的能量的能力强，能被充分利用来做功，品质较高；而无序运动的能量转化能力弱，做功能力差，品质较低。根据热力学第二定律，高品质的能量转换为低品质的能量的过程是不可逆的。高品质的能量转换为低品质的能量后，就有一部分不能再做功了。我们把这样的过程称为能量的退化，通过物理学知识可以证明：退化的能量与系统的熵增成正比。于是，我们可以说：熵是能量不可用程度的度量。 “熵”的中文译名是我国物理学家胡刚复教授确定的。他于1923年5月为德国物理学家普朗克作《热力学第二定律及熵之观念》讲学时做翻译，把“entropy”译为“熵”。它是热量变化与温度之比（商），又与热学有关，就加了个“火”字旁，定名为熵。 我们知道，事物（封闭系统）变化的过程大多是不可逆的。从初态可变到终态，而终态却不能自发地（不影响周围环境）变回初态，尽管能量始终是守恒的。例如，封闭容器中气体分子可以自由膨胀充满整个容器，但却不能自发地回缩到原来的某个局部；瓷瓶落地成碎片，而碎瓶却不能自发复原成瓷瓶；生米煮成熟饭，熟饭却不能晾干成生米；热量可以自动从高温物体传递给与之相连的低温物体，但却不能自动逆向传递，等等。这就是说，这些初态与终态之间有着某种本质上的差别。物理学家用“熵”（S）这个物理概念来描述这种差别，进而用“熵变”（S ?）这个物理量来计算这种差别。认为初态（宏观）所含的微观状态数较少（即熵值小，较有序），而终态（宏观）则相反。在一封闭系统中，自然演变总是指向微观状态数多的方向（熵值大，较无序）发展，而不是相反。这就是熵增大原理：0 ?>。 S 增大的最终结果只能是大家都处在同等状态——平衡态，碎瓶越摔越碎，温度差越来越小。 1896年，奥地利物理学家玻尔兹曼从分子运动论的观点对熵做 了微观解释，认为熵是分子运动混乱程度的量度。这不仅是人们对 熵的理解豁然开朗，而且为熵概念的泛化（推广）创造了契机。玻 尔兹曼证明了，在系统的总能量、总分子数一定的情况下，表征系 统宏观状态的熵（S）与该宏观态对应的微观数W有如下关系： =? S k W ln 这就是著名的玻尔兹曼公式。它把熵和微观状态数联系起来，熵 越大，微观状态数越多，分子运动越混乱，熵成为分子运动混乱程
最大熵模型在股票投资中的应用 在股票投资中由于各种不确定性因素的影响，投资的收益可大可小，甚至遭受损失，这种收益的不确定性及其发生的概率就是风险。一般而言，预期收益越大的股票其风险越高。投资风险也越大。为了避免或分散较大的投资风险，追求“安全，高效率，低风险”，许多学者利用熵的特性图来全面描述和度量风险。有学者考虑到嫡仅仅是对概率分布的形状做出描述，与其位置无关；而投资风险取决于人们对收益的感知，所以许多学者在研究这个问题时，把对证券收益率做为一种权数加到对嫡度量投资风险模型中，比如效用风险嫡模型，考虑了随机事件客观状态的不确定性和结果价值两方面的因素；期望效用一嫡决策模型，把风险行动的风险度量与决策者的偏好结合起来，但这个模型只是按这种风险度量方法把行动方案排序，最后还是利用马科维茨的模型给出最优解；还有把收益最大和嫡量度的风险最小做为两个目标的多目标决策模型；还有利用嫡的最大嫡原理改变组合投资的目标函数建立的模型。根据单一指数模型的假设，把影响收益率波动的因素分为微观因素和宏观因素，并假设受宏观因素和微观因素的影响的误差项和市场收益率两者互不相关。我们可以利用这一假设把证券收益的不确定性拆分，把证券收益的不确定性分为微观因素的影响的误差项不确定性以及受宏观因素影响的市场收益率的不确定性来分析，从而可以计算整个行动方案的风险。首先，我们考虑如何在上述思想下计算投资一支证券的行动风险。在单一指数模型中，假设误差项与市场收益率是无关的，由于ε月和r分别受宏观因素和微观
因素的影响，两者互不相关，无论市场收益率发生多大变化，都不会对气产生影响。所以它们的嫡值又是可加的。那么我们就把对一支证券投资这个风险行动分解为两个相互独立的风险行动，则原来的风险行动的嫡值应为相应的各个行动的嫡值的加权和。 其次，我们考虑如何度量整个证券组合的行动风险。由市场收益率爪变动引起的各资产的收益率变动是相关的，所以在整个证券投资组合中，它们的嫡值是不能直接相加的。单一指数模型认为p 值可以反映了个别资产价格相对于市场总体水平波动的程度。同时也有研究结果表明，资产的期望收益和市场p 之间的线性关系是显著的，那么可以考虑用p 值作为一种对市场收益率的嫡的权数引入到对投资资产 A 的风险计算中去，来反映单个资产收益率的不确定性受市场总体收益率不确定性影响的程度。这样，用p 值乘以市场收益率的嫡可以反映单个资产收益率受宏观因素影响的程度，而对于整个投资组合来说，对同一个市场收益率的嫡值也就不存在直接相加而相关的问题了。 这样，我们就可以从影响收益率波动的因素分为微观因素和宏观因素对风险进行一个全面的综合度量，同时可以得出了合理地对整个证券投资组合的风险度量方法。下面基于上述思考的过程，给出具体的证券投资风险的嫡度量的数学定义。 考察对某一支股票投资方案X 在未来环境状态下的收益情况，设其收益为R，根据单一指数模型的假设，设市场收益率为r误差项
一、熵的概述 在密闭条件下，体系有从“有序”自发地转变为无序的倾向。所以用熵（S）来量度这种混乱或无序的程度。 二、关于熵增原理 在与外界隔离的体系中，自发过程导致体系的熵增大，即熵变大于零。这个原理即为熵增原理。由此可以得出克劳修斯和开尔文的热力学第二定律，即 热不可能自发地、不付代价地从低温物体传到高温物体(不可能使热量由低温物体传递到高温物体，而不引起其他变化，这是按照热传导的方向来表述的)。 或 不可能从单一热源取热，把它全部变为功而不产生其他任何影响(这是从能量消耗的角度说的,它说明第二类永动机是不可能实现的）。 所以系统中所有物质的状态从比较有规则、有秩序的状态向更无规则，更无秩序的状态演变。 三、熵的应用 1、在物理学中的应用——吉布斯自由能 ΔG=ΔH－TΔS （KJ/mol) <0反应以不可逆方式自发进行 =0 反应以可逆方式进行 >0 不能进行 等温等压下体系的吉布斯自由能减小的方向是不做非体积功的化学反应进行的方向。 任何等温等压下不做非体积功的自发过程的吉布斯自由能都将减少。 2、在统计学中的应用 波尔兹曼在研究分子运动统计现象的基础上的公式： Ｓ＝ｋ×ＬｎΩΩ为系统分子的状态数，ｋ为玻尔兹曼常数。 这个公式反映了熵函数的统计学意义，它将系统的宏观物理量Ｓ与微观物理量Ω联系起来，成为联系宏观与微观的重要桥梁之一。由此可以得出结论：系统的熵值直接反映了它所处状态的均匀程度，系统的熵值越小，它所处的状态越是有序，越不均匀；系统总是力图自发地从熵值较小的状态向熵值较大的状态转变，这就是隔离系统“熵增原理”的微观物理意义。 3、信息论 在信息论中，熵表示的是不确定性的量度。信息论的创始人香农在其著作《通信的数学理论》中把信息定义为“用来消除不确定性的东西”。 可以计算的平均消息量就是消息熵。因为和热力学中描述热力学熵的玻耳兹曼公式形式一样，所以也称为“熵”。 如果两个系统具有同样大的消息量，如一篇用不同文字写的同一文章，由于是所有元素消息量的加和，那么中文文章应用的汉字就比英文文章使用的字母要少。所以汉字印刷的文章要比其他应用总体数量少的字母印刷的文章要短。即使一个汉字占用两个字母的空间，汉字印刷的文章也要比英文字母印刷的用纸少。
熵模型 1、数据。。。 计算第i 个教练第j 种指标下的权值 12 1 ,(1,230;1,26) ij ij ij i x p i j x == ==∑ 计算第j 种指标的熵值（公式） 6 1 1 ln(),0,,0ln(12)j ij ij j i e k p p k k e ==->= ≥∑其中 表2.2各种指标的熵值 第j 种指标的系数。 差别越大或是离散度越大,其在评价指标中占的影响位置越重要,其熵值也较小。定义差异系 数: 66 1 1 1,,01,1 j j e j j j j j e e g E e g g m E ==-= =≤≤=-∑∑式中 表2.3各种指标的差异系数:: 最大熵模型的优缺点 优点： （1）建模时，试验者只需集中精力选择特征，而不需要花费精力考虑如何使用这些特征。 （2）特征选择灵活，且不需要额外的独立假定或者内在约束。 （3）模型应用在不同领域时的可移植性强。 （4）可结合更丰富的信息。 缺点： （1）时空开销大 （2）数据稀疏问题严重 （3）对语料库的依赖性较强 层次分析法的优缺点 优点 1. 系统性的分析方法 层次分析法把研究对象作为一个系统，按照分解、比较判断、综合的思维方式进行决策，成为继机理分析、统计分析之后发展起来的系统分析的重要工具。系统的思想在于不割断各个因素对结果的影响，而层次分析法中每一层的权重设置最后都会直接或间接影响到结果，而且在每个层次中的每个因素对结果的影响程度都是量化的，非常清晰、明确。这种方法尤其可用于对无结构特性的系统评价以及多目标、多准则、多时期等的系统评价。 1234561.3816 1.3696 0.8472 1.3523 1.373 1.373 1g 2g 3g 4g 5g 6g 0.1498 0.1512 0.2444 0.1531 0.1508 0.1508
基于最大熵模型的中文词与句情感分析研究* 董喜双，关毅，李本阳，陈志杰，李生 哈尔滨工业大学，哈尔滨，150001 dongxishuang@https://www.doczj.com/doc/245519562.html,, guanyi@https://www.doczj.com/doc/245519562.html,, libenyang012566@https://www.doczj.com/doc/245519562.html,, ruoyu_928@https://www.doczj.com/doc/245519562.html,, lisheng@https://www.doczj.com/doc/245519562.html, 摘要：本文将研究焦点对准喜、怒、哀、惧四类情感分析问题，重点解决中文词、句的情感分析问题。将词的情感分析处理为候选词情感分类问题。首先通过词性过滤获得候选词，进而根据特征模板获取候选词情感特征，然后应用最大熵模型判断候选词情感类别，最后应用中性词典、倾向性词典、复句词表、否定词表过滤候选情感词分类错误得到情感词集合。句的情感分析首先根据情感词典和倾向词典提取词特征，并采用规则提取词序列特征，然后采用最大熵模型对句子进行情感分类。在COAE2009评测中词与句情感分析取得较好结果。 关键词：情感分析；情感极性；最大熵；分类； Sentiment Analysis on Chinese Words and Sentences Based on Maximum Entropy Model Dong Xi-Shuang, Guan Yi, Li Ben-Yang, Chen Zhi-Jie, Li Sheng Harbin Institute of Technology, Harbin 150001 dongxishuang@https://www.doczj.com/doc/245519562.html,, guanyi@https://www.doczj.com/doc/245519562.html,, libenyang012566@https://www.doczj.com/doc/245519562.html,, ruoyu_928@https://www.doczj.com/doc/245519562.html,, lisheng@https://www.doczj.com/doc/245519562.html, Abstract: This paper presents a method to analyze sentiments on Chinese words and sentences, where the sentiments include happy, angry, sad, and fear. In the case of words, sentiment analysis was processed as the sentiment classification of candidate words. The candidate words were firstly obtained by POS filtering, then Maximum Entropy (ME) model was adopted to judge sentiment categories of the words, which sentiment features were gained with feature templates. Finally, errors in the word classification would be removed through filtering with a neutral lexicon, a sentiment polarity lexicon, a connective word list of complex sentences, and a negative word list. In the case of sentences, word features in sentences were extracted on the basic of the sentiment lexicon and the sentiment polarity lexicon, and word sequence features were extracted by rules while processing sentiment analysis on sentences, then ME model was used to classify the sentences. Good performance of sentiment analysis was gained in COAE 2009. Keywords: Sentiment Analysis, Sentiment Polarity, Maximum Entropy, Classification 1 引言 情感分析的主要任务为识别文本对某一事物的观点[1]。情感包含两方面信息：情感极性与情感强度。情感极性指情感要素（词、短语、句子以及篇章）表达的情感倾向。情感强度指情感要素表达情感的强弱程度。情感分析包含四方面研究内容：词级情感分析、短语级情感分析、句级情感分析以及篇章级情感分析。词级情感分析包括识别候选情感词、判断候选情感词情感极性与强度以及构建情感字典[2]。短语级情感分析为根据情感词识别 *董喜双，1981年出生，男，黑龙江省哈尔滨市，博士研究生。本项研究受到国家自然科学基金项目支持，项目批准号：60975077，60736044
1948 年，香农提出了“信息熵”(shāng) 的概念，才解决了对信息的量化度量问题。 一条信息的信息量大小和它的不确定性有直接的关系。比如说，我们要搞清楚一件非常非常不确定的事，或是我们一无所知的事情，就需要了解大量的信息。相反，如果我们对某件事已经有了较多的了解，我们不需要太多的信息就能把它搞清楚。所以，从这个角度，我们可以认为，信息量的度量就等于不确定性的多少。 那么我们如何量化的度量信息量呢？我们来看一个例子，马上要举行世界杯赛了。大家都很关心谁会是冠军。假如我错过了看世界杯，赛后我问一个知道比赛结果的观众“哪支球队是冠军”？他不愿意直接告诉我，而要让我猜，并且我每猜一次，他要收一元钱才肯告诉我是否猜对了，那么我需要付给他多少钱才能知道谁是冠军呢? 我可以把球队编上号，从 1 到 32，然后提问：“冠军的球队在 1-16 号中吗?” 假如他告诉我猜对了，我会接着问：“冠军在 1-8 号中吗?” 假如他告诉我猜错了，我自然知道冠军队在 9-16 中。这样只需要五次，我就能知道哪支球队是冠军。所以，谁是世界杯冠军这条消息的信息量只值五块钱。 当然，香农不是用钱，而是用“比特”（bit）这个概念来度量信息量。一个比特是一位二进制数，计算机中的一个字节是八个比特。在上面的例子中，这条消息的信息量是五比特。（如果有朝一日有六十四个队进入决赛阶段的比赛，那么“谁世界杯冠军”的信息量就是六比特，因为我们要多猜一次。）读者可能已经发现, 信息量的比特数和所有可能情况的对数函数 log 有关。 (log32=5, log64=6。） 有些读者此时可能会发现我们实际上可能不需要猜五次就能猜出谁是冠军，因为象巴西、德国、意大利这样的球队得冠军的可能性比日本、美国、韩国等队大的多。因此，我们第一次猜测时不需要把 32 个球队等分成两个组，而可以把少数几个最可能的球队分成一组，把其它队分成另一组。然后我们猜冠军球队是否在那几只热门队中。我们重复这样的过程，根据夺冠概率对剩下的候选球队分组，直到找到冠军队。这样，我们也许三次或四次就猜出结果。因此，当每个球队夺冠的可能性（概率）不等时，“谁世界杯冠军”的信息量的信息量比五比特少。香农指出，它的准确信息量应该是 = -（p1*log p1 + p2 * log p2 + ．．．＋p32 *log p32)， 其中，p1，p2 ，．．．，p32 分别是这 32 个球队夺冠的概率。香农把它称为“信息熵” (Entropy)，一般用符号 H 表示，单位是比特。有兴趣的读者可以推算一下当 32 个球队夺冠概率相同时，对应的信息熵等于五比特。有数学基础的读者还可以证明上面公式的值不可能大于五。对于任意一个随机变量 X （比如得冠军的球队），它的熵定义如下：
第五章目录 第五章极大熵谱估计 (1) 5.1 谱熵和极大熵准则 (1) 1．问题的提出 (1) 2．高斯过程的熵和熵率 (1) 3．功率谱和熵率的关系 (3) 5.2 极大熵准则的谱估计 (6) 5.3 极大熵谱估计的伯格算法 (9) 5.4 极大熵谱估计的LS—LUD算法 (16)
第五章 极大熵谱估计 1967年伯格(J ．P ．Burg)刚一发表：极大熵谱分析”的方法就在工程和科技界产生很大影响，成为相当流行的功率谱密度估计方法。伯格在谱估计准则的提出和具体算法上有所创新，由此演变出来的算法有很多种，被统称为“现代谱分析”。 5.1 谱熵和极大熵准则 1．问题的提出 从19世纪未舒斯特(Schuster)在利用富氏级数分析信号隐含的周期特性时提出了“周期图”，到1985年由伯来克曼和杜奇提出了谱估计的“间接法”和1965年FFT 算法提出后流行的“直接法”，它们本质上都是把原序列经过开窗截取处理来获得对序列谱密度的估计。不论对数据加窗还是对自相关函数加窗，其目的都在于使谱估计的方差减小，然而加窗不可避免地产生频域“泄漏”，使功率谱失真，尽管在窗函数形式的选择和处理方法上做了很多分析研究，使得以周期图为基础的方法达到相当成熟和实用的程度，但是任何抑制旁瓣的方法都是以损失谱分辨力为代价的，这个难题在数据量少的情况下更为突出。 问题的实质是：在周期图估计中，我们对数据或是它的相关函数所做的加窗处理，等于是假定在窗口外数据(或自相关)为零，而窗口内的部分则加上某种形式的修正。这些人为措施使来自观察的信息受到了一定程度的歪曲。 伯格提出的新概念是；和估计的功率谱相对应的自相关和由观察数据算得的自相关一致，同时对已有的区段之外的自相关值采用外推的办法求取，而不是一概假定为零，外推的原则是使相应的序列在未知点上取值的可能性具有最大的不确定性，亦即不对结果人为地强添任何增加的信息。 数学家申农最早提出“熵”的概念，在统计学中用它作为各种随机试验的不肯定性程度的度量。在热力学和信息论中，“熵”都有其具体的物理背景和应用。后面介绍将会看到，满足熵极大的谱估计是自回归模型的谱。1971年凡登包士（V an Den Bos ）证明，一维极大熵谱估计和自回归谱的最小二乘估计是等效的。尽管如此，伯格关于熵谱估计的概念和他对自回归参数的递推算法却独树一帜，随后还有人提出了各种改进算法，但要注意把极大熵概念本身同等法区别开来。 2．高斯过程的熵和熵率 假定我们研究的随机试验a 只有有限个不相容的结果12,,,n A A A ，它们相应的概率为 12(),(),,()n P A P A P A ，且满足1 ()1n i i p A ==∑，简单描述如下： ()()1212,,,:,,,()n n A A A P A P A P A α? ? ? ? ? ? ? ?
第五节最大熵模型 最大熵模型（Entropy Model）也是随机概率模型之一。典型的最大熵模型有Wilson模型和佐佐木(Sasaki)模型，以下分别讲述。 1．Wilson模型 Wilson模型是由A.G.Wilson提出的方法，它以英国为中心，在区域科学方面的应用例较多，其模型如下式所示。 (4-5-1) 式中，T：对象地区的生成交通量。即，OD交通量的组合数由求E的最大得到。 例：发生小区Ｏ，吸引区AB，出行生成量为4。能够发生的OD交通量状态如下。 OD交通量状态情况1 情况2 情况3 情况4情况5 组合数E： ,,,, 发生概率：1/16, 4/16, 6/16, 4/16, 1/16 16为可能发生的组合数。 从上述情况看,组合数为6的组合发生的概率最大,因此可以视为最容易发生。 Wilson模型的约束条件为： （4-5-2）
（4-5-3） (4-5-4) 式中，的交通费用；总交通费用。 最大熵模型一般用以下对数拉格朗日方法求解。 (4-5-5) 式中，，，为拉格朗日系数。 应用Stirling公式近似，得， (4-5-6) 代入（4-5-5）式，并对求导数，得， 令，得， (4-5-7)
∵ ∴(4-5-8) 同样，(4-5-9) 这里，令，则（4-5-7）为： (4-5-10）可以看出，式(4-5-10）为重力模型。 Wilson模型的特点： (1)能表现出行者的微观行动； (2)总交通费用是出行行为选择的结果，对其进行约束脱离现实； (3)各微观状态的概率相等，即各目的地的选择概率相等的假设没有考虑距离和行驶时间等因素。 计算步骤： 第1步给出 第2步给出，求出 第3步用求出的，求出 第4步如果，非收敛，则返第2步；反之执行第5步。 第5步将，，代入式（4-5-7)求出，这时，如果总用条件（ 4-5-4）满足，则结束计算，反之，更新值返回第1步。
时间序列的多尺度不可逆性和复杂度研究真实世界复杂系统是由多数量、大规模的内在成分构成的,这些内在成分在时间和空间尺度上互相影响,表现出多层次结构、突现性和自组织性等特点,这使得我们在刻画复杂系统内在结构时变得非常困难.本文主要利用时间序列的不可逆性分析和复杂度分析这两种重要手段来探索复杂系统内在结构和动态演化.由于复杂系统的输出序列具有非平稳性和非线性,基于平稳性和线性假设构建的传统理论方法已不再适用.在本文中,我们从两方面研究复杂系统输出的序列:一方面是基于概率分布理论,探讨非平稳时间序列的多尺度不可逆性;另一方面是基于信息论中的熵分析,研究时间序列的多尺度复杂度.本文总共分为六章,组织结构如下:第一章为引言部分,介绍本文的研究背景、研究对象、研究意义和主要工作.第二章探讨了时间不可逆性在多尺度上的波动变化.我们不仅研究了不可逆指数和可视图系列模型的不可逆度量方法,还进一步探索了时间序列在多重时间尺度上的不可逆性.由此,我们提出基于PG指数平面的多尺度不可逆度量和基于有向水平可视图的多尺度不可逆分析方法,并分别对六种生成序列:白噪声、1/f 噪声、均匀分布U[0,1]、Henon映射、逻辑映射和一维随机游走过程进行数值模拟,对比验证模型的有效性.此外,我们还分析了不同程度的噪音对序列不可逆性的影响,对比验证两种模型的鲁棒性.对金融时间序列的实证分析中,我们发现其不可逆性具有多尺度特征,且相近地域内的股指序列具有相似的复杂结构.这一发现让我们可以更好地了解时间序列的内在结构及其复杂程度,并通过在多重尺度上的不同呈现,达到对序列进行分类的目的.第三章提出了基于序列分割的时间不可逆性分析方法.该方法利用Jensen-Shannon散度对时间序列进行分割,并在分割思想的基础上,首次提出交叉对比分割,以此识别序列及其子序列具有相
第45卷第1期2005年1月 大连理工大学学报 Journal of Dalian University of Technology Vol .45,No .1Jan .2005 文章编号:1000-8608(2005)01-0153-04 收稿日期:2003-12-25; 修回日期:2004-11-20. 基金项目:国家重点基础研究发展规划资助项目(G1999032805). 作者简介:李 华(1974-),女,博士;李兴斯*(1942-),男,教授,博士生导师. 证券投资组合中的熵优化模型研究 李 华1,2, 李兴斯*3 (1.大连理工大学应用数学系,辽宁大连 116024;2.鞍山科技大学经济管理学院,辽宁鞍山 114044; 3.大连理工大学工业装备结构分析国家重点实验室,辽宁大连 116024) 摘要:为了解决马科维茨(M arko witz)模型中以证券收益率的方差测度投资风险的局限性, 基于熵以及差熵的概念,在研究其均值方差模型的基础上,提出用熵和差熵来作为风险的度量方法,从而建立了几种关于熵的证券投资组合优化模型,使对证券投资组合模型的研究和应用更加合理、客观. 关键词:熵;差熵;投资组合中图分类号:F830.59 文献标识码:A 0 引 言 证券投资组合的起源要追溯到马科维茨1959年的工作[1],他运用线性规划理论分析了投资的收益问题,奠定了应用数理方法来确定最佳 资产组合投资的基本理论,使均值-方差模型成为人们进行投资组合理论研究和实际应用的基础.用方差度量风险有很多缺陷,鉴于此,目前有很多模型进行了这方面的分析[2～4] ,其中投资收益基本上都是用期望进行表示,但是风险的度量方法多种多样,这些方法在实际应用中都存在不同程度的缺陷.风险与不确定性是紧密相连的,基于熵和差熵的内涵是研究不确定性的特征,就此本文提出几种新的模型,试图从另一个角度来研究证券投资组合模型,从而尽量避免方差以及其他方法度量风险的局限性. 1 马科维茨的均值-方差模型 设一个证券投资组合具有n 种证券,其期望收益率分别为r 1,r 2,…,r n ,用随机向量表示为r =(r 1 r 2 … r n )T .投资者面临的一个重要问题就是如何对每种证券分配一个适当的权重x i (i =1,2,…,n ),使投资者能够达到收益较高而同时风险较低的投资目标.期望值向量R i =E (r i ) 反映了各种证券的期望收益率,随机向量r 的方差协方差矩阵用C 来表示,其通常用来表示投资的风险矩阵,向量X T CX 作为投资组合的期望风险,其中X =(x 1 x 2 … x n )T . 马科维茨证券投资组合理论认为,投资者进行投资决策时总希望在一定的风险条件下,获得尽可能大的收益,或在收益率一定的情况下,尽可能降低风险,即通过下面模型(A)或(B)来进行证券组合投资决策. 模型(A): min X T CX s.t. ∑n i =1x i r i ≥c ∑n i =1 x i =1;i =1,2,3,…,n (1) 这个问题是一个二次规划问题,通过调节下界参数c 来进行求解,能够得到最优的或者有效的投资组合,即有效边界. 模型(B): max ∑n i =1x i r i s.t.X T CX ≤b ∑n i =1 x i =1;i =1,2,3,…,n (2)
[1]S. Abe, et al, Physica A, 289, 157(2001) [2]C. Tsallis, et al., Phys.Rev.A, 63, 042104, 2001 [3] Naudts J, Van der Straeten E A generalized quantum microcanonical ensemble JOURNAL OF STATISTICAL MECHANICS-THEORY AND EXPERIMENT : Art. No. P06015 JUN 2006 [4] Zheng YQ Entropy of Dirac field in a generalized non-stationary spherically symmetric black hole with charge ACTA PHYSICA SINICA 55 (7): 3272-3276 JUL 2006 [5] Abe S Temperature of nonextensive systems: Tsallis entropy as Clausius entropy PHYSICA A-STATISTICAL MECHANICS AND ITS APPLICATIONS 368 (2): 430-434 AUG 15 2006 [6] Scarfone AM Thermal and mechanical equilibrium among weakly interacting systems in generalized thermostatistics framework PHYSICS LETTERS A 355 (4-5): 404-412 JUL 10 2006 [7] Figueiredo A, Amato MA, da Rocha TM On the statistical interpretation of generalized entropies PHYSICA A-STATISTICAL MECHANICS AND ITS APPLICATIONS 367: 191-206 JUL 15 2006 [8] Suyari H Mathematical structures derived from the q-multinomial coefficient in Tsallis statistics PHYSICA A-STATISTICAL MECHANICS AND ITS APPLICATIONS 368 (1): 63-82 AUG 1 2006 [9] Tsallis C On the extensivity of the entropy S-q, the q-generalized central limit theorem and the q-triplet PROGRESS OF THEORETICAL PHYSICS SUPPLEMENT (162): 1-9 2006 [10] Suyari H The unique non self-referential q-canonical distribution and the physical temperature derived from the maximum entropy principle in Tsallis statistics PROGRESS OF THEORETICAL PHYSICS SUPPLEMENT (162): 79-86 2006 [11] Bagci GB, Arda A, Sever R On the problem of constraints in nonextensive formalism: A quantum mechanical treatment INTERNATIONAL JOURNAL OF MODERN PHYSICS B 20 (14): 2085-2092 JUN 10 2006 [12] Santamaria-Holek I, Rodriguez RF A nonequilibrium thermodynamic approach to generalized statistics for Brownian motion PHYSICA A-STATISTICAL MECHANICS AND ITS APPLICATIONS 366 (1): 141-148 JUL 1 2006 [13] Simovici DA, Jaroszewicz S
最大熵模型中的数学推导 https://www.doczj.com/doc/245519562.html,/article/v_JULY_v/100349.html0 引言写完SVM之后，一直想继续写机器学习的系列，无奈一直时间不稳定且对各个模型算法的理解尚不够，所以导致迟迟未动笔。无独有偶，重写KMP得益于今年4月个人组织的算法班，而动笔继续写这个机器学习系列，正得益于今年10月组织的机器学习班。10月26日机器学习班第6次课，身为讲师之一的邹博讲最大熵模型，他从熵的概念，讲到为何要最大熵、最大熵的推导，以及求解参数的IIS方法，整个过程讲得非常流畅，特别是其中的数学推导。晚上我把他的PPT 在微博上公开分享了出来，但对于没有上过课的朋友直接看PPT 会感到非常跳跃，因此我打算针对机器学习班的某些次课写一系列博客，刚好也算继续博客中未完的机器学习系列。综上，本文结合邹博最大熵模型的PPT和其它相关资料写就，可以看成是课程笔记或学习心得，着重推导。有何建议或意见，欢迎随时于本文评论下指出，thanks。 1 何谓熵？从名字上来看，熵给人一种很玄乎，不知道是啥的感觉。其实，熵的定义很简单，即用来表示随机变量的不确定性。之所以给人玄乎的感觉，大概是因为为何要取
这样的名字，以及怎么用。熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度。在信息论里面，熵是对不确定性的测量。1.1 熵的引入事实上，熵的英文原文为entropy，最初由德国物理学家鲁道夫·克劳修斯提出，其表达式为：它表示一个系系统在不受外部干扰时，其内部最稳定的状态。后来一中国学者翻译entropy时，考虑到entropy是能量Q跟温度T的商，且跟火有关，便把entropy 形象的翻译成“熵”。我们知道，任何粒子的常态都是随机运动，也就是"无序运动"，如果让粒子呈现"有序化"，必须耗费能量。所以，温度（热能）可以被看作"有序化"的一种度量，而"熵"可以看作是"无序化"的度量。如果没有外部能量输入，封闭系统趋向越来越混乱（熵越来越大）。比如，如果房间无人打扫，不可能越来越干净（有序化），只可能越来越乱（无序化）。而要让一个系统变得更有序，必须有外部能量的输入。1948年，香农Claude E. Shannon 引入信息（熵），将其定义为离散随机事件的出现概率。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。所以说，信息熵可以被认为是系统有序化程度的一个度量。 若无特别指出，下文中所有提到的熵均为信息熵。 1.2 熵的定义下面分别给出熵、联合熵、条件熵、相对熵、互信息的定义。熵：如果一个随机变量X的可能取