基于最大熵原理的分布模型_胡琛

∞
n
0
∞
0
当韦伯 分布中 n = 2 时 , 相当 于约束 条件 ( 14) 已知 , 因而可以把韦伯分布中约束条件保留 两个 . 即式( 12) 和式( 13) . 由拉格朗日方法求新函数时 , 构造的 F 函数 应该是 F = [ -f ( x) ] ln f ( x) dx + ∫ C d x -1 + ∫f (x) C x f( x) d x -u ∫
DO I : 10 . 13367 / j. cnki . sdgc . 2007 . 06 . 016 第 21 卷 第 6 期 山 东 理 工 大 学 学 报( 自 然 科 学 版) 2007 年 11 月 Journal o f Shando ng U nive rsity o f T echno lo gy( N atural Science Edition)
[ 4]
图 4 实际数据与理论数据比较
可以看出三月份平均降水的规律同样是负指 数分布 . 这是因为水分循环所致 , 由于水分的循环 是处在热动平衡的状态的 , 蒸发量等于降水量 , 它 隐含的物理意义是中国陆地上的液态水的总量处 在一个基本不变的相对稳定状态 , 这就保证了自 然界处在一个相对稳定的状态 . 2. 3 累计各年月平均风速的统计分布问题 地球物理学把全球大气看作是统一的流体 , 用流体力学方程组配合当前的全球大气状况( 温 度压力等的分布)就可以用计算机推算未来时刻 的流体状态 . 累计各年月平均风速是某地区长时间各月份 平均每日的大气运动速率 . 经过调研全国各地风 速按月份累计的数据 , 得到的统计结果绘制成 的直方图如图 5 所示 . 这个曲线和韦伯分布中 n = 2 的特殊情况也 就是瑞利分布的曲线相似 . 根据韦伯分布的约束条件[ 5] :
∑P log P
i i
i
( 1)
式中 k b 代表玻尔兹曼常数 , P i 为观察者测量到系 统所在状态时的几率分布 . 连续表示是 S =-k b dqNP ( qN ) log P ( qN )
∫
( 2)
在给定的约束条件下 , 由最大熵原理推求“最 佳” 几率分布 , 要用到变分法这一数学分支 . 在某些 场合下 , 常用所谓拉格朗日乘子法来确定此分布 . 一般地 , 拉格朗日乘子法的法则可以叙述如下 欲求 n 元函数 f ( x 1 , x 2 , x 3 , … , x n) 在 m 个约 束条件 Υ 1( x 1 , x 2 , …, x n)= 0 Υ 2( x 1 , x 2 , …, x n)= 0 … Υ m( x 1 , x 2 , … , x n)= 0
Abstract :T houg h t he study on several phenomena in t he nature , t he role in st atistical di st ributio n of t he maximum ent ropy principle w as verified , these phenomena st atistical dist ri bution rules w ere obt ained , and t he discussion w it h t he maxim um entro py principle t o these questio ns of phy sical o rigi ns w ere car ried on . Key words : t he maxim um entro py ; mean precipit atio n ; mean wind speed 熵最早是由 Clausins 于 1865 年提出并应用 于热力学 , 后来应用于统计物理学 . 上世纪 40 年 代 , Shannon 等人所发展的通信理论 , 也就是后来 逐渐成熟且多元化的信息论中 , 同样存在一相似 特征的量 . Shanno n 称之为信息熵 , 它是对信息量 多少的量度 . 其形式类似于热力学熵 , 不同在于热 力学熵含有玻尔兹曼常数 . 1957 年 Jay nes 研究证 明这个形似其实是相等 , 信息熵和热力学熵实际 [ 1] 上具有相同含义 , 并证明了最大熵原理 . 有一些随机事件 , 其分布函数不了解或不可能 直接计算 , 我们所掌握的仅是与随机事件有关的一 个或几个随即变量的平均值 , 显然 , 这种几率分布
[ 2] 函数关系 , 这就是最客观 , 最实际的分布函数 .
∫
( 6)
利用拉格朗日方法解这个未知函数还要利用 约束条件 . 所谓切割这根绳只是把它变成很多短 线 , 所以所有短线头长度的合计值应该等于原来 细绳的长度 L , 根据分布函数的含义 , 显然有 L = Nxf( x) dx
∫
( 7)
即绳的总长度是各个线头的长度与其占百分 比的乘积再乘以线头总数 N 的积分 . 而各个线段 的百分比 f ( x) Δ x 的积分( 合计值) 显然应当等于 100 %, 即 f( x) d x =1 ∫ ( 8)
90
山 东 理 工 大 学 学 报( 自 然 科 学 版)
2007 年
图 5 全国各地风速按月份累计
图 6 理论值和实际调研数据对比
∫ u = x f( dx ∫ x) v = ( ( x) dx ∫ln x)
1=
0
∞
f( x) dx
( 12) ( 13) ( 14)
一定值 , 那么我们猜测 v 2 是和动能联系在一起的 一个量 , 也就是说大气的平均动能可能是个定值 , 约束条件式( 13)解释为运动的空气动能保持不 变. 因此可以猜想运动的大气的动能不参与能量 的转化 .
V ol . 21 N o . 6 N ov .2007
文章编号 : 1672 -6197( 2007) 06 -0087 -04
基于最大熵原理的分布模型
胡 琛 , 王 彬
1 2
( 1. 山东科汇电子股份有限公司 , 山东 淄博 255000 ; 2. 西北工业大学 理学院 , 陕西 西安 710072) 摘 要 : 通过对自然界中几个现象的分析 , 验证了最大熵原理在统计分布中的作用 , 得到了这 些现象的统计分布规律 , 并用最大熵原理对这些问题物理成因进行了讨论 . 关键词 : 最大熵原理 ; 平均降水量 ; 平均风速 中图分类号 : O414 . 2 文献标识码 :A
Distribution model based on maximum entropy principle
H U C hen 1 , W ANG Bin2
( 1. Shando ng K ehui Electric Company Limited , Zibo 255000 , China ; 2. N o rthwestern Po ly technical U niver sity , Schoo l o f Scie nce , Xi an 710072 , China )
88
山 东 理 工 大 学 学 报( 自 然 科 学 版)
2007 年
1 原理
热力学第二定律指出 , 当一个孤立的热力学 系统到达热动平衡态时 , 该系统的熵会达到最大 值. 熵用几率分布来定义 , 不连续表示是 S =-k b
用刀随机切割成很多小段 , 求不同长度的线段各 有多少 , 也就是求线段按长度的分布函数 . 先用计 算机模拟实验得到它的实验曲线 , 再用最大熵原 理求其理论上的统计分布函数 , 然后比较二者的 结果 . 数值模拟结果如图 1 所示 .
收稿日期 : 2007 -05 -25 作者简介 : 胡 琛( 1985 ) , 女.
不是唯一的 , 那么 , 如何从这些相容的分布中挑出 “ 最佳的”“ 最合理的” 分布作为实际的常见分布呢 ? 这就必须挑选一个标准 , 这个挑选标准就是最大熵 原理 . 它是热力学熵增加原理的一个重大推广 . 按照最大熵原理 , 从全部相容的分布中挑出 这样的分布 , 它是在某些约束条件下( 通常是给定 的某些随机变量的平均值) 使信息熵达到极大值 的分布 . 最常见 、 最实际的几率分布对应的信息熵最 大. 信息熵取极大值时 , 对应的几率分布 [ pi ] 一定 是最可能的分布 . 所以 , 确定最大熵原理作为一条 选择标准是合理的 .
-0 . 05x
图 2 模拟试验和理论数据对比
可见斩乱麻的数值计算结果与最大熵原理的 理论分析结果相符合 . 这个实例说明如何把含有 “ 完全任意” , “ 纯随机” , 或者“ 最混乱” … 之类的 问题转变成熵最大的问题 . 进而由熵最大反求出 一个统计分布函数来 . 这个事例还说明具体的分 布和具体的约束有 关 , 约束条件不同 , 分布也不 同. 2. 2 累计各年月平均降水的统计分布问题 累计各年月平均降水是指某一地区长期每个 月平均的日降水量 . 大气降水是大气水分研究中占很大比重的一 个课题 , 我们研究了全国各个地区累计月份降水 问题的分布
2 实验数据
2. 1 斩乱麻问题 “ 斩乱麻问题”
[ 3]
( 7)和( 8)分别表示两个约束条件 , 其含义是 是说有一条充 分长的绳子 各个线段的合计值与原绳长度相等 , 几率满足归
第 6 期 胡 琛 , 等 : 基于最大熵原理的分布模型
89
一化性质 . L , N 就是两个常数 . 通过简单的变分 计算 , 得到使熵最大对应的分布函数应当是 f( x )= N e -L ( 9) L 注意到 L/ N 的含义是线头的平均长度 , 以 a
1 ,λ 2 , …,λ m 顺次乘 下的极值 点 , 可以用常 数 1 , λ f ,Υ 1 , Υ 2 , …, Υ m 把结果加起来 , 得函数
图 1 数值模拟结果
可以看出 , 线段按长度分布的规律是越短的 线头越多 , 越长的线头越少 . 它似乎具有负指数函 数的单调性 . 由于切割是随机的 , 不可能要求切割的每个 线段都有相 同的长 度 ( 这 种情 况出现 的概 率最 小) , 线段有长有短就构成了它的无序性 . 如何定 量表示其无序性 , 如何估计这个熵的大小 , 显然应 当在条件允许的情况下对其无序程度作最充分地 估计 , 就是不同长短的线段所对应的熵应当最大 . 认识到熵应当最大 , 就可以以此为判据求分 布函数了在线段长度 x 为连续变量的情况下 , 它 的分布函数 f ( x) 的熵 S 应当是( 设 N 是线头的总 数) S = Nf( x) ln f ( x) dx
[ 4]
, 发现 12 个月份的降水分布几乎是
同一个趋势 . 在这里随机选取了三月份的降水信 息进行分析 . 经过调研 , 全国 283 个地区的累计各年三月 份降水情况如图 3 所示 . 虽然在走势上略有涨落 , 但从整体上看它是 符合负指数分布的规律的 . 它显示降水量 x 小的 地区数量多而降水量大的地区很少 . 1)最大熵 x 2 , … , x n )= f +λ 1Υ 1 +λ 2Υ 2 +… +λ mΥ m ( 4) 然后列出 F ( x1 , x 2 , … , xn ) 无约束条件时具 有极值的必要条件 F = f +λ f +λ f +… +λ f =0 1 2 m x1 x1 x1 x1 x1 … F f f f f = +λ 1 +λ 2 +…+λ n =0 xn xn xn xn xn ( 5) 方程( 3) 和( 5) 联立解出 m +n 个未知数 λ 1 ,λ 2 , …, λ m 及 x1 , x2 , …, xn 就是可能为极值坐标的点 , 称 为驻点 . 从而求出条件极值 . 实际过程不是求极值 , 而是当 δ F =0 , 满足条件约束下 , 求 f 与 x i , λ i 之间的
Nx
来表示它( 也是常数) , 得到 f( x)= 1 e -a ( 10) a 即斩乱麻问题的答案为负指数函数 , 它显示
x
长度 x 短的线头多而依据负指数公式线度比较长 的线头就很少 . 由得出的公式可对比模拟试验的图形和理论 数据所绘制的图形如图 2 所示 .
图 3 三月份降水情况
用负指数 分布的理论数 据和实验数 据相对 比. 由统计得出 a = 20 . 0 , 故有 f( x )= 0 . 05e ( 11) 由得出的公式可以得到实际的数据与理论上 得到的数据经计算机绘图拟合后结果如图 4 所示 .