2.6连续信源的熵
- 格式:doc
- 大小:130.50 KB
- 文档页数:9
连续信源高斯分布微分熵介绍连续信源高斯分布微分熵是信息论中的一个重要概念,用于描述连续信源的不确定性。
本文将深入探讨连续信源、高斯分布以及微分熵的概念和性质。
连续信源连续信源是指信源输出的符号集是连续的。
与离散信源不同,连续信源的输出可以是无限个可能值中的任意一个。
连续信源常用于描述实际世界中的连续变量,如温度、压力等。
高斯分布高斯分布,也被称为正态分布,是一种在统计学中常用的概率分布。
它的概率密度函数可以用以下公式表示:f(x)=1√2πσ2−(x−μ)22σ2其中,x是随机变量的取值,μ是均值,σ是标准差。
高斯分布的图像呈钟形曲线,均值处为峰值,随着离均值的距离增加,概率密度逐渐减小。
微分熵微分熵是对连续信源的不确定性进行度量的指标。
它可以用概率密度函数的负对数积分来计算,表示为:H(X)=−∫f+∞−∞(x)log2(f(x))dx其中,f(x)是连续信源的概率密度函数。
微分熵的单位是比特,表示信源输出的平均信息量。
微分熵的性质微分熵具有以下性质:1. 非负性微分熵始终大于等于零,即H(X)≥0。
当且仅当连续信源的概率密度函数为高斯分布时,微分熵达到最大值。
2. 不变性微分熵对信源的均匀线性变换具有不变性。
即对于连续信源X和线性变换Y=aX+b,有H(Y)=H(X),其中a和b是常数。
3. 可加性对于相互独立的连续信源X和Y,它们的联合微分熵等于它们各自微分熵的和,即H(X,Y)=H(X)+H(Y)。
4. 连锁规则对于连续信源X、Y和Z,有H(X,Y,Z)=H(X)+H(Y|X)+H(Z|X,Y)。
连锁规则可以推广到更多的连续信源。
应用场景连续信源高斯分布微分熵在许多领域都有重要的应用,下面列举几个常见的应用场景:1. 通信系统设计在通信系统中,了解信源的不确定性非常重要。
通过计算连续信源的微分熵,可以为系统设计提供指导,例如确定合适的编码方式和信道容量。
2. 数据压缩微分熵可以用于数据压缩算法中的信息量度量。
第二章:2.1试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?解:假设每个消息的发出都是等概率的,则:H(X 1)= log 2n = log 24 = 2 bit/symbol H(X 2)= log 2n = log 28 = 3 bit/symbol H(X 0) = log 2n = log 22 = 1 bit/symbol四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.2居住某地区的女孩子有25淞大学生,在女大学生中有75艰身高160厘米以上的,而女 孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高 160厘米以上的某女孩是大 学生”的消息,问获得多少信息量?解: 设随机变量X 代表女孩子学历X X 1 (是大学生)X 2 (不是大学生)P(X)0.250.75设随机变量Y 代表女孩子身高Y y 1 (身高 >160cm )y 2 (身高 <160cm )P(Y)0.5 0.5已知:在女大学生中有 75%是身高160厘米以上的即:p(y 1/ X 1)= 0.75求:身高160厘米以上的某女孩是大学生的信息量2.3 一副充分洗乱了的牌(含52牌),试问(1) 任一特定排列所给出的信息量是多少?⑵ 若从中抽取13牌,所给出的点数都不相同能得到多少信息量?解:(1) 52牌共有52!种排列方式,假设每种排列方式出现是等概率的则所给出的信息量是:1(xj log p(x i ) log 2 52! 225.581 bit⑵52牌共有4种花色、13种点数,抽取13点数不同的牌的概率如下:413 p( X i )百C 52413I (X ) log 2 p(X i )g —13.208 bitC 52四进制脉冲可以表示 八进制脉冲可以表示 二进制脉冲可以表示4个不同的消息,例如 8个不同的消息,例如 2个不同的消息,例如{0, 1,2, 3}{0, 1,2, 3, 4, 5, 6, 7} {0, 1}四进制脉冲的平均信息量 八进制脉冲的平均信息量 二进制脉冲的平均信息量 所以:即:1(为/%)logp^/yjP (X 1)p(%/X 1)log 20.25 0.750.51.415 biti(202120130213001203210110321010021032011223210)求 (1) 此消息的自信息量是多少?(2) 此消息中平均每符号携带的信息量是多少?解:(1)此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概率是:此消息的信息量是:Ilog 2 p 87.811 bit(2)此消息中平均每符号携带的信息量是:I/n 87.811/45 1.951 bit2.5从大量统计资料知道,男性中红绿色盲的发病率为 7%女性发病率为0.5%,如果你问一 位男士:“你是否是色盲? ”他的回答可能是“是”,可能是“否”,问这两个回答中各含多少 信息量,平均每个回答中含有多少信息量?如果问一位女士,则答案中含有的平均自信息量 是多少?解: 男士:P (X Y ) 7% I (x Y )log 2 p(x Y )log 2 0.07 3.837 bit P(X N ) 93% I (x N ) log 2 p(x N )log 2 0.93 0.105 bit2H (X)p(^)log 2 p(x i )(0.07log 2 0.07 0.93log 2 0.93) 0.366 bit / symbol1女士:2H (X)p(X i ) log 2 p(X i ) (0.005log 2。
青岛农业大学本科生课程论文论文题目连续信源的最大熵与最大熵条件学生专业班级信息与计算科学 0902学生姓名(学号)指导教师吴慧完成时间 2012-6-25 2012 年 6 月 25 日课程论文任务书学生姓名指导教师吴慧论文题目连续信源的最大熵与最大熵条件论文内容(需明确列出研究的问题):1简述连续信源的基本概要。
2 定义了连续信源的差熵公式,分别介绍了满足均匀分布和高斯分布的两种特殊信源。
3推导了连续信源的最大熵值及最大熵条件。
资料、数据、技术水平等方面的要求:1概率论的均匀分布、高斯分布的相关知识。
2以及在这两种分布下的连续信源和高斯信源。
3在不同的约束条件下,求连续信源差熵的最大值一种是信源的输出值受限,另一种是信源的输出平均功率受限。
4 詹森不等式以及数学分析的定积分和反常积分、不定积分等数学公式。
发出任务书日期 2012-6-6 完成论文日期 2012-6-25 教研室意见(签字)院长意见(签字)连续信源的最大熵与最大熵条件信息与计算科学指导老师吴慧摘要:本文简述了连续信源的基本概要并定义了连续信源的差熵公式,分别介绍了满足均匀分布和高斯分布的两种特殊信源,推导了连续信源的最大熵值及最大熵条件。
关键词:连续信源最大熵均匀分布高斯分布功率受限The maximum entropy and maximum entropy conditionof consecutive letter of the sourceInformation and Computing Sciences Bian jiangTutor WuhuiAbstract:: On the base of continuous source this eassy describes the basic outline and define differential entropy formula, introduced a uniform distribution and Gaussian distribution of the two special source, derivation of a continuous source of maximum entropy and maximum entropy conditions.Keyword: Continuous source Maximum entropy Uniform distributionNormal distribution Power is limited引言:科学技术的发展使人类跨入了高度发展的信息化时代。
2.6连续信源的熵所谓连续信源就是指其输出在时间上和取值上都是连续的信源。
见图2.6.1。
各采样值的概率可用其概率分布密度函数来确定。
图2.6.2表示一个连续信源输出的幅度和其概率分布密度的关系。
设各种采样值之间无相关性,信源熵可写成:])(log[)(dx x p dx x p i ii ∑[例2.6.1]一连续信源,其输出信号的概率分布密度如图2.6.3所示,试计算其熵。
连续信源的熵不再具有非负性,这与离散信源显然不同。
同样可以定义两个连续变量的联合熵:⎰⎰-=dxdy xy lbp xy p XY H )()()(以及定义两个连续变量的条件熵;⎰⎰-=dxdy y x lbp xy p Y X H )/()()/( ⎰⎰-=dxdy x y lbp xy p X Y H )/()()/(连续信源的共熵、条件熵、单独熵之间也存在如下关系:)()()(Y H X H XY H +≤2.6.1三种特定连续信源的最大熵与离散信源不同,求连续信源的最大熵需要附加条件,常见的有三种。
1.输出幅度范围受限(或瞬时功率受限)的信源2.输出平均功率受限的信源 3.输出幅度平均值受限的信源 (1)限峰值功率的最大熵定理若代表信源的N 维随机变量的取值被限制在一定的范围之内,则在有限的定义域内,均匀分布的连续信源具有最大熵。
设N 维随机变量∏=∈Ni iib a X 1),( iia b>其均匀分布的概率密度函数为⎪⎪⎩⎪⎪⎨⎧-∉-∈-=∏∏∏===Ni i i Ni i i Ni i i a b x a b x a b x p 111)(0)()(1)(除均匀分布以外的其他任意概率密度函数记为)(x q ,并用[]X x p H c),(和[]X x q H c),(分别表示均匀分布和任意非均匀分布连续信源的熵。
在1)()(11112121==⎰⎰⎰⎰N b a b a N b a b a dx dx dxx q dx dx dxx p N NN N的条件下有[]⎰⎰-=1112)(log)(),(b a Nb ac dx dx x q x q X x q H NN⎰⎰⎰⎰⎰⎰+-=⎥⎦⎤⎢⎣⎡∙=111111121212)()(log)()(log)()()()(1log )(b a Nb a b a N b a b a Nb a dx dx x q x p x q dx dx x p x q dx dx x p x p x q x q NNNNN N令0,)()(≥=z x q x p z显然运用著名不等式1ln -≤z z 0>z 则]),([11)(log1)()()()(1log)(]),([1211121111X x p H a bdx dx x q x p x q dx dx a bx q X x q H c Ni i ib a Nb a b a N Ni i ib ac N N NN=-+-=⎥⎦⎤⎢⎣⎡-+--≤∏⎰⎰⎰∏⎰==则证明了,在定义域有限的条件下,以均匀分布的熵为最大。
在实际问题中,随机变量i X 的取值限制在i b ±之间,峰值为||i b 。
如果把取值看作是输出信号的幅度,则相应的峰值功率就是2ib 。
所以上述定理被称为峰值功率受限条件下的最大连续熵定理。
此时最大熵值为:∏∏===--=Ni Ni ii ic b b bX x p H 11222log)]([log]),([(2)限平均功率的最大熵定理若信源输出信号的平均功率P 和均值m 被限定,则其输出信号幅度的概率密度函数为高斯分布时,信源具有最大熵值。
单变量连续信源X 呈高斯分布时,PDF222)(221)(σπσm x ex p --=当X 是高斯分布以外的其它任意分布时 ,PDF 记为)(x q ,由约束条件已知Px q x dx x p x m x xq dx x xp x q dx x p ======⎰⎰⎰⎰⎰⎰∞∞-∞∞-∞∞-∞∞-∞∞-∞∞-)()()()(1)()(22由于随机变量的方差222222][])[(σ=-=-=-m P m X E m X E当均值m 为0时,平均功率就等于方差P =2σ,可见对平均功率和均值的限制就等于对方差的限制。
用[]X x p H c),(和[]X x q H c),(分别表示高斯分布和任意非高斯分布连续信源的熵由前面的讨论已知)2(log 21]),([22σπe X x p H c =]),([11)2(log 211)()()()2(log 21)()(log )()(log)()()()(1log )()(log )(]),([22222222X x p H e dxx q x p x q e dx x q x p x q dx x p x q x p x p x q x q dxx q x q X x q H c c =-+=⎥⎦⎤⎢⎣⎡-+≤⎥⎦⎤⎢⎣⎡+-=⎥⎦⎤⎢⎣⎡∙=-=⎰⎰⎰⎰⎰∞∞-∞∞-∞∞-∞∞-∞∞-σπσπ总结:在上两种情况下,信源的统计特性与两种常见噪声—均匀噪声和高斯噪声的统计特性相一致。
(3)均值受限条件下的最大连续熵定理若连续信源X 输出非负信号的均值受限,则其输出信号幅度呈指数分布时,连续信源X 具有最大熵值。
连续信源X 为指数分布时PDF 为)0(1)(≥=-x em x p mx用[]X x p H c),(和[]X x q H c),(分别表示指数分布和任意非指数分布连续信源的熵。
记限制条件为:mx xq dx x xp x q dx x p ====⎰⎰⎰⎰∞∞∞∞0)()(1)()( meX x p H c 2log ]),([=,任意其它分布的信源熵为]),([log11)(log)(log 1)()()(1log )()()(log )()(log)()()()(1log )()(log)(]),([222222202X x p H me dx x q mx e dx x q m dxx q x p x q dx e mx q dx x q x p x q dx x p x q x p x p x q x q dxx q x q X x q H c mxc ==-++=⎥⎦⎤⎢⎣⎡-+⎥⎦⎤⎢⎣⎡-≤⎥⎦⎤⎢⎣⎡+-=⎥⎦⎤⎢⎣⎡∙=-=⎰⎰⎰⎰⎰⎰⎰⎰∞∞∞∞-∞∞--∞∞-∞∞-∞∞总结:连续信源与离散信源不同,它不存在绝对的最大熵。
其最大熵与信源的限制条件有关,在不同的限制条件下,有不同的最大连续熵值。
对三种限制条件下的连续信源的最大熵分析结果表明,连续信源的最大熵与离散信源不同,它不存在绝对的最大熵,而随限定条件不同有各自不同的最大连续熵值。
2.6.2熵功率为了表示冗余的程度,定义熵功率,所谓熵功率就是指与某个平均功率为(幅度分布为非高斯分布)的非高斯信源有同样熵的高斯信源的平均功率。
熵功率是无差错传送必要信息的最小功率。
设连续信源X 在PDF 为)(x p 时达到最大熵值]),([X x p H c,除此之外的其它任何PDF )(x q 达到的熵值为]),([X x q H c,两熵之差即表示信源的剩余,记为q p I ,,也叫信息变差(或信源的冗余)。
即信源从一种PDF )(x p 转到另一种PDF )(x q 时,信源所含信息量发生的变化。
]),([]),([,X x q H X x p H I c c q p -=从信息变差的概念出发,连续信源的熵可理解为最大熵与信息变差之间的差值。
qp c c I X x p H X x q H ,]),([]),([-=讨论均值为零、平均功率限定为P 的连续信源的冗余问题。
当PDF 为高斯分布时达到最大熵ePX x p H c π2log21]),([2=仅随限定功率P的变化而变化。
假定限定的功率为P ,相应的熵为]),([p cX x p H,若P P ≤,则有]),([]),([X x p H X x p H c p c ≤当PDF 为其它任何分布)(x q 时,也有 ]),([]),([X x p H X x q H c c ≤总能找到某一个P P ≤,使Pe X x p H X x q H p c c π2log 21]),([]),([2==此即P 的大小决定了实际信源的熵值。
称P 为连续信源X 在PDF 为)(x q 时的熵功率。
它与信息变差之间的关系:PPI q p 2.log21=总结:信源的冗余度决定于平均功率的限定值P 与信源的熵功率P 之比。