信息论中有关信源熵的不等式
- 格式:doc
- 大小:404.00 KB
- 文档页数:8
⋅ 第二章课后习题【2.1】设有 12枚同值硬币,其中有一枚为假币。
只知道假币的重量与真币的重量不同,但不知究竟是重还是轻。
现用比较天平左右两边轻重的方法来测量。
为了在天平上称出哪一枚是假币,试问至少必须称多少次?解:从信息论的角度看,“12枚硬币中,某一枚为假币”该事件发生的概率为 P = 112 ; “假币的重量比真的轻,或重”该事件发生的概率为 P = 1 2; 为确定哪一枚是假币,即要消除上述两事件的联合不确定性,由于二者是独立的,因此有I = log12 + log 2 = log 24比特而用天平称时,有三种可能性:重、轻、相等,三者是等概率的,均为 P = 平每一次消除的不确定性为 I = log 3比特因此,必须称的次数为13,因此天I 1 I 2log 24 log 3 H 2.9次因此,至少需称 3次。
【延伸】如何测量?分 3堆,每堆 4枚,经过 3次测量能否测出哪一枚为假币。
【2.2】同时扔一对均匀的骰子,当得知“两骰子面朝上点数之和为 2”或“面朝上点数之和为 8”或“两骰子面朝上点数是 3和 4”时,试问这三种情况分别获得多少信息量?解:“两骰子总点数之和为 2”有一种可能,即两骰子的点数各为 1,由于二者是独立的,因此该种情况发生的概率为 P =1 1 6 6 136,该事件的信息量为:⋅ ⋅ 5 =⋅ ⋅ 2 =I = log 36 H 5.17比特“两骰子总点数之和为 8”共有如下可能:2和 6、3和 5、4和 4、5和 3、6和 2,概率为 P =1 1 6 6 536 ,因此该事件的信息量为:36 I = logH 2.85比特 5“两骰子面朝上点数是 3和 4”的可能性有两种:3和 4、4和 3,概率为P = 1 1 6 6 118, 因此该事件的信息量为:I = log18 H 4.17比特【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几?”则答案中含有多少信息量?如果你在已知今天是星期四的情况下提出同样的问题,则答案中你能获得多少信息量(假设已知星期一至星期日的顺序)?解:如果不知今天星期几时问的话,答案可能有七种可能性,每一种都是等概率的,均为P = 17,因此此时从答案中获得的信息量为I = log 7 = 2.807比特而当已知今天星期几时问同样的问题,其可能性只有一种,即发生的概率为 1,此时获得的信息量为 0比特。
信源熵的名词解释信源熵(Source Entropy)是信息论中一个重要的概念,用于衡量信息源的不确定性和信息的平均编码长度。
在信息论中,信息可以被看作是从一个信源中获取的,而信源熵用来描述这个信源的不确定性大小。
信源熵的计算方法是根据信源可能产生的符号的概率分布来进行的。
具体来说,如果一个信源有n个可能取值(符号)S1,S2,...,Sn,并且每个符号出现的概率分别为P1,P2,...,Pn,那么信源的熵H(S)可以通过下面的公式计算得出:H(S) = -P1log(P1) - P2log(P2) - ... - Pnlog(Pn)其中,log是以2为底的对数,P1,P2,...,Pn是概率分布。
信源熵的含义是,对于一个不确定性较大的信源,需要更长的编码长度来表示每一个符号,所以熵值越大,说明信息的平均编码长度越长。
相反,当一个信源的不确定性较小,即各个符号出现的概率分布较平均时,信息的平均编码长度较短,熵值较小。
以一个简单的例子来说明信源熵的概念。
假设有一个只有两个符号的信源,分别记为S1和S2,它们出现的概率分别为P1和P2。
如果这两个符号的概率分布相等(即P1 = P2 = 0.5),那么信源的熵就是最大的,因为这两个符号的不确定性相同,需要同样长度的编码来表示它们。
而如果其中一个符号的概率接近于1,另一个符号的概率接近于0,那么信源的熵就是最小的,因为其中一个符号的信息是确定的,只需要很短的编码来表示它。
这个例子可以帮助我们理解信源熵与不确定性之间的关系。
除了信源熵,信息论中还有一个重要的概念是条件熵(Conditional Entropy)。
条件熵是在已知一定的背景条件下,信源的不确定性大小,即在给定前提条件下的平均编码长度。
条件熵可以通过信源和条件之间的联合概率分布来计算,其公式为:H(S|T) = -ΣΣP(s, t)log(P(s|t))其中,P(s, t)表示符号s和条件t联合发生的概率。
《信息论、编码与密码学》课后习题答案第1章 信源编码1.1考虑一个信源概率为{0.30,0.25,0.20,0.15,0.10}的DMS 。
求信源熵H (X )。
解: 信源熵 ∑=-=512)(log )(k k k p p X HH(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]=[0.521+0.5+0.464+0.411+0.332] =2.228(bit)故得其信源熵H(X)为2.228bit1.2 证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。
解: 若二元离散信源的统计特性为P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)] 对H(X)求导求极值,由dH(X)/d(P)=0可得211101log ==-=-p ppp p可知当概率P=Q=1/2时,有信源熵)(1)(max bit X H =对于三元离散信源,当概率3/1321===P P P 时,信源熵)(585.1)(m ax bit X H =,此结论可以推广到N 元的离散信源。
1.3 证明不等式ln 1x x ≤-。
画出曲线1ln y x =和21y x =-的平面图以表明上述不等式的正确性。
证明:max ()ln 1(0)1()()01001()0()0ln 11ln 1ln 1f x x x x f x xf x x x x f x f x f x x x x x x x =-+>'=''==>∴<≤>≤=≤-≥≤-≤-令,又有时此时也即当时同理可得此时综上可得证毕绘制图形说明如下 可以很明确说明上述 不等式的正确性。
1.4 证明(;)0I X Y ≥。
在什么条件下等号成立?1111(,)(,)(,)(,)log()()n mi j i j i j n mi j i j i j i j I P x y I x y P x y P x y P x P y =====∑∑∑∑(X ;Y )=当和相互独立时等号成立。
信息论研究中的不等式及应用分析信息论是一门研究信息量、信息传输、信息存储等方面的学科。
信息论中的不等式及其应用是信息论研究中的一个重要方面。
本文将从信息论中的不等式出发,从数学的角度探讨这些不等式的应用分析。
一、信息论中的不等式1. 马尔科夫不等式马尔科夫不等式是信息论中的一个基本不等式,它给出了一个随机变量非负函数的上界。
具体地,对于一个非负的随机变量X和正实数a,马尔科夫不等式表达为:P(X≥a) ≤E(X)/a其中,P(X≥a)为X≥a的概率,E(X)为随机变量X的期望。
马尔科夫不等式的应用非常广泛。
例如,在大数据分析中,常常需要计算某个变量大于某一阈值的概率,这时通过马尔科夫不等式可以快速地得到一个上界。
2. 切比雪夫不等式切比雪夫不等式是信息论中的另一个经典不等式,它给出了一个随机变量与其期望的偏离度的上界。
具体地,对于任意一个随机变量X,正实数a和其期望E(X),切比雪夫不等式表达为:P(|X-E(X)|≥a) ≤Var(X)/a²其中,P(|X-E(X)|≥a)为X与其期望的偏离超过a的概率,Var(X)为X的方差。
切比雪夫不等式的应用也非常广泛。
例如,在机器学习和数据挖掘中,常常需要评估模型预测结果的准确性,并给出相应的置信区间,这时可以使用切比雪夫不等式。
3. 卡方不等式卡方不等式是信息论中的另一个重要不等式,它给出了一个非负随机变量的期望的下界。
具体地,对于任意一个非负的随机变量X和正实数a,卡方不等式表达为:P(X≥a) ≤E(X²)/a²其中,P(X≥a)为X≥a的概率,E(X²)为随机变量X的平方的期望。
卡方不等式的应用也非常广泛。
例如,在统计学中,常常需要评估变量之间的相关性,这时可以使用卡方不等式。
二、信息论中不等式的应用分析信息论中的不等式具有广泛的应用,在各个领域都有着重要的作用。
常见的应用领域有机器学习、数据挖掘、信号处理、密码学、概率论和统计学等。
• 1.什么是平均自信息量与平均互信息,比较一下这两个概念的异同?• 答:平均自信息为• 表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。
• 平均互信息•表示从Y 获得的关于每个X 的平均信息量,也表示发X 前后Y 的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量。
2.简述最大离散熵定理。
对于一个有m 个符号的离散信源,其最大熵是多少?答:最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。
• 最大熵值为3.解释信息传输率、信道容量、最佳输入分布的概念,说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系?答:信息传输率R 指信道中平均每个符号所能传送的信息量。
信道容量是一个信道所能达到的最大信息传输率。
信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
4.解释无失真变长信源编码定理。
答:只要 ,当N 足够长时,一定存在一种无失真编码。
5.解释有噪信道编码定理。
• 答:当R <C 时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小。
6.离散平稳信源• 答:若信源输出的消息是取值离散的随机序列,随机序列的任意有限维的概率分布不随时间平移而改变,则称为离散平稳信源。
7.即时码答:如果在译码过程中只要接收到每个码字的最后一个符号就可立即将该码字译出,这种码称为即时码。
8.信道容量答:信息能够可靠传输的最大信息传输速率。
9.信源信道编码定理• 答:设有一离散无记忆平稳信道的每秒容量为C ,一个离散信源每秒的熵为H ,那么,如果H < C ,总存在一种编码系统,使得信源的输出以任意小的错误概率通过信道传输;反之,如果H > C 时,对任何编码编码系统,译码差错率>010.信道疑义度• 答:设信道的输入与输出分别为X 、Y ,定义条件熵H(X/Y)为信道疑义度。
它有如下含义:• 信道疑义度表示接收到Y 条件下X 的平均不确定性;根据I(X;Y)=H(X)-H(X/Y),信道疑义度又表示X 经信道传输后信息量的损失; 接收的不确定性由信道噪声引起,在无噪情况下,H(X/Y)=0。
柯西不等式多维形式及其推论的证明柯西不等式是数学中一个重要的不等式,它可以表示为多维形式。
柯西不等式在很多领域都有广泛的应用,例如线性代数、凸优化、信息论等。
本文将介绍柯西不等式的多维形式,并且给出它的一些推论的证明。
1. 定义和形式化在数学中,柯西不等式是一个重要的不等式,它可以用来限制一个函数的行为。
柯西不等式的通用形式为:$$f(x\_1,x\_2,\dots,x\_n) \geqslant 0$$其中 $f$ 是一个实值函数,$x\_1,x\_2,\dots,x\_n$ 是 $n$ 个实数。
柯西不等式可以被用来限制一个多元函数的值域。
柯西不等式也可以表示为多维形式,即:$$f(\mathbf{x}) \geqslant 0$$其中 $\mathbf{x}$ 是一个 $n$ 维向量。
多维柯西不等式是柯西不等式的推广,它具有更广泛的应用。
在实际应用中,柯西不等式通常被用来限制一个函数的值域,使得该函数在某些条件下具有某些性质。
柯西不等式在很多领域都有广泛的应用,例如线性代数、凸优化、信息论等。
2. 多维柯西不等式的证明多维柯西不等式是柯西不等式的推广,它可以用来限制一个多元函数的值域。
多维柯西不等式的通用形式为:$$f(\mathbf{x}) \geqslant 0$$其中 $\mathbf{x}$ 是一个 $n$ 维向量,$f$ 是一个实值函数。
证明多维柯西不等式的方法有很多,具体方法取决于具体的函数 $f$ 以及所满足的条件。
在本文中,我们将介绍几种常见的证明方法。
首先,我们可以使用数学归纳法来证明多维柯西不等式。
这种方法适用于当 $f$ 满足一些递推关系时。
其次,我们可以使用数学归纳法的变形来证明多维柯西不等式。
这种方法适用于当$f$ 满足一些递推关系,但不能直接使用数学归纳法时。
第三,我们可以使用数学归纳法的变形来证明多维柯西不等式。
这种方法适用于当$f$ 满足一些递推关系,但不能直接使用数学归纳法时。
信息熵的概念及其在信息论中的应用信息熵是信息论中一个重要的概念,它被用来衡量一段信息的不确定性或者说信息的平均编码长度。
熵的概念最早由克劳德·香农在1948年提出,对于信息的量化和信源编码具有重要的理论和实际应用。
本文将对信息熵的概念进行详细的介绍,并探讨其在信息论中的应用。
一、信息熵的定义信息熵可以看作是一个信源所产生的信息的不确定性度量。
当一个信源产生的符号具有均匀分布时,熵的值最大;而当信源的输出符号呈现高度集中的分布时,熵的值最小。
具体地,对于一个离散型信源,其熵的定义如下:H(X) = -Σp(x)log2p(x),其中,H(X)表示信源X的熵,p(x)表示信源X输出符号x出现的概率。
二、信息熵的解释信息熵可以理解为对信息的平均编码长度的期望。
在信息论中,我们可以通过霍夫曼编码等方法对信息进行编码,使得熵最小化,从而达到最高的编码效率。
假设信源X有n个符号,出现的概率分别为p1, p2, ..., pn,则信源X的平均编码长度L为:L = ΣpiLi,其中,Li为信源X的符号i的编码长度。
根据不等式关系log2(p1/p2) <= p1/p2,我们可以得到:H(X) = -Σp(x)log2p(x) <= Σp(x) * (-log2p(x)) = Σp(x)log2(1/p(x)) = Σp(x)log2n = log2n,即熵的值小于等于log2n,其中n为符号的个数。
当n个符号均匀分布时,熵的值达到最大,即log2n。
三、信息熵的应用信息熵在信息论中具有广泛的应用,下面将介绍几个常见的应用场景。
1. 数据压缩信息熵在数据压缩中起到重要的作用。
根据信息论的原理,我们可以利用数据的统计特性进行有损压缩。
对于频率出现较高的符号,我们可以分配较短的编码,而对于出现频率较低的符号,则分配较长的编码。
通过这种方式,我们可以大大减少数据的存储空间,提高传输效率。
2. 通信系统信息熵在通信系统中也有重要应用。
5.1 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X (1) 求信源熵H(X); (2) 编二进制香农码;(3) 计算平均码长和编码效率。
解: (1)symbolbit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0()(log )()(2222222712=⨯+⨯+⨯+⨯+⨯+⨯+⨯-=-=∑=%1.8314.3609.2)()(14.301.071.0415.0317.0318.0319.032.03)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η5.2 对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制费诺码,计算编码效率。
%2.9574.2609.2)()(74.201.041.0415.0317.0218.0319.032.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η5.3 对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制和三进制哈夫曼码,计算各自的平均码长和编码效率。
解:%9.9572.2609.2)()(72.201.041.0415.0317.0318.0319.022.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η%4.913log 8.1609.2log )()(8.1)01.01.015.017.018.019.0(22.01)(22=⨯====+++++⨯+⨯==∑m LK X H R X H x p k K ii i η5.4 设信源⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡12811281641321161814121)(87654321x x x x x x x x X P X (1) 求信源熵H(X);(2) 编二进制香农码和二进制费诺码;(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率; (4) 编三进制费诺码;(5) 计算三进制费诺码的平均码长和编码效率;解: (1)symbolbit x p x p X H i i i /984.1128log 1281128log 128164log 64132log 32116log 1618log 814log 412log 21)(log )()(22222222812=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=-=∑==127/64 bit/symbol (2)二进制费诺码:香农编码效率:%100984.1984.1)()(64/127984.17128171281664153214161381241121)(======⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η费诺编码效率:%100984.1984.1)()(984.17128171281664153214161381241121)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η(5)%3.943log 328.1984.1log )()(328.14128141281364133212161281141121)(22=⨯=⋅===⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑m K X H R X H x p k K ii i η5.5 设无记忆二进制信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡1.09.010)(X P X先把信源序列编成数字0,1,2,……,8,再替换成二进制变长码字,如下表所示。
信源熵公式
信源熵是信息论中的一个重要概念,它是用来度量消息的丰富性和
复杂性的一种度量方法。
它的概念源于 Shannon 在 1948 年出版的文章Information Theory。
一、信源熵是什么
信源熵(即 Shannon 熵)是指数据量的复杂性程度的度量,即信息量
在消息中不确定性的度量。
它可以帮助我们测量消息中内容丰富程度,以及消息是否具有冗余性。
通俗来说,信源熵是一种度量消息中有多
少信息和无规律性的度量方法。
二、信源熵的计算公式
信源熵的计算公式是: H(p) = -∑p(i)logp(i) 。
其中,H(p)是具有信息量
p的信息源的熵,p(i)是每一种信息量的概率。
它很好地反映了消息的复杂性,但它不能用来衡量消息的可靠性,因
此不能按照 Shannon 熵来评估消息的独特性。
三、信源熵的应用
信源熵有很多应用,最重要的是在信号处理、声音分析、密码学、数
据库设计和模式分析等领域有广泛的应用。
例如在压缩文件时,可以
使用信源熵来确定哪些数据需要进行压缩处理,从而减小数据的量。
另外,信源熵也可以用来度量信号的复杂性,比如机器学习算法中的模型复杂度因子,可以使用信源熵来衡量模型的复杂度。
四、总结
信源熵是由 Shannon 在 1948 年提出的一种度量方法,它可以度量消息的复杂性和冗余性,可以帮助我们评估消息的信息量。
它被广泛应用于信号处理、声音分析、密码学、数据库设计和模式分析等领域,可以用来度量信号的复杂性,以及机器学习算法中的模型复杂度因子。
论文题目:信息论中有关各种熵之间关系的证明学院:数学科学学院专业:信息与计算科学姓名:周艳君学号:20071115158信息论中有关各种熵之间关系的证明07信息班 周艳君 20071115158 指导老师 王桂霞摘 要 根据信息量与熵的定义和重要定理以及主要公式,对各种熵之间的关系进行分析和证明.关键词 无条件熵 条件熵 联合熵 交互熵.⒈基本定义1.1信息就是对事物动态(或它的存在方式)的不确定性的一种描述.不确定 性及随机性,可以用研究随机现象的数学教具—概率论与随机过程来描述信息.1.2自信息量:一个随机事件发生某一结果后所带来的信息量称为自信息量,简称自信息.用)(i a I 来表示.1.3联合自信息量:自信息量是二维联合集XY 上元素j i b a 的联合概率)(j i b a p 数的负值,称为联合自信息量.用)(j i b a I 来表示.1.4条件自信息量:为条件概率对数的负值.用)/(j i b a I 来表示.1.5交互信息量:i a 后验概率与先验概率比值的对数为j b 对i a 的互信息量, 也称交互信息量(简称互信息).用);(j i b a I 来表示.1.6信源熵:信源各个离散消息的自信息量的数学期望(即概率加权的统计 平均值)为信源的平均自信息量,一般称为信源的信息熵,也叫信源熵或香农熵,记为)(X H .1.7条件熵:在联合符号集合XY 上的条件自信息量的数学期望.可以用)/(Y X H 表示.1.8联合熵:也叫共熵,是联和离散符号XY 上的每的元素j i b a 的联合自信息量的数学期望,用)(XY H 表示.2.基本公式2.1 自信息量:)(log )(2i i a p a I -=2.2 联合的自信息量:)(log )(2j i j i b a p b a I -= 当X 和Y 相互独立时,)()()(j i j i b p a p b a p =;则有:)()()(log )(log )()(log )(log )(2222j i j i j i j i j i b I a I b p a p b p a p b a p b a I +=--=-=-=2.3条件自信息量:)/(log )/(2j i j i b a p b a I -= 或 )/(log )/(2i j i j a b p a b I -= 2.4互信息量:)()/(log );(2i j i j i a p b a p b a I = ),,2,1;,,2,1(m j n i ==2.5信源熵:)(log )(])(1[log )]([)(212i ni i i i a p a p a p E a I E X H ∑=-=== 2.6条件熵:ⅰ:在已知随机变量Y 的条件下,随机变量X 的条件熵)/(Y X H 为:)/()()]/([)/(11j i mj ni j i j i b a I b a p b a I E Y X H ∑∑====)/(log )(211j i m j ni j i b a p b a p ∑∑==-=.ⅱ:在已知随机变量X 的条件下,随机变量Y 的条件熵)/(X Y H 为:)/()()]/([)/(11i j mj ni j i i j a b I b a p a b I E X Y H ∑∑====)/(log )(211i j m j ni j i a b p b a p ∑∑==-=.2.7联合熵:)(log )()()()(21111j i m j ni j i j i n i m j j i b a p b a p b a I b a p XY H ∑∑∑∑====-==.2.8有关概率的基本公式:1)(1=∑=n i i a p ,1)(1=∑=m j j b p ,1)/(1=∑=ni j i b a p ,1)/(1=∑=mj i ja bp ,1)(11=∑∑==m j ji n i b a p ,)()(1j n i j i b p b a p =∑=,)()(1imj j i a p b a p =∑=,)/()()/()()(j i j i j i j i b a p b p a b p a p b a p ==.3.各种熵之间的关系 3.1无条件熵3.1.2 )/();()/()(Y X H Y X I Y X H X H ≥+=. 证明:①)(log )()(21i ni i a p a p X H ∑=-=)/()/()(log )(211j i j i i m j ni j i b a p b a p a p b a p ∑∑==-=)/(log )()()/(log )(211211j i mj ni j i i j i mj ni j i b a p b a p a p b a p b a p ∑∑∑∑====-=)/();(Y X H Y X I +=.②)/(log )/()()/(2j i jij i j b a p b a p b p Y X H ∑∑-=])/(log )/([)(2∑∑-=ij i j i jj b a p b a p b p .由熵的极值性知:≤)/(Y X H ])(log )/([)(2∑∑-ii j i jj a p b a p b p∑∑-=ji j i j ia pb a p b p )(log )]/()([2)(X H =, 其中)()()/()(ijji jijja pb a p b a p b p ==∑∑.同理: )/();()/()(X Y H Y X I X Y H Y H ≥+=.3.1.2. )/()()(X Y H XY H X H -=.证明:)(log )()(2i ii a p a p X H ∑-=∑∑-=ji j j i j i j ia b p b a p b a p b p )/()(log )]/()([2)]/(log )([)(log )(22i j ijj i j i ijj i a b p b a p b a p b a p ∑∑∑∑---=)/()(X Y H XY H -=, 同理:)/()()(Y X H XY H Y H -=.3.2条件熵 );()()()()/(Y X I X H Y H XY H Y X H -=-=. 3.2.1 )()()/(Y H XY H Y X H -=. 证明:)/(Y X H )/(log)(211j i n i mj ji b a p b a p ∑∑==-=+-=∑∑==)(log )(211j i ni m j j i b a p b a p )(log])([211j m j ni ji b p b a p ∑∑==)(log )()(log )(21211j mj j j i ni mj j i b p b p b a p b a p ∑∑∑===+-=)()(Y H XY H -=, 其中:)()(1j ni j i b p b a p =∑=.3.2.2 );()()/(Y X I X H Y X H -= .证明:)/(log )()/(211j i ni mj j i b a p b a p Y X H ∑∑==-=)()()(log )(211i j i i n i mj j i a p b a p a p b a p ∑∑==-=)()/(log )()(log ])([211211i j i mj j i ni i ni mj j i a p b a p b a p a p b a p ∑∑∑∑====--=);()(Y X I X H -=, 其中:)()(1imj ji a p b a p =∑=.同理:);()()()()/(Y X I Y H X H XY H X Y H -=-=. 3.3联合熵 )()(YX H XY H =)/()()/()()(Y X H Y H X Y H X H XY H +=+=);()()(Y X I Y H X H -+= );()/()/(Y X I X Y H Y X H ++=.3.3.1)/()()/()()(Y X H Y H X Y H X H XY H +=+= . 证明:)(log )()(211j i ni mj j i b a p b a p XY H ∑∑==-=)/()(log )(211i j i n i mj j i a b p a p b a p ∑∑==-=)/()()(log ])([11211i j n i mj j i i ni mj j i a b p b a p a p b a p ∑∑∑∑====--=)/()(X Y H X H +=, 其中:)()(1i mj j i a p b a p =∑=.同理: )/()()(Y X H Y H XY H +=. 3.3.2 );()()()(Y X I Y H X H XY H -+= . 证明:)/()(log )()(211i j i ni mj j i a b p a p b a p XY H ∑∑==-=)()/()()(log )(211j i j j i n i mj j i b p a b p b p a p b a p ∑∑==-=)(log ])([)(log ])([211211jb p b a p a p b a p mj ni j i i ni mj j i ∑∑∑∑====--=)()/(log )(211j i j n i mj j i b p a b p b a p ∑∑==-);()()(Y X I Y H X H -+=.3.3.3 );()/()/()(Y X I X Y H Y X H XY H ++=. 证明:)/()(log )()(211i j i ni mj j i a b p a p b a p XY H ∑∑==-=)/()()/()/(log )(211j i i i j j i n i mj j i b a p a p a b p b a p b a p ∑∑==-=)/(log )(211j i ni mj j i b a p b a p ∑∑==-=)/(log )(211i j ni mj j i a b p b a p ∑∑==-)()/(log )(211i j i n i mj j i a p b a p b a p ∑∑==+);()/()/(Y X I X Y H Y X H ++= 3.4交互熵 );();(X Y I Y X I =)/()()/()();(X Y H Y H Y X H X H Y X I -=-=)()()()/()/()(XY H Y H X H X Y H Y X H XY H -+=--= . 3.4.1 )/()()/()();(X Y H Y H Y X H X H Y X I -=-= 证明:=);(Y X I )()/(log )(211i j i n i mj j i a p b a p b a p ∑∑==∑∑∑∑====+-=ni mj j i j i i ni mj j i b a p b a p a p b a p 112211)/(log )()(log ])([)/()(Y X H X H -=, 其中:)()(1i mj j i a p b a p =∑=.同理:)/()();(X Y H Y H Y X I -=. 3.4.2证明: )()/(log )();(211i j i ni mj j i a p b a p b a p Y X I ∑∑===)(1)/()/(log )(211j i i j j i n i mj j i b a p a b p b a p b a p ∑∑===)(log )(211j i ni mj j i b a p b a p ∑∑==-=)/(log )(211j i ni mj j i b a p b a p ∑∑==+)/(log )(211i j ni mj j i a b p b a p ∑∑==+)/()/()(X Y H Y X H XY H --=.3.4.3证明:)()/(log )();(211i j i n i mj j i a p b a p b a p Y X I ∑∑===)()()(log )(211j i j i n i mj j i b p a p b a p b a p ∑∑===)(log ])([211i ni mj j i a p b a p ∑∑==-=)(log ])([211j mj ni j i b p b a p ∑∑==-)(log )(211j i ni mj j i b a p b a p ∑∑==+)()()(XY H Y H X H -+=.其中:)()(1i m j j i a p b a p =∑=,)()(1j ni j i b p b a p =∑=.参考文献[1]傅祖芸,赵建中.信息论与编码.电子工业出版社,2006,4. [2]邓稼先,康耀红.信息论与编码.西安电子科技大学出版社,2007,5. [3]陈运.信息论与编码.电子工业出版社,2007,12.[4]贾世楼.信息论理论基础. 哈尔滨工业大学出版社,2002,6.。