熵及条件熵的相关定理及其证明设出属性集合P 和D ={d }导出的对论域()n U U =||的划分分别为(){}n X X X P IND U ⋯=,,|21和(){}n Y Y Y d IND U ⋯=,,|21，则有如下定理成立： 定理[]()()()P H P D H P D H == |1.339。
定理3.2设U 是一个论域，P ，Q 是U 。
上的两个属性集合若 ()()，P UIND Q UIND =则()()P H Q H =（逆并不成立）。
定理 3.3设U 是一个论域，P ，Q 是U ，上的两个属性集合且Q P ⊆，若()()P H Q H =，则()()P UIND Q UIND =。
定理3.4设U 是一个论域，P 是U 上的一个属性集合，P 中的一个属性r 是不必要的，其充分必要条件为{}{}()0=-r P r H 。
推论3.1P 中的一个属性r 是必要的必要条件为{}{}()r P r H -＞0。
定理3.5设U 是一个论域，P 是U 上的一个属性集合，Q 是P 的一个约简的充分必要条件为()()P H Q H =，且对任意的Q q ∈都有{}{}()q Q q H -＞0。
由定理3.3、定理3.4和定理3.5可知，对于属性约简而言，信息熵表示形式与代数表示形式是等价的。
可以从信息熵的角度来研究属性约简问题，但上述定理还仅仅是针对一般信息表的约简问题（绝对约简）而言的。
对于决策表的相对约简问题，文献[11]证明了如下定理。
定理3.6设U 是一个论域，P 是U 上的一个属性集合，d 为决策属性，且论域U 是在P 上相对于{d }一致的，则P 中的一个属性r 是P 相对于决策属性d 不必要的（多余的），其充分必要条件为{}(){}{}()r P d H P d H -=||。
证明：首先令(){}n X X X P IND U ⋯=,,|21，(){}m Y Y Y d IND U ⋯=,,|21。
2.3二元联合信源的联合熵（共熵）与条件熵讨论两个信源的情况。
如前所述，信源的概率空间为：⎥⎦⎤⎢⎣⎡)(Xp X 类似地信源的概率空间为：⎥⎦⎤⎢⎣⎡)(Y p Y 这两个信源，即二元联合信源的概率空间，可以由其联合概率空间来描述。
2.3.1共熵研究二元联合信源的熵即共熵。
二元联合信源的共熵可以按照单信源熵的定义写出：∑∑==-=ni mj xiyj lbp xiyj p XY H 11)()()(研究单信源熵与联合概率的关系.2.3.2条件熵条件熵不能由单信源熵定义直接写出，而是由其共熵导出。
H(XY)=H(X)+H(Y/X) (2.3.3)二元联合信源的共熵还可以写成：H(XY)=H(Y)+H(X/Y)(2.3.4)[例2.3.1]仍以[例2.1.5]为例验证式（2.3.3），（2.3.4）的正确性。
推论１：推论２：[例2.3.2]有一离散信源具有三个消息A、B、C，发出的消息序列前后符号具有相关性，其中相关性可用下表中的条件概率来描述，求该离散信源的熵。
某地二月份天气构成的信源为现有人告诉你:“今天不是晴天。
”，把这句话作为收到的消息y1。
当收到消息y1 后，各种天气发生的概率变成后验概率了。
其中计算 与各种天气之间的互信息量。
各种熵之间的关系⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡81,81,41,21)(),(),(),()(4321雪雨阴晴x x x x X P X 41)/(;41)/(;21)/(;0)/(14131211====y x p y x p y x p y x p 互信息量为负值的不确定度更大反而使的不确定度减少不仅没有使后说明收到消息比特的不确定度各减少了使也可理解为消息比特的信息量各分别得到了这表明从同理对天气信息量之间与不必再考虑对天气→-∞========∴=。
x ，x ，y bit x p y x p y x I 。
，x x ，x y ，，x ，x x y bit y x I y x I bit x p y x p y x I x 。
联合熵推导联合熵是信息论中用来衡量多个随机变量之间关联程度的指标。
它是熵的一个扩展，可以帮助我们理解和量化多个随机变量之间的信息传递和依赖关系。
1. 信息熵回顾在介绍联合熵之前，我们先来回顾一下信息熵的概念。
信息熵是用来衡量一个随机变量的不确定性的度量方式。
对于一个离散型随机变量X ，其信息熵H(X)的定义如下：H (X )=−∑P ni=1(x i )logP (x i )其中，x i 表示X 的取值，P (x i )表示X 取值为x i 的概率。
信息熵越高，表示随机变量的不确定性越大。
2. 联合熵的定义现在我们考虑两个随机变量X 和Y ，它们的联合概率分布为P(X =x i ,Y =y j )。
联合熵H(X, Y)的定义如下：H (X,Y )=−∑∑P mj=1n i=1(x i ,y j )logP(x i ,y j )其中，x i 和y j 分别表示X 和Y 的取值，P(x i ,y j )表示X 取值为x i 且Y 取值为y j 的联合概率。
联合熵可以看作是在考虑了两个随机变量之间的关联情况下的不确定性度量。
如果X 和Y 相互独立，那么联合熵就等于各自的熵的和。
如果X 和Y 之间存在依赖关系，那么联合熵就小于各自的熵的和。
3. 联合熵的性质联合熵具有以下性质：•非负性：联合熵始终大于等于零，即H (X,Y )≥0。
•对称性：H (X,Y )=H (Y,X )，即X 和Y 的顺序不影响联合熵的值。
• 条件熵的性质：联合熵可以通过条件熵来计算，即H (X,Y )=H (X )+H (Y|X )。
其中，H (Y|X )表示在已知X 的条件下，Y 的不确定性。
4. 联合熵的应用联合熵在信息论和统计学中有着广泛的应用。
以下是一些常见的应用场景：4.1. 信息传输在通信领域中，联合熵可以用来衡量信道中的信息容量。
通过计算发送方和接收方之间的联合熵，可以确定在给定信道条件下的最大可靠传输速率。
4.2. 数据压缩联合熵可以用来评估数据的冗余度。
2.3二元联合信源的联合熵（共熵）与条件熵讨论两个信源的情况。
如前所述，信源的概率空间为：⎥⎦⎤⎢⎣⎡)(Xp X 类似地信源的概率空间为：⎥⎦⎤⎢⎣⎡)(Y p Y 这两个信源，即二元联合信源的概率空间，可以由其联合概率空间来描述。
2.3.1共熵研究二元联合信源的熵即共熵。
二元联合信源的共熵可以按照单信源熵的定义写出：∑∑==-=ni mj xiyj lbp xiyj p XY H 11)()()(研究单信源熵与联合概率的关系.2.3.2条件熵条件熵不能由单信源熵定义直接写出，而是由其共熵导出。
H(XY)=H(X)+H(Y/X) (2.3.3)二元联合信源的共熵还可以写成：H(XY)=H(Y)+H(X/Y)(2.3.4)[例2.3.1]仍以[例2.1.5]为例验证式（2.3.3），（2.3.4）的正确性。
推论１：推论２：[例2.3.2]有一离散信源具有三个消息A、B、C，发出的消息序列前后符号具有相关性，其中相关性可用下表中的条件概率来描述，求该离散信源的熵。
某地二月份天气构成的信源为现有人告诉你:“今天不是晴天。
”，把这句话作为收到的消息y1。
当收到消息y1 后，各种天气发生的概率变成后验概率了。
其中计算 与各种天气之间的互信息量。
各种熵之间的关系⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡81,81,41,21)(),(),(),()(4321雪雨阴晴x x x x X P X 41)/(;41)/(;21)/(;0)/(14131211====y x p y x p y x p y x p 互信息量为负值的不确定度更大反而使的不确定度减少不仅没有使后说明收到消息比特的不确定度各减少了使也可理解为消息比特的信息量各分别得到了这表明从同理对天气信息量之间与不必再考虑对天气→-∞========∴=。
x ，x ，y bit x p y x p y x I 。
，x x ，x y ，，x ，x x y bit y x I y x I bit x p y x p y x I x 。
