下载文档原格式
信息论实验一计算信息熵及其互信息实验者：王国星班级：09030701学号：**********2009年10月20日实验一计算信息熵及其互信息一．实验目的1.理解信源的概念。
2.了解如何获得信息。
3.学会计算信息熵。
4.学会计算两个信息的互信息。
二．实验原理1.信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。
信息传输和信息压缩是信息论研究中的两大领域。
这两个方面又由信息传输定理、信源－信道隔离定理相互联系。
香农(Claude Shannon)被称为是“信息论之父”。
人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathe matical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。
这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。
在该文中，香农给出了信息熵（以下简称为“熵”）的定义：这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。
熵度量的是消息中所含的信息量，其中去除了由消息的固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。
信息论中熵的概念与物理学中的热力学熵有着紧密的联系。
玻尔兹曼与吉布斯在统计物理学中对熵做了很多的工作。
信息论中的熵也正是受之启发。
互信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。
两个事件X和Y的互信息定义为：I(X,Y) = H(X) + H(Y) - H(X,Y)其中H(X,Y) 是联合熵(Joint Entropy)，其定义为：互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。
2. MATLAB 是美国MathWorks公司出品的商业数学软件，用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境，主要包括MATLAB和Simulink两大部分。
信息量计算公式
一、信息量概述
信息量是一个用于度量信息多少的量，是信息论中的一个重要概念。
在信息处理中，信息量主要用于度量不确定性的消除，其计算公式与熵的计算公式相同。
二、信息量计算公式
1.自信息量：用于度量某一个信息或随机事件发生的可能性，其计算公式为
P(x)log2(1/P(x))，其中 P(x) 为随机事件发生的概率。
自信息量是信息量中最基本的部分，表示随机事件发生所传递的信息。
2.熵：熵是信息论中的另一个重要概念，表示随机变量的不确定性或混乱程
度。
熵的计算公式为 H=-sum(p(x)log2(p(x)))，其中 p(x) 为随机变量取各个可能值的概率。
熵的大小反映了随机变量的不确定性程度。
3.互信息：互信息用于度量两个随机变量之间的相关性，其计算公式为
I(X;Y)=H(X)+H(Y)-H(X,Y)，其中 H(X,Y) 为 X 和 Y 的联合熵，H(X) 和 H(Y) 分别为 X 和 Y 的熵。
互信息的大小反映了两个随机变量之间的关联程度。
4.相对熵：相对熵也称 Kullback-Leibler 散度，用于度量两个概率分布之间的
相似程度。
其计算公式为 Dkl(P||Q)=sum(p(x)log2(p(x)/q(x)))，其中 P 和 Q 是两个概率分布。
相对熵的大小反映了两个概率分布之间的差异程度。
三、信息量计算的应用
信息量计算在许多领域都有广泛的应用，如数据压缩、加密、通信、决策制定等。
通过对信息量的计算，可以更好地理解信息的本质和传播规律，提高信息处理的效率和准确性。
熵、互信息、条件熵、相对熵熵是信息论中的一个重要概念，用来衡量随机变量的不确定性。
在信息论中，熵被定义为一个随机变量的平均信息量。
熵越大，表示随机变量的不确定性越高。
互信息是指两个随机变量之间的相关性。
互信息可以用来衡量两个随机变量之间的相互依赖程度。
互信息越大，表示两个随机变量之间的相关性越高。
条件熵是在给定某个条件下，随机变量的不确定性。
条件熵可以用来衡量在已知某些信息的情况下，对未知信息的不确定性。
条件熵越大，表示在给定条件下，随机变量的不确定性越高。
相对熵（也称为KL散度）是用来度量两个概率分布之间的差异性。
相对熵是一个非对称的指标，它衡量了在给定一个概率分布的情况下，使用另一个概率分布来表示该分布所需的额外的信息量。
熵、互信息、条件熵、相对熵在信息论中起着重要的作用，它们可以用来描述随机变量、概率分布之间的关系，并在许多领域中得到广泛的应用。
熵是信息论中最基本的概念之一。
它可以用来衡量一个随机变量的不确定性。
例如，在一个硬币正反面出现的概率相等的情况下，我们对于硬币的结果是完全不确定的，因此熵为1。
而当硬币正反面出现的概率不相等时，熵会变小，表示我们对于硬币结果的不确定性降低了。
互信息可以用来衡量两个随机变量之间的相关性。
例如，在一个骰子游戏中，如果我们知道一个骰子的结果，那么对于另一个骰子的结果将没有任何帮助，因为它们之间没有相关性。
在这种情况下，互信息为0。
而当两个骰子的结果是完全相同或完全相反的时候，互信息会达到最大值。
条件熵是在给定某个条件下，随机变量的不确定性。
例如，在一个扑克牌游戏中，如果我们已经知道了对手手中的一张牌，那么我们对于对手的牌的不确定性会减小。
条件熵可以用来衡量在给定一些信息的情况下，对未知信息的不确定性。
相对熵是用来度量两个概率分布之间的差异性。
例如，在自然语言处理中，我们可以使用相对熵来衡量两个文本之间的相似性。
相对熵越小，表示两个概率分布越接近，差异性越小。
信息论中熵的概念信息论中熵的概念引言：信息论是一门研究信息传输、存储和处理的科学，它起源于通信工程领域，后来逐渐发展成为一门独立的学科。
在信息论中，熵是一个非常重要的概念，它是衡量信息量大小的一种指标。
本文将详细介绍信息论中熵的概念及其相关知识。
一、基本概念1. 信息在信息论中，信息是指某个事件发生所提供的消息或者数据。
在投掷一枚硬币时，正反面出现的情况就是两个不同的事件，每一个事件都提供了一个二元数据（正面或反面），因此我们可以说这两个数据都包含了一定量的信息。
2. 熵在统计物理学中，熵是描述系统混乱程度的物理量。
在信息论中，熵则被定义为随机变量不确定性的度量。
简单来说，熵越大表示包含更多不确定性或者随机性的数据。
3. 随机变量随机变量是指可能具有多种取值结果的变量。
在投掷一枚硬币时，正反面出现的情况就是一个随机变量，因为它可能具有两种不同的取值结果。
二、信息熵的定义在信息论中，熵是一个非常重要的概念。
它被定义为一个随机变量所包含的信息量的期望值。
如果我们用X表示一个随机变量，x表示X可能取到的不同取值，p(x)表示X取到x的概率，那么X的熵可以用下面的公式来计算：H(X) = -Σp(x)log2p(x)其中，Σ表示对所有可能取值进行求和。
log2表示以2为底数的对数。
三、信息熵的性质1. 非负性根据熵的定义，可以得知它一定是非负数。
因为p(x)大于0且小于等于1，在log2p(x)中取负号后一定是非正数，所以H(X)一定是非负数。
2. 极大化原理当随机变量具有多个可能取值时，它们之间存在某种不确定性或者随机性。
而熵则可以衡量这种不确定性或者随机性。
在信息论中，有一个重要原理叫做极大化原理：当随机变量具有多个可能取值时，它们之间最大不确定性对应着最大熵。
3. 独立性如果两个随机变量X和Y是相互独立的，那么它们的联合熵等于它们各自的熵之和。
即：H(X,Y) = H(X) + H(Y)四、信息熵的应用1. 数据压缩在数据压缩中，我们希望尽可能地减小数据的存储空间。
第二章信息量和熵一、离散变量的非平均信息量1、离散变量的非平均自信息量集合{X；p(x)}中某个事件x的自信息量定义为：=—log p(x) ——表达式是唯一的；I（x）=log1()p x其中，p(x)为事件x发生的概率。
含义：完全确定事件x所必需的信息量；事件x中固有（包含）的信息量；事件x出现的先验不确定性大小。
2、联合概率事件的非平均自信息量联合空间{XY，p(xy)}中任一事件xy，x∈X和y∈Y的联合自信息量定义为：I（xy）=—log p(xy)同理：I（xyz）=—log p(xyz) 。
3、离散变量的非平均条件信息量联合空间{XY，p(xy)}中，事件x∈X和y∈Y，事件x在事件y 给定（已知）时的条件信息量定义为：I（x/y）=—log(/)p x y含义：已知y时事件x所具有的不确定性；给定y时事件x中还剩余的信息量；给定y条件下完全确定事件x所必需的信息量。
4、离散事件的非平均互信息量两个离散事件集{X ，p(x)}和{Y ，p(y)}中，事件y ∈Y 的出现给出关于事件x ∈X 的信息量定义为： I （x ；y ）=log(/)()p x y p x 含义：事件x 和y 之间的互信息量；从事件y 中可获得关于事件x 的信息量。
5、离散事件的非平均条件互信息量对于三个离散事件集的联合概率空间{XYZ ，p(xyz )}，给定事件z Z ∈条件下，事件x X ∈和事件y Y ∈之间的条件互信息量定义为：I （x ；y /z ）=log(/)(/)p x yz p x z =log (/)(/)(/)p xy z p x z p y z 注：I （x ；y /z ）应理解为：I{(x ;y )/z}含义：已知事件z 的条件下，从事件y 中可获得关于事件x 的信息量。
6、离散事件非平均信息量的性质 ● 非平均自信息量非负； I （x ）=—log p(x)≥0； I （x/y ）=—log (/)p x y ≥0 。
如何用熵的概念求信息量信息论是一门以熵的概念为基础的学科，它研究的是信息的量和质量，以及信息的传输和存储。
熵是信息理论中一个重要的概念，用于衡量信息的不确定性和随机性，也可以理解为描述信息的平均编码长度。
在信息论中，信息量可以通过熵的概念进行求解。
信息量是指传递或存储的某一事件或消息所具有的信息的多少。
而熵则是衡量一个概率分布的不确定性的量度，熵越大表示不确定性越大，也就是信息量越大。
熵的公式可以表示为：H(X) = -∑P(x)log2P(x)其中，H(X)代表随机变量X的熵，P(x)代表事件x发生的概率。
在这个公式中，对所有可能的事件发生的概率求和，并在结果中加上每个概率的负对数乘以该概率。
这个公式的一个重要特点是，当事件的概率趋近于0或趋近于1时，熵的值会趋近于0。
这是因为当一个事件发生的概率接近于0或接近于1时，该事件就不具有太多的不确定性，所以信息量就会减少。
举个例子来说明熵的计算过程。
假设有一个硬币，投掷结果只有正面和反面两种可能。
如果硬币是均匀和公正的，那么正面和反面的概率都是0.5。
那么计算这个硬币投掷结果的熵，可以得到：H(coin) = -0.5 * log2(0.5) - 0.5 * log2(0.5) = 1这个结果表示硬币投掷结果的熵为1，也就是说投掷结果的不确定性较高，所以信息量较大。
如果我们有很多次独立的投掷结果，那么总的信息量就是每次投掷结果的信息量的总和。
除了熵，还可以使用条件熵和互信息来度量信息量。
条件熵是在已知某个条件下，熵的期望值。
互信息则可以用来衡量两个变量之间的相关性和相关性的信息量。
通过熵的概念，我们可以更好地理解信息论中的信息量和不确定性的关系，也可以应用于数据压缩、数据传输等领域，帮助我们更好地处理和利用信息。
