信息论实验-熵和平均互信息

信息论与编码实验报告实验一：计算离散信源的熵一、实验设备: 1、计算机2、软件：Matlab 二、实验目的:1、熟悉离散信源的特点；2、学习仿真离散信源的方法3、学习离散信源平均信息量的计算方法4、熟悉 Matlab 编程； 三、习题：1. 甲地天气预报构成的信源空间为：1111(),,,8482X p x ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦ 小雨云 大雨晴 乙地信源空间为：17(),88Y p y ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦小雨晴 求此两个信源的熵。

求各种天气的自信息量。

代码：x=[1/2,1/4,1/8,1/8]; y=[7/8,1/8];HX=sum(-x.*log2(x)) HY=sum(-y.*log2(y)) IX=-log2(x) IY=-log2(y) 答案：() 1.75;()0.5436H X H Y ==2、 某信息源的符号集由A 、B 、C 、D 、E 组成，设每一符号独立出现，其出现的概率分别为，1/4，1/8，1/8，3/16，5/16，试求该信源符号的平均信息量。

代码：x=[1/4,1/8,1/8,3/16,5/16]; HX=sum(-x.*log2(x))答案：H(X) = 2.2272bit/符号3、设有四个消息分别以概率1/4，1/8，1/8，1/2传送，每一消息的出现是相互独立的。

试计算其平均信息量。

代码：x=[1/4,1/8,1/8,1/2]; HX=sum(-x.*log2(x)) 答案：H(X) =1.75bit/符号4. 设一个二元信源（只有0和1两种符号）其概率空间为：(),1X p x p p ⎡⎤⎡⎤=⎢⎥⎢⎥-⎣⎦⎣⎦0 1编程画出H 与p 的关系，并说明当P 呈什么分布时，平均信息量达到最大值。

（说明：H=-p.*log2(p)-(1-p).log2(1-p);） 代码：p= 1/1000000:1/1000:1;H=-p.*log2(p)-(1-p).*log2(1-p); plot(p,H) grid on xlabel('p'); ylabel('HP'); 图：实验二：验证熵的可加性与强可加性1. 【例2.6】有一离散无记忆信源123111(),,244a a a X p x ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦验证二次扩展信源2X 的熵等于离散信源X 的熵的2倍，即2()2()H X H X =代码：x=[1/2,1/4,1/4];hx=sum(x.*log2(1./x))x2=[1/4,1/16,1/16,1/8,1/8,1/8,1/16,1/8,1/16] hx2=sum(x2.*log2(1./x2)) 答案：2() 1.5;() 3.0H X H X ==2. 验证两个统计独立的信源,X Y ，验证：()()()H XY H X H Y =+其中：123111(),,244a a a X p x ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦123111(),,333b b b Y p y ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦代码：x=[1/2,1/4,1/4]; y=[1/3,1/3,1/3];xy=[1/6,1/6,1/6,1/12,1/12,1/12,1/12,1/12,1/12] hx=sum(x.*log2(1./x)) hy=sum(y.*log2(1./y)) Hxy=sum(xy.*log2(1./xy)) 答案：() 1.5,() 1.585() 3.085H X H Y H XY ===3、条件熵的计算与熵的强可加性 验证离散二维平稳信源，满足：12121()()(|)H X X H X H X X =+某一离散二维平稳信源0121141(),,3694X p x ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦12X X 其联合概率分布12()p X X 为：编程计算：1) 联合熵12()H X X 2) 条件熵21(|)H X X3) 验证：12121()()(|)H X X H X H X X =+代码：x1=[11/36,4/9,1/4]; x2=[11/36,4/9,1/4];b=[1/4,1/18,0;1/18,1/3,1/18;0,1/18,7/36]; HXY=0;for i=1:size(b,1) for j=1:size(b,2) if b(i,j)>0HXY=HXY-b(i,j).*log2(b(i,j)); end end end HXYHx1=sum(x1.*log2(1./x1)) Hx2=sum(x2.*log2(1./x2))b0=b(1,:); b1=b(2,:); b2=b(3,:);x1x2=[b0./x2;b1./x2;b2./x2]; Hx1x2=0;for i=1:size(x1x2,1) for j=1:size(x1x2,2) if x1x2(i,j)>0Hx1x2=Hx1x2-b(i,j).*log2(x1x2(i,j)); end end end Hx1x2 答案：12112121() 1.5426;(|)0.8717() 2.4144()(|) 2.4144H X H X X H X X H X H X X ===+=实验三：离散信道的平均互信息的计算1. 【习题3.1】 设信源12()0.6,0.4X x x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦通过一干扰信道，接收到符号为12[,]Y y y =，其信道矩阵为：516631,44P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦1) 求信源X 中事件1x 和2x 分别含有的自信息；2) 收到消息(1,2)j y j =后，获得的关于(1,2)i x i =的信息量；3) 求信源X 和输出变量Y 的信息熵； 4) 信道疑义度(|)H X Y 和噪声熵(|)H Y X ； 5) 接收到消息Y 后获得的平均互信息；代码：x=[0.6,0.4];p=[5/6,1/6;3/4,1/4]; Ix1=log2(1./(x(1,1))) Ix2=log2(1./(x(1,2)))pxy=[x(1,1)*p(1,:);x(1,2)*p(2,:)]; py=[x*p(:,1),x*p(:,2)];px_y=[pxy(:,1)/py(1,1),pxy(:,2)/py(1,2)]; I=log2(p./[py;py]) Hx=sum(x.*log2(1./x)) Hy=sum(py.*log2(1./py))Hx_y=sum(sum(pxy.*log2(1./px_y))) Hy_x=sum(sum(pxy.*log2(1./p)))Ixy=sum(sum(pxy.*log2(p./[py;py])))答案：12111221221.()0.737() 1.32192.(;)0.0589,(;)0.263,(;)0.0931,(;)0.32193.()0.971,()0.72194.(|)0.9635(|)0.71455.(;)0.0074I x I x I x y I x y I x y I x y H X H Y H X Y H Y X I X Y ====-=-======2. 二元信道的互信息与信源分布的关系 有二元信源：01()1X p x ωω⎡⎤⎡⎤=⎢⎥⎢⎥-⎣⎦⎣⎦有二元信道，其传递矩阵为：11p p P p p -⎡⎤=⎢⎥-⎣⎦， 其中0.2p =，即传递矩阵0.80.20.20.8P ⎡⎤=⎢⎥⎣⎦编程实现下面题目：1) 画出平均互信息(;)I X Y 随信源分布ω的关系曲线，并求出最大平均互信息。

自信息、互信息、信息熵、平均互信息，定义、公式（1）自信息：一个事件（消息）本身所包含的信息量，它是由事件的不确定性决定的。

比如抛掷一枚硬币的结果是正面这个消息所包含的信息量。

随机事件的自信息量定义为该事件发生概率的对数的负值。

设事件 的概率为 ，则它的自信息定义为 （2）互信息：一个事件所给出关于另一个事件的信息量，比如今天下雨所给出关于明天下雨的信息量。

一个事件 所给出关于另一个事件 的信息定义为互信息，用 表示。

（3）平均自信息（信息熵）：事件集（用随机变量表示）所包含的平均信息量，它表示信源的平均不确定性。

比如抛掷一枚硬币的试验所包含的信息量。

随机变量X 的每一个可能取值的自信息 的统计平均值定义为随机变量X 的平均自信息量: （4）平均互信息：一个事件集所给出关于另一个事件集的平均信息量，比如今天的天气所给出关于明天的天气的信息量。

为了从整体上表示从一个随机变量Y 所给出关于另一个随机变量 X 的信息量，我们定义互信息 在的XY 联合概率空间中的统计平均值为随机变量X 和Y 间的平均互信息画出各种熵关系图。

并作简要说明I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)当X,Y 统计独立时，I(X;Y)=0实际信源往往是有记忆信源。

对于相互间有依赖关系的N 维随机变量的联合熵存在以下关系（熵函数的链规则） ：定理3.1 对于离散平稳信源，有以下几个结论： （1）条件熵 随N 的增加是递减的；（2）N 给定时平均符号熵大于等于条件熵 （3）平均符号熵 随N 的增加是递减的；（4）如果 ，则 存在，并且分组与非分组码，奇异与非奇异码，唯一可译码与非唯一可译码。

即时码与非即时码1. 分组码和非分组码将信源符号集中的每个信源符号固定地映射成一个码字 Si ，这样的码称为分组码W i 。

用分组码对信源符号进行编码时，为了使接收端能够迅速准确地将码译出，分组码必须具有一些直观属性。

信息论中的信息熵与互信息信息论是一门研究信息传输和处理的学科，它的核心概念包括信息熵和互信息。

信息熵是衡量信息的不确定性和随机性的度量，而互信息则是衡量两个随机变量之间的相关性。

本文将从信息熵和互信息的定义、计算方法以及实际应用等方面进行探讨。

一、信息熵的定义与计算方法信息熵是信息论中的一个重要概念，它衡量了一个随机变量的平均不确定性。

在信息论中，我们通常用离散概率分布来表示随机变量的不确定性。

对于一个离散随机变量X，其概率分布为P(X)，则其信息熵H(X)的定义如下：H(X) = -ΣP(x)log2P(x)其中，x表示随机变量X的取值，P(x)表示该取值出现的概率。

信息熵的单位通常用比特（bit）来表示。

信息熵的计算方法非常直观，我们只需要计算每个取值的概率乘以其对应的对数，并求和即可。

信息熵越大，表示随机变量的不确定性越高；反之，信息熵越小，表示随机变量的不确定性越低。

二、互信息的定义与计算方法互信息是衡量两个随机变量之间相关性的度量。

对于两个离散随机变量X和Y，其互信息I(X;Y)的定义如下：I(X;Y) = ΣΣP(x,y)log2(P(x,y)/(P(x)P(y)))其中，P(x,y)表示随机变量X和Y同时取值x和y的概率，P(x)和P(y)分别表示随机变量X和Y的边缘概率分布。

互信息的计算方法与信息熵类似，我们只需要计算每个取值同时出现的概率乘以其对应的对数，并求和即可。

互信息越大，表示两个随机变量之间的相关性越强；反之，互信息越小，表示两个随机变量之间的相关性越弱。

三、信息熵与互信息的实际应用信息熵和互信息在信息论中有广泛的应用，并且在许多领域中也得到了广泛的应用。

在通信领域中，信息熵被用来衡量信源的不确定性，从而确定数据传输的最佳编码方式。

互信息则可以用来衡量信道的容量，从而确定数据传输的最大速率。

在机器学习领域中，信息熵被用来衡量决策树的不确定性，从而确定最佳的划分属性。

互信息则可以用来衡量特征与标签之间的相关性，从而确定最佳的特征选择方法。

桂林理工大学实验报告班级：通信09-2班学号：3090731219 姓名：崔泽实验名称：计算离散信源的熵日期：2011年5月10日一、实验目的1、熟悉离散信源的特点2、熟悉离散信源平均信息量的计算方法二、实验内容1、写出计算自信息量的Matlab程序2、写出计算离散信源平均信息量的Matlab程序3、掌握二元离散信源的最大信息量与概率的关系4、完成习题三、习题1、程序：x=[0.5 0.25 0.125 0.125 ];y=[0.875 0.125];b=-x.*log2(x)H1=sum(b)c=-y.*log2(y)H1=sum(c)X=-log2(x)Y=-log2(y)程序运行结果：b = 0.5000 0.5000 0.3750 0.3750H1 =1.7500c = 0.1686 0.3750H1 = 0.5436X = 1 2 3 3Y =0.1926 3.0000由上面结果可以看出，甲信源的熵为： 1.7500已信源的熵为：0.5436甲地各种天气的信息量晴，云，大雨，小雨分别为1 2 3 3已地各种天气的信息量晴，小雨分别为0.1926 3.00002、Matlab程序：x=[1/4 1/8 1/8 3/16 5/16];a=-x.*log2(x);H=sum(a)程序运行结果：H = 2.22723、Matlab程序：X=[1/4 1/8 1/8 1/2];a=-x.*log2(x);H=sum(a)程序运行结果：H = 1.75003、Matlab程序：p=0.00011:0.1:0.99999;x=[p,1-p];a=-x.*log2(x);H=sum(a)plot(x,a)pHH = 7.0879当p呈等概率分布时，平均信息量达到最大值7.0879桂林理工大学实验报告班级：通信09-2班学号：3090731225 姓名：崔泽实验名称：离散信道德平均互信息及其信道容量的计算日期：2011年5月20日一、实验目的1、了解信道传输概率的状态图和信道转移概率的矩阵的特点2、了解什么是信道容量和最佳输入概率分布3、熟悉计算平均互信息和信道容量的计算步骤二、实验内容1、写出计算互信息和平均互信息的Matlab程序2、写出计算几种特殊离散信道的信道容量的Matlab程序3、完成习题三、习题1、Matlab程序：w=0.01:0.1:0.99;a1=log2(0.8./(0.6.*w+0.2));a2=log2(0.2./((-0.6).*w+0.8))I=0.8.*w.*a1+0.2.*(1-w).*a2+0.2.*w.*a2+0.8.*(1-w).*a1plot(w,I)程序运行结果：Imax=1.1681；即 C=1.1681；2、（1）原理：C=logr Matlab程序：r=3;c=log2(r)运算结果：c =1.5850（2）原理：C=log2(s)Matlab程序:S=2;C=log2(s)运行结果：C=1（3）原理：C=log2(s)-H(p1,p2,…,ps); Matlab程序:s=4;c=log2(s)+2/3*log2(1/3)+1/3*log2(1/6) 运行结果：c =0.0817（4）4、一般信道，其信道矩阵为：111244121636113884P⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦桂林理工大学实 验 报 告班级：通信09-2班 学号：3090731225 姓名：崔泽 实验名称：有噪信道编码定理 日期：2011年5月30日一、实验目的1、理解有噪信道编码定理的物理意义2、熟悉 Matlab 编程二、实验内容1、学习应用有噪信道编码定理解决实际问题2、将程序在计算机上仿真实现，验证程序的正确性3、完成习。

一、实验目的1. 理解信息论的基本概念和原理；2. 掌握信息熵、条件熵、互信息等基本概念的计算方法；3. 学会使用 MATLAB 进行信息论实验，并分析实验结果；4. 提高编程能力和数据分析能力。

二、实验原理信息论是一门研究信息传输、处理和存储的学科，其核心是信息熵。

信息熵是衡量信息不确定性的度量，表示信息中所包含的平均信息量。

信息熵的计算公式如下：H(X) = -Σ p(x) log2(p(x))其中，H(X) 表示随机变量 X 的熵，p(x) 表示 X 取值为 x 的概率。

条件熵是衡量在已知另一个随机变量 Y 的条件下，随机变量 X 的不确定性。

条件熵的计算公式如下：H(X|Y) = -Σ p(x,y) log2(p(x|y))其中，H(X|Y) 表示在 Y 已知的条件下 X 的熵，p(x,y) 表示 X 和 Y 同时取值为x 和 y 的概率，p(x|y) 表示在 Y 已知的情况下 X 取值为 x 的条件概率。

互信息是衡量两个随机变量之间相互依赖程度的度量。

互信息的计算公式如下：I(X;Y) = H(X) - H(X|Y)其中，I(X;Y) 表示随机变量 X 和 Y 之间的互信息。

三、实验内容1. 使用 MATLAB 编写程序，计算给定信源的概率分布，并计算其熵；2. 使用 MATLAB 编写程序，计算给定两个随机变量的联合概率分布，并计算其条件熵和互信息；3. 分析实验结果，验证信息熵、条件熵和互信息之间的关系。

四、实验步骤1. 输入信源的概率分布，使用 MATLAB 计算 H(X)；2. 输入两个随机变量的联合概率分布，使用 MATLAB 计算 H(X,Y)、H(X|Y) 和I(X;Y)；3. 分析实验结果，比较 H(X)、H(X|Y) 和 I(X;Y) 之间的关系。

五、实验结果与分析1. 信源概率分布及其熵输入信源的概率分布为：p(x) = [0.2, 0.3, 0.5]计算得到：H(X) = -0.2 log2(0.2) - 0.3 log2(0.3) - 0.5 log2(0.5) ≈ 1.5852. 两个随机变量的联合概率分布及其条件熵和互信息输入两个随机变量的联合概率分布为：p(x,y) = [0.1, 0.2, 0.3, 0.4]计算得到：H(X,Y) = -0.1 log2(0.1) - 0.2 log2(0.2) - 0.3 log2(0.3) - 0.4log2(0.4) ≈ 2.097H(X|Y) = -0.1 log2(0.1) - 0.2 log2(0.2) - 0.3 log2(0.3) - 0.4log2(0.4) ≈ 1.585I(X;Y) = H(X) - H(X|Y) ≈ 0.512分析实验结果，可以发现：（1）信息熵 H(X) 表示信源中包含的平均信息量，当信源概率分布越均匀时，信息熵越大；（2）条件熵 H(X|Y) 表示在已知随机变量 Y 的条件下，随机变量 X 的不确定性，当 X 和 Y 之间的依赖程度越高时，条件熵越小；（3）互信息 I(X;Y) 表示随机变量 X 和 Y 之间的相互依赖程度，当 X 和 Y 之间的依赖程度越高时，互信息越大。

信息论中的熵和互信息当我们听到“熵”这个词时，很可能会想到物理学中的热力学概念。

但是，熵不仅仅在热力学中有用，它在信息理论中也扮演着重要角色。

在信息理论中，熵是一种度量信息不确定性的指标。

具体来说，熵可以表示随机变量中的平均信息量。

举一个简单的例子，如果我们有一个硬币，它可能是正面朝上或反面朝上。

那么这个硬币的熵就是1个比特，因为只需要1个比特的信息量就能完全确定硬币的正反面结果。

那么，为什么熵这个概念在信息理论中如此重要呢？其实，熵与信息压缩有关。

在信息传输过程中，我们往往需要将大量的信息通过有限的通道传递。

但是，我们同时也需要确保传输的信息尽可能不损失。

而熵这个指标可以帮助我们衡量信息的不确定性及压缩效率。

除了熵之外，互信息也是信息论中一个重要的概念。

互信息可以用来评估两个变量之间的相关性或者关联度。

具体来说，互信息可以计算某个变量给我们带来了多少额外的信息。

在实际应用中，互信息可以被用来进行数据挖掘、信息检索等方面的工作。

不难看出，熵和互信息这两个概念之间有着重要的联系。

在信息论中，熵和互信息是相互独立并且互补的概念。

通过分析这两个指标，我们可以更好地理解信息的本质及信息传输的技术原理。

在现代信息社会中，熵和互信息这两个概念已经被广泛应用到各个领域。

无论是计算机科学、工程、物理学还是生物信息学，这两个概念都发挥着关键作用。

同时，我们也可以预见，在未来的信息时代中，熵和互信息这两个概念将会继续发挥着重要的作用。

总之，熵和互信息是信息论中非常基础的概念。

它们既相互独立，又互相联系。

了解这两个概念的含义以及其在实际应用中的作用，可以帮助我们更好地理解信息传递的机制以及信息检索的方法。

熵与信息论公式香农熵互信息的计算公式熵与信息论公式-香农熵与互信息的计算公式在信息论中，熵与互信息是两个重要的概念，它们经常被用于衡量信息的不确定性和相关性。

本文将详细介绍熵和互信息的定义和计算公式，并探讨它们在信息理论中的应用。

一、香农熵香农熵是信息论中用于度量随机变量不确定性的重要指标。

它可以理解为信息的平均度量，也可以理解为信息的缺乏度量。

对于离散型随机变量X，其熵H(X)的计算公式为：H(X) = -∑p(x)log2(p(x))其中，p(x)为随机变量X取某一值x的概率，log2表示以2为底的对数。

例如，假设有一个骰子，它的每个面出现的概率相等，即1/6。

那么骰子的熵可以通过以下计算得到：H(X) = -(1/6)log2(1/6) - (1/6)log2(1/6) - (1/6)log2(1/6) - (1/6)log2(1/6) - (1/6)log2(1/6) - (1/6)log2(1/6)根据计算公式，我们可以得到该骰子的熵为log2(6)≈2.58。

香农熵的计算过程可以理解为对每个可能取值的概率乘以该取值的信息量，并对所有情况求和。

熵越高，表示随机变量的不确定性越大。

二、互信息互信息是用于度量两个随机变量之间相关性的概念。

假设有两个离散型随机变量X和Y，它们的联合概率分布为p(x, y)，边缘概率分布分别为p(x)和p(y)。

那么X和Y的互信息I(X;Y)的计算公式为：I(X;Y) = ∑∑p(x, y)log2(p(x, y)/(p(x)p(y)))互信息可以理解为两个随机变量之间共享的信息量。

当两个随机变量完全独立时，互信息为0；而当它们之间存在依赖关系时，互信息大于0。

三、应用熵和互信息在信息论中有广泛的应用。

其中，香农熵常被用于衡量信源中的信息量，例如在数据压缩算法中，熵越高的信源可以被更好地压缩。

互信息则常被用于衡量两个随机变量之间的相关性。

例如在机器学习中，互信息可用于特征选择和聚类分析。

《信息论与编码》实验1 绘制熵函数曲线一、实验目的熟悉工作环境及Matlab 软件 掌握绘图函数的运用 理解熵函数表达式及其性质 二、实验原理信息熵自信息量是针对信源的单个符号而言的，而符号是随机发生的，因此单个符号的不确定性不足于代表信源的不确定性性质，为此，可对所有符号的自信息量进行统计平均，从而得到平均不确定性。

熵的表示[]()()()()()log ()i i i i iiH X E I X p x I x p x p x ===-∑∑注意的问题熵是自信息量的统计平均，因此单位与自信息量的单位相同，与熵公式中所用对数的底有关：bit/符号、nat/符号、dit/符号、r 进制单位/符号。

特殊公式：某个pk=0时，0log0=0 (0lim log 0→=x x x )在熵的定义中忽略零概率事件。

平均互信息平均互信息量(I(X;Y))是统计平均意义下的先验不确定性与后验不确定性之 差，是互信息量的统计平均:,,(/)()(;)()(/)log()(/)()log()(;)===∑∑∑i j j j j i j ji ji i j i j i ji p x y p y I X y p y p x y p x p x y p x y p x I X Y()()()()()();/;/=-=-I X Y H X H X Y I Y X H Y H Y X三、实验内容1.用 Matlab 软件绘制二进熵函数曲线。

二元信源1011⎛⎫⎛⎫=≤≤ ⎪ ⎪-⎝⎭⎝⎭X p P p p二元信源的熵为(,1)log (1)log(1)-=----H p p p p p p绘制当p 从0到1之间变化时的二元信源的信息熵曲线.Matlab 程序： p=0.00001:0.001:1;h=-p.*log2(p)-(1-p).*log2(1-p); plot(p,h);title('二进熵函数曲线'); ylabel('H(p,1-p)') 2．绘制三元信源的熵三元信源1231212120,11()⎛⎫⎛⎫=≤≤ ⎪⎪--⎝⎭⎝⎭x x x X p p p p p p P x三元信源的熵为111111221212(,,1)log log (1)log(1)--=-------H p p p p p p p p p p p p 绘制当12,p p 从0到1之间变化时的三元信源的信息熵曲线.[p1,p2]=meshgrid(0.00001:0.001:1);h=-p1.*log2(p1)-p2.*log2(p2)-(1-p1-p2) .*log2(1-p1-p2); meshc(p1,p2,h); title('三进熵函数曲线');3．绘制平均互信息量图形对于二元对称信道的输入概率空间为0,1(),1ωωω⎡⎤⎡⎤=⎢⎥⎢⎥=-⎣⎦⎣⎦X P x平均互信息：根据：1()()(|)1===∑rj i j i i P b P a P b a所以：21(0)()(0|)(0)(0|0)(1)(0|1)ωω====+=+∑i i i P y P a P a P P P P p p(;)()(/)=-I X Y H Y H Y X 1()()(/)log(/)=-∑∑XYH Y P x P y x P y x 11()()[loglog ]=-+∑XH Y P x p p p p11()[loglog ]()()=-+=-H Y p p H Y H p p p21(1)()(0|)(0)(1|0)(1)(1|1)ωω====+=+∑i i i P y P a P a P P P P p p1111(;)()()()log ()log [log log ]()()()ωωωωωωωωωω=-=+++-+++=+-I X Y H Y H p p p p p p p p p p p p pH p p H p 绘制当,ωp 从0到1之间变化时的平均互信息熵曲线.[w,p] = meshgrid(0.00001:0.001:1);h=-(w.*(1-p)+(1-w).*p).*log2(w.*(1-p)+(1-w).*p)-(w.*p+(1-w).*(1-p)).*log2(w.*p+(1-w).*(1-p))+(p.*log2(p)+(1-p).*log2(1-p)) meshz(w,p,h) title('互信息'); ylabel('H(w,p,h)')四、实验报告要求 简述实验目的； 简述实验原理；分别绘制二元信源和三元信源的熵及平均互信息量图形。

信息论实验一计算信息熵及其互信息实验者：王国星班级：09030701学号：**********2009年10月20日实验一计算信息熵及其互信息一．实验目的1.理解信源的概念。

2.了解如何获得信息。

3.学会计算信息熵。

4.学会计算两个信息的互信息。

二．实验原理1.信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。

信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。

信息传输和信息压缩是信息论研究中的两大领域。

这两个方面又由信息传输定理、信源－信道隔离定理相互联系。

香农(Claude Shannon)被称为是“信息论之父”。

人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathe matical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。

这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。

在该文中，香农给出了信息熵（以下简称为“熵”）的定义：这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。

熵度量的是消息中所含的信息量，其中去除了由消息的固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。

信息论中熵的概念与物理学中的热力学熵有着紧密的联系。

玻尔兹曼与吉布斯在统计物理学中对熵做了很多的工作。

信息论中的熵也正是受之启发。

互信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。

两个事件X和Y的互信息定义为：I(X,Y) = H(X) + H(Y) - H(X,Y)其中H(X,Y) 是联合熵(Joint Entropy)，其定义为：互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。

2. MATLAB 是美国MathWorks公司出品的商业数学软件，用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境，主要包括MATLAB和Simulink两大部分。