实验一 绘制二进熵函数曲线

验证最大离散熵定理使用matlab 绘制二进制信源的熵随
概率变化的曲线
摘要：
I.引言
- 介绍最大离散熵定理
- 熵的定义和计算方法
II.验证最大离散熵定理
- 使用matlab 进行验证
- 绘制二进制信源的熵随概率变化的曲线
III.结论
- 总结最大离散熵定理的验证过程
- 分析熵随概率变化的趋势
正文：
I.引言
熵是信息论中一个重要的概念，用于衡量信息的不确定性或混乱程度。

最大离散熵定理是信息论中的一个重要定理，它指出在一定条件下，离散信源的最大熵分布是概率分布。

本文将通过使用matlab 绘制二进制信源的熵随概率变化的曲线，来验证最大离散熵定理。

II.验证最大离散熵定理
首先，我们需要使用matlab 进行验证。

matlab 是一种功能强大的数学软件，可以方便地进行各种数学计算和图形绘制。

我们可以使用matlab 编写
代码，计算二进制信源的熵，并绘制熵随概率变化的曲线。

接下来，我们绘制二进制信源的熵随概率变化的曲线。

通过观察曲线，我们可以发现熵随概率变化的趋势。

当概率分布接近最大熵分布时，熵值达到最小；当概率分布远离最大熵分布时，熵值增大。

III.结论
通过使用matlab 绘制二进制信源的熵随概率变化的曲线，我们验证了最大离散熵定理。

我们发现，当概率分布接近最大熵分布时，熵值达到最小；当概率分布远离最大熵分布时，熵值增大。

实验二 熵的计算一、实验目的通过本次实验的练习，使学生进一步巩固熵的基本概念，掌握熵的统计方法，培养学生使用编程工具进行分析计算的基本能力。

二、实验仪器与软件1. PC 机 1台2. MATLAB7.0环境三、实验原理(一)信息熵的基本原理离散信源数学模型如下（设该信源可能取的符号有n 个）：⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡)(,),(,),(),( ,, , , , )( 2121n i n i a p a p a p a p a a a a X P X 则该信源的信息熵为)(log )()(21i n i ix p x p X H ∑==H(X)是信源X 中每个事件出现的平均信息量，或者说H(X)表示了信源X 中各符号出现的平均不确定性。

图像的信息熵设数字图像的灰度级集合为{r 1,r 2,…,r m }，其对应的概率分别为p (r 1),p (r 2),…,p (r m )，则图像的信息熵可以定义为：图像的信息熵表示像素各个灰度级位数的统计平均值，它给出了对此输入灰度级集合进行无失真图像编码时所需要的平均位数的下限。

（二）图像文件的读取（1）函数imread （） MATLAB 通过函数imread 完成图像的读取，该函数语法格式如下：I = imread(filename,fmt)用于读取由filename 指定的图像数据到数组A 中，参数fmt 对应于所有图像处理工具所支持的图像文件格式。

如I=imread （'rice.tif'）；（2）函数imhist （） 显示图像的直方图。

用法：imhist(I,n) 计算和显示图像I 的直方图，n 为指定的灰度级数目，默认为256。

如果I 是二值图像，那么n 仅有两个值。

[counts,x] = imhist(I) 返回直方图数据向量counts 或相应的色彩值向量x 。

（3）函数size(a) 表示矩阵a 每个维度的长度如size([1 2 3;4 5 6])，返回[2 3]，表示该矩阵有2行3列（4）find 寻找非零元素下标如：x = [11 0 33 0 55];find(x)ans =135find(x == 0)ans =24(5)相关函数点运算在MATLAB中，有一种特殊的运算，因为其运算符是在有关算术运算符前面加点，所以叫点运算。

信源熵函数曲线Matlab仿真信源熵函数曲线Matlab仿真实验目的1.掌握离散信源熵的原理和计算方法。

2．熟悉matlab软件的基本操作，练习应用matlab软件进行信源熵函数曲线的绘制。

3.理解信源熵的物理意义，并能从信源熵函数曲线图上进行解释其物理意义。

实验原理离散信源相关的基本概念、原理和计算公式产生离散信息的信源称为离散信源。

离散信源只能产生有限种符号。

假定X是一个离散随机变量，即它的取值范围R={x1，x2，x3，…}是有限或可数的。

设第i个变量x i发生的概率为p i=P{X=x i}。

则：定义一个随机事件的自信息量I（x i）为其对应的随机变量x i出现概率对数的负值。

即：I（x i）= -log2p(x i)定义随机事件X的平均不确定度H（X）为离散随机变量x i出现概率的数学期望，即：单位为比特/符号或比特/符号序列。

平均不确定度H（X）的定义公式与热力学中熵的表示形式相同，所以又把平均不确定度H（X）称为信源X的信源熵。

必须注意一下几点：a.某一信源，不管它是否输出符号，只有这些符号具有某些概率特性，必有信源的熵值；这熵值是在总体平均上才有意义，因而是个确定值，一般写成H（X），X是指随机变量的整体（包括概率分布）。

b.信息量则只有当信源输出符号而被接收者收到后，才有意义，这就是给与信息者的信息度量，这值本身也可以是随机量，也可以与接收者的情况有关。

c.熵是在平均意义上来表征信源的总体特征的，信源熵是表征信源的平均不确定度，平均自信息量是消除信源不确定度时所需要的信息的量度，即收到一个信源符号，全部解除了这个符号的不确定度。

或者说获得这么大的信息量后，信源不确定度就被消除了。

信源熵和平均自信息量两者在数值上相等，但含义不同。

当某一符号x i的概率p(x i)为零时，p(x i)log p(x i) 在熵公式中无意义，为此规定这时的p(x i)log p(x i) 也为零。

当信源X中只含有一个符号x时，必有p(x)=1，此时信源熵H（X）为零。

实验报告实验名称关于信源熵的实验课程名称信息论与编码姓名xxx 成绩90班级电子信息1102学号**********日期2013.11.22地点综合实验楼实验一关于信源熵的实验一、实验目的1. 掌握离散信源熵的原理和计算方法。

2. 熟悉matlab 软件的基本操作，练习使用matlab 求解信源的信息熵。

3. 自学图像熵的相关概念，并应用所学知识，使用matlab 或其他开发工具求解图像熵。

4. 掌握Excel的绘图功能，使用Excel绘制散点图、直方图。

二、实验原理1. 离散信源相关的基本概念、原理和计算公式产生离散信息的信源称为离散信源。

离散信源只能产生有限种符号。

随机事件的自信息量I（xi）为其对应的随机变量xi 出现概率对数的负值。

即： I （xi ）= -log2p ( xi)随机事件X 的平均不确定度（信源熵）H（X）为离散随机变量 xi 出现概率的数学期望，即：2.二元信源的信息熵设信源符号集X={0，1} ，每个符号发生的概率分别为p(0)= p，p(1)= q，p+ q =1，即信源的概率空间为：则该二元信源的信源熵为：H( X) = - plogp–qlogq = - plogp –(1 - p)log(1- p)即：H (p) = - plogp –(1 - p)log(1- p) 其中 0 ≤ p ≤13. MATLAB二维绘图用matlab 中的命令plot( x , y) 就可以自动绘制出二维图来。

例1-2，在matlab 上绘制余弦曲线图，y = cos x ，其中 0 ≤ x ≤2。

>>x =0:0.1:2*pi； %生成横坐标向量，使其为 0，0.1，0.2，…，6.2>>y =cos(x )； %计算余弦向量>>plot(x ,y ) %绘制图形4. MATLAB求解离散信源熵求解信息熵过程：1) 输入一个离散信源，并检查该信源是否是完备集。

绘制二元单符号离散信源熵的变化曲线二元单符号离散信源熵是信息论中的一个重要概念，用于衡量一个二元符号序列中所包含的信息量。

在信息论中，熵表示了一个信源的不确定性，即信源输出的符号的平均信息量。

为了绘制二元单符号离散信源熵的变化曲线，我们需要考虑信源的概率分布。

在二元单符号离散信源中，每个符号的概率可以用一个长度为2的概率分布向量表示。

设P = (p1, p2)为信源的概率分布向量，其中p1和p2分别代表了两个符号的概率。

根据信息论的定义，信源的熵H可以通过以下公式计算：H = -p1*log2(p1) - p2*log2(p2)在绘制曲线之前，我们可以先确定概率分布的范围。

由于概率的范围是[0, 1]，我们可以选择一些典型的概率分布进行计算和绘图。

例如，我们可以选择p1从0到1变化，p2则为1-p1。

这样，我们就可以得到一个关于p1的二元单符号离散信源熵的变化曲线。

另外，我们还可以考虑其他形式的概率分布。

例如，可以选择p1从0到0.5变化，然后p2从0.5到1变化，这样可以得到一条从左上角到右下角的曲线。

通过使用计算机编程语言（如Python）和绘图库（如Matplotlib），我们可以根据上述公式和概率分布范围进行计算和绘制。

具体步骤如下：1. 导入所需的库和模块，如NumPy和Matplotlib。

2. 定义一个函数，用于计算给定概率分布的二元单符号离散信源熵。

该函数将概率分布作为输入，并返回对应的熵值。

3. 定义概率分布的范围，如p1从0到1变化，p2为1-p1。

4. 使用一个循环，遍历概率分布范围中的每个概率值。

5. 对于每个概率值，调用计算熵的函数，并将结果保存到一个列表中。

6. 使用Matplotlib库绘制概率值与熵值的变化曲线。

绘制二元单符号离散信源熵的变化曲线可以帮助我们理解不同概率分布下信源的不确定性变化情况。

这个曲线可以被应用于许多领域，如数据压缩和通信系统设计等。

信息熵曲线
对于一个二进制信源，信息熵曲线描述了不同码长下的平均编码位数与概率分布之间的关系。

在信息论中，熵是衡量信息的不确定性的度量，而信息熵曲线则展示了不同码长下的平均信息量。

信息熵曲线通常呈现出以下特点：
1. 随着码长增加，平均编码位数逐渐减小。

这是由于较长的码
字可以用来表示较低概率的符号，从而节省了编码位数。

2. 当码长趋近于无穷大时，平均编码位数趋近于信息熵。

信息
熵是信源的平均信息量，表示了信源输出的平均不确定性。

3. 信息熵曲线在不同信源分布下可能呈现不同的形状。

对于均
匀分布的信源，信息熵曲线是一条平直的线；而对于不均匀分布的信源，信息熵曲线可能会有起伏或呈现其他形态。

信息熵曲线在信息论和编码理论中具有重要的应用价值。

通过了解信源的概率分布和信息熵曲线，我们可以设计出更高效的编码方案，以实现信息的压缩和传输的优化。

同时，信息熵曲线也有助于我们理解信息传输中的信息量和不确定性，并为数据压缩、通信系统设计等领域提供理论基础。

《信息理论与编码》实验指导书武汉理工大学教材中心2009年7月实验一 绘制二进熵函数曲线一、实验目的1.熟悉 Matlab 工作环境及工具箱；2.掌握 Matlab 绘图函数；3.理解熵函数表达式及其性质。

二、实验内容实验内容与要求内容：用 Matlab 软件绘制二进熵函数曲线。

要求：1. 提前预习实验，认真阅读教材及相应的参考书，熟悉实验原理；2. 遵守实验室规定，实验过程中服从实验室管理人员和实验指导老师的管理；3. 独立完成实验，认真做好实验记录；4. 实验结束后，认真填写实验报告。

知识要点1. 信源熵的概念及其性质。

参照教材及参考书。

2. 二进熵公式：1201,01()1x x X p P X p p = = ⎧⎫⎡⎤= ≤≤⎨⎬⎢⎥ -⎣⎦⎩⎭()()log ()[log (1)log(1)]()i i iH X p x p x p p p p H p =- =-+-- =∑注意：虽然理论上定义 0 · log0 = 0 ，但是，在实际运算时，对数函数 logx 的变量 x 不能取 0 值，而应设置一个系统默认的最小值 eps 。

三、实验总结1、绘制二进熵函数曲线，观察曲线形状。

2、结合熵函数的性质，分析二进熵函数曲线的特点。

四、思考与提高1、绘制三元熵函数曲线，观察曲线形状。

2、结合熵函数的性质，分析三元熵函数曲线的特点。

实验二一般信道容量迭代算法一、实验目的1、熟悉Matlab 工作环境及工具箱；2、掌握一般信道容量迭代算法的原理。

二、实验内容实验内容与要求内容：用Matlab 软件编程实现一般信道容量迭代算法。

要求：1、提前预习实验，认真阅读相应的参考书，熟悉实验原理；2、遵守实验室规定，实验过程中服从实验室管理人员和实验指导老师的管理；3、独立完成实验，认真做好实验记录；4、实验结束后，认真填写实验报告。

知识要点:：1、一般信道容量迭代算法的原理。

参照教材及参考书。

绘制二元单符号离散信源熵的变化曲线
我很抱歉，作为AI语言模型，我无法绘制图表。

但是，我可以为您提供有关二元单符号离散信源熵变化曲线的一些解释。

在通信系统中，熵是评估信息源不确定性的一种量度。

在二元单符号离散信源中，源符号只有两个取值，比如“0”和“1”，并且它们的出现概率是已知的。

二元单符号离散信源的熵可以通过以下公式计算：
H = -p*log_2(p) - (1-p)*log_2(1-p)
其中，p是“0”符号出现的概率，1-p是“1”符号出现的概率。

这个公式可以用来计算任何二元单符号离散信源的熵。

在二元单符号离散信源中，熵的最大值为1比特（当两个符号的出现概率相等时），最小值为0比特（当只有一个符号出现时）。

绘制二元单符号离散信源熵的变化曲线可以通过绘制不同概率值下的熵值来实现。

例如，可以绘制p从0到1变化时熵的变化曲线，以显示不同概率值下的熵值。

信息论实验信息熵函数的计算信息熵是信息论中的一个重要概念，用于度量信息的不确定性或者随机性。

它可以描述信息源的平均信息量，也可以用于衡量编码的效率。

本文将介绍信息熵的计算方法，并通过实例来说明如何计算信息熵。

首先，我们需要了解如何计算一个离散概率分布的信息熵。

对于一个离散概率分布，它可以由一个概率密度函数来描述，其中每个事件的概率都是非负的，并且所有事件的概率之和为1、令p(x)表示事件x的概率，则该分布的信息熵H(X)可以通过以下公式计算：H(X) = -∑ [p(x) * log₂(p(x))]其中，∑表示对所有事件求和。

log₂表示以2为底的对数函数。

该公式的物理意义是，对于每个事件x，我们将其概率p(x)与以2为底的对数计算结果相乘，并将所有结果相加，得到的值即为信息熵。

为了更好地理解信息熵的计算过程，我们可以通过一个实例来进行展示。

假设有一个硬币的抛掷实验，在该实验中，正面向上和反面向上的概率分别为p(正)=1/2和p(反)=1/2、则该实验的信息熵可以使用以下公式进行计算：H(硬币实验) = -[1/2 * log₂(1/2) + 1/2 * log₂(1/2)]首先，我们需要计算log₂(1/2)的值。

根据对数的定义，我们可以将此式化简为：H(硬币实验)=-[1/2*(-1)+1/2*(-1)]=-(-1/2+1/2)=-0正如我们所期望的，在这个实验中，硬币是确定性的，即每次抛掷都会出现正面或反面。

因此，硬币实验的信息熵为0，意味着在该实验中我们不需要任何信息来描述结果。

接下来，我们来计算一个更复杂的实例，假设有一组骰子的抛掷实验，其中每个面出现的概率分别为p(1)=1/6，p(2)=1/6，p(3)=1/6，p(4)=1/6，p(5)=1/6，p(6)=1/6、我们可以使用以上公式计算该实验的信息熵：H(骰子实验) = -[1/6 * log₂(1/6) + 1/6 * log₂(1/6) + 1/6 *log₂(1/6) + 1/6 * log₂(1/6) + 1/6 * log₂(1/6) + 1/6 * log₂(1/6)]首先，我们需要计算log₂(1/6)的值。

《信息论与编码》实验1 离散信源熵实验一、实验目的熟悉工作环境及Matlab 软件 掌握绘图函数的运用 理解熵函数表达式及其性质 二、实验原理信息熵自信息量是针对信源的单个符号而言的，而符号是随机发生的，因此单个符号的不确定性不足于代表信源的不确定性性质，为此，可对所有符号的自信息量进行统计平均，从而得到平均不确定性。

熵的表示[]()()()()()log ()i i i i iiH X E I X p x I x p x p x ===-∑∑注意的问题熵是自信息量的统计平均，因此单位与自信息量的单位相同，与熵公式中所用对数的底有关：bit/符号、nat/符号、dit/符号、r 进制单位/符号。

特殊公式：某个pk=0时，0log0=0 (0lim log 0→=x x x )在熵的定义中忽略零概率事件。

平均互信息平均互信息量(I(X;Y))是统计平均意义下的先验不确定性与后验不确定性之 差，是互信息量的统计平均:()()()()()();/;/=-=-I X Y H X H X Y I Y X H Y H Y X三、实验内容1.用 Matlab 软件绘制二进熵函数曲线。

二元信源1011⎛⎫⎛⎫=≤≤ ⎪ ⎪-⎝⎭⎝⎭X p P p p二元信源的熵为(,1)log (1)log(1)-=----H p p p p p p绘制当p 从0到1之间变化时的二元信源的信息熵曲线.Matlab 程序： p=0.00001:0.001:1;h=-p.*log2(p)-(1-p).*log2(1-p); plot(p,h);title('二进熵函数曲线'); ylabel('H(p,1-p)') 2．绘制三元信源的熵三元信源1231212120,11()⎛⎫⎛⎫=≤≤ ⎪⎪--⎝⎭⎝⎭x x x X p p p p p p P x三元信源的熵为111111221212(,,1)log log (1)log(1)--=-------H p p p p p p p p p p p p 绘制当12,p p 从0到1之间变化时的三元信源的信息熵曲线.3．绘制平均互信息量图形对于二元对称信道的输入概率空间为0,1(),1ωωω⎡⎤⎡⎤=⎢⎥⎢⎥=-⎣⎦⎣⎦X P x平均互信息：根据：1()()(|)1===∑rj i j i i P b P a P b a所以：21(0)()(0|)(0)(0|0)(1)(0|1)ωω====+=+∑i i i P y P a P a P P P P p p21(1)()(0|)(0)(1|0)(1)(1|1)ωω====+=+∑i i i P y P a P a P P P P p p1111(;)()()()log ()log [log log ]()()()ωωωωωωωωωω=-=+++-+++=+-I X Y H Y H p p p p p p p p p p p p pH p p H p 绘制当,ωp 从0到1之间变化时的平均互信息熵曲线.(;)()(/)=-I X Y H Y H Y X 1()()(/)log(/)=-∑∑XYH Y P x P y x P y x 11()()[loglog ]=-+∑XH Y P x p p p p11()[loglog ]()()=-+=-H Y p p H Y H p p p四、实验报告要求简述实验目的；简述实验原理；分别绘制二元信源和三元信源的熵及平均互信息量图形。

《信息论与编码》实验1 绘制熵函数曲线一、实验目的熟悉工作环境及Matlab 软件 掌握绘图函数的运用 理解熵函数表达式及其性质 二、实验原理信息熵自信息量是针对信源的单个符号而言的，而符号是随机发生的，因此单个符号的不确定性不足于代表信源的不确定性性质，为此，可对所有符号的自信息量进行统计平均，从而得到平均不确定性。

熵的表示[]()()()()()log ()i i i i iiH X E I X p x I x p x p x ===-∑∑注意的问题熵是自信息量的统计平均，因此单位与自信息量的单位相同，与熵公式中所用对数的底有关：bit/符号、nat/符号、dit/符号、r 进制单位/符号。

特殊公式：某个pk=0时，0log0=0 (0lim log 0→=x x x )在熵的定义中忽略零概率事件。

平均互信息平均互信息量(I(X;Y))是统计平均意义下的先验不确定性与后验不确定性之 差，是互信息量的统计平均:,,(/)()(;)()(/)log()(/)()log()(;)===∑∑∑i j j j j i j ji ji i j i j i ji p x y p y I X y p y p x y p x p x y p x y p x I X Y()()()()()();/;/=-=-I X Y H X H X Y I Y X H Y H Y X三、实验内容1.用 Matlab 软件绘制二进熵函数曲线。

二元信源1011⎛⎫⎛⎫=≤≤ ⎪ ⎪-⎝⎭⎝⎭X p P p p二元信源的熵为(,1)log (1)log(1)-=----H p p p p p p绘制当p 从0到1之间变化时的二元信源的信息熵曲线.Matlab 程序： p=0.00001:0.001:1;h=-p.*log2(p)-(1-p).*log2(1-p); plot(p,h);title('二进熵函数曲线'); ylabel('H(p,1-p)') 2．绘制三元信源的熵三元信源1231212120,11()⎛⎫⎛⎫=≤≤ ⎪⎪--⎝⎭⎝⎭x x x X p p p p p p P x三元信源的熵为111111221212(,,1)log log (1)log(1)--=-------H p p p p p p p p p p p p 绘制当12,p p 从0到1之间变化时的三元信源的信息熵曲线.[p1,p2]=meshgrid(0.00001:0.001:1);h=-p1.*log2(p1)-p2.*log2(p2)-(1-p1-p2) .*log2(1-p1-p2); meshc(p1,p2,h); title('三进熵函数曲线');3．绘制平均互信息量图形对于二元对称信道的输入概率空间为0,1(),1ωωω⎡⎤⎡⎤=⎢⎥⎢⎥=-⎣⎦⎣⎦X P x平均互信息：根据：1()()(|)1===∑rj i j i i P b P a P b a所以：21(0)()(0|)(0)(0|0)(1)(0|1)ωω====+=+∑i i i P y P a P a P P P P p p(;)()(/)=-I X Y H Y H Y X 1()()(/)log(/)=-∑∑XYH Y P x P y x P y x 11()()[loglog ]=-+∑XH Y P x p p p p11()[loglog ]()()=-+=-H Y p p H Y H p p p21(1)()(0|)(0)(1|0)(1)(1|1)ωω====+=+∑i i i P y P a P a P P P P p p1111(;)()()()log ()log [log log ]()()()ωωωωωωωωωω=-=+++-+++=+-I X Y H Y H p p p p p p p p p p p p pH p p H p 绘制当,ωp 从0到1之间变化时的平均互信息熵曲线.[w,p] = meshgrid(0.00001:0.001:1);h=-(w.*(1-p)+(1-w).*p).*log2(w.*(1-p)+(1-w).*p)-(w.*p+(1-w).*(1-p)).*log2(w.*p+(1-w).*(1-p))+(p.*log2(p)+(1-p).*log2(1-p)) meshz(w,p,h) title('互信息'); ylabel('H(w,p,h)')四、实验报告要求 简述实验目的； 简述实验原理；分别绘制二元信源和三元信源的熵及平均互信息量图形。

信息论实验报告一实验一1、实验内容（1）英文信源由26个英文字母和1个空格组成，假定字符从中等概选取，那么一条100个字符的信息提供的信息量为多少？（2）若将27个字符分为三类，9个出现概率占2/7,13个出现概率占4/7，5个出现占1/7，而每类中符号出现等概，求该字符信源的信息熵。

2、设计思路及步骤I=log2P iH(X)=∑−P i log2Pii26个字母和一个空格，因等概选取可以先求得其中一个字符的信息量，通过扩展实现计算100个字符的信息量。

对于第二问，可以将字符分为三组，又因每组字符的概率相等，因此可以求出每组每一个字符的概率。

通过信息熵的定义可以求出结果。

3、程序代码及调试过程4、出现的问题及解决方法（1）没有看清题目要求，漏掉空格（2）是否可以将三组字符看作整体5、结果及说明通过实验结果可以看出100个字符的信息量，以及字符信源熵。

比较H2与H3可以看出，并不可以简单的将三组数据看作整体。

6、实验总结本实验通过计算多字符的信息量与分组信息熵，让我们加深了信息论中有关信息量与信息熵的概念与定义，同时也让我们熟悉了matlab的基本操作。

实验二1、实验内容绘制二进制信源熵函数曲线。

2、设计思路及步骤根据信源熵的定义以及公式计算出熵，通过matlab的矩阵运算计算出熵数组，然后通过plot函数画出图像。

3、程序代码及调试过程4、出现的问题及解决方法矩阵乘法出错，，需要使用matlab中的点乘5、结果及说明信源熵的图像为凸形曲线，熵在信源等概分布时取最大值，先增大再减小。

6、实验总结本实验通过对信源熵的作图让我们熟悉了matlab中图像生成函数，以及矩阵运算。

实验三，四1、实验内容求信源的熵和其二次、三次扩展信源的熵。

离散二维平稳信源的概率空间：求：(a)信源符号之间无依赖性时，信源X的信息熵H(X)；(b)信源符号有依赖性时的条件熵H(X2｜X1)；(c)联合熵H(X1X2)；(d)根据以上三者之间的关系，验证结果的正确性。

实验报告实验名称关于信源熵的实验课程名称信息论与编码姓名成绩班级电子信息1102学号日期2013.11.22地点综合实验楼实验一关于信源熵的实验一、实验目的1. 掌握离散信源熵的原理和计算方法。

2. 熟悉matlab 软件的基本操作，练习使用matlab 求解信源的信息熵。

3. 自学图像熵的相关概念，并应用所学知识，使用matlab 或其他开发工具求解图像熵。

4. 掌握Excel的绘图功能，使用Excel绘制散点图、直方图。

二、实验原理1. 离散信源相关的基本概念、原理和计算公式产生离散信息的信源称为离散信源。

离散信源只能产生有限种符号。

随机事件的自信息量I（xi）为其对应的随机变量xi 出现概率对数的负值。

即： I （xi ）= -log2p ( xi)随机事件X 的平均不确定度（信源熵）H（X）为离散随机变量 xi 出现概率的数学期望，即：2.二元信源的信息熵设信源符号集X={0，1} ，每个符号发生的概率分别为p(0)= p，p(1)= q，p+ q =1，即信源的概率空间为：则该二元信源的信源熵为：H( X) = - plogp–qlogq = - plogp –(1 - p)log(1- p)即：H (p) = - plogp –(1 - p)log(1- p) 其中 0 ≤ p ≤13. MATLAB二维绘图用matlab 中的命令plot( x , y) 就可以自动绘制出二维图来。

例1-2，在matlab 上绘制余弦曲线图，y = cos x ，其中 0 ≤ x ≤2 。

>>x =0:0.1:2*pi； %生成横坐标向量，使其为 0，0.1，0.2，…，6.2>>y =cos(x )； %计算余弦向量>>plot(x ,y ) %绘制图形4. MATLAB求解离散信源熵求解信息熵过程：1) 输入一个离散信源，并检查该信源是否是完备集。

2) 去除信源中符号分布概率为零的元素。