实验一 绘制二进制熵函数曲线

验证最大离散熵定理使用matlab 绘制二进制信源的熵随
概率变化的曲线
摘要：
I.引言
- 介绍最大离散熵定理
- 熵的定义和计算方法
II.验证最大离散熵定理
- 使用matlab 进行验证
- 绘制二进制信源的熵随概率变化的曲线
III.结论
- 总结最大离散熵定理的验证过程
- 分析熵随概率变化的趋势
正文：
I.引言
熵是信息论中一个重要的概念，用于衡量信息的不确定性或混乱程度。

最大离散熵定理是信息论中的一个重要定理，它指出在一定条件下，离散信源的最大熵分布是概率分布。

本文将通过使用matlab 绘制二进制信源的熵随概率变化的曲线，来验证最大离散熵定理。

II.验证最大离散熵定理
首先，我们需要使用matlab 进行验证。

matlab 是一种功能强大的数学软件，可以方便地进行各种数学计算和图形绘制。

我们可以使用matlab 编写
代码，计算二进制信源的熵，并绘制熵随概率变化的曲线。

接下来，我们绘制二进制信源的熵随概率变化的曲线。

通过观察曲线，我们可以发现熵随概率变化的趋势。

当概率分布接近最大熵分布时，熵值达到最小；当概率分布远离最大熵分布时，熵值增大。

III.结论
通过使用matlab 绘制二进制信源的熵随概率变化的曲线，我们验证了最大离散熵定理。

我们发现，当概率分布接近最大熵分布时，熵值达到最小；当概率分布远离最大熵分布时，熵值增大。

熵与热力学第二定律热力学是一门研究能量转化和传递的学科，而熵则是热力学的一个重要概念。

熵是描述系统无序度的物理量，也可以理解为系统的混乱程度。

热力学第二定律则给出了一个有关熵变化的基本规律，对于理解自然界中各种现象都具有重要意义。

首先，我们来了解一下熵的概念。

熵最初由德国物理学家鲁道夫·克劳修斯在19世纪提出，用以描述能量在转化和传递过程中的无序度。

熵的单位是焦耳/开尔文（J/K）。

在热力学中，我们通常用S表示熵。

对于一个封闭系统来说，其熵的变化可以通过以下公式表示：ΔS = Q/T其中，ΔS表示熵变化，ΔQ表示系统所吸收或释放的热量，T表示温度。

从这个公式可以看出，熵的变化与温度和能量的传递有着密切的关系。

进而，熵的变化与热力学第二定律密切相关。

热力学第二定律是热力学中的一条基本定律，它通过熵的变化来描述了自然界中一种普遍存在的变化趋势：任何一个孤立系统总是朝着熵增的方向进行变化。

热力学第二定律可以用以下两种表述方式进行阐述：1. 克劳修斯表述：不可能自发地将热量从低温物体传递到高温物体，而不做额外的功。

这个表述是从能量守恒的角度上来看待熵增的原理。

2. 开尔文表述：不可能从单一热源吸热，使之完全转化为有效功而不产生其他变化。

这个表述则是从热力学循环的角度上来看待熵增的原理。

无论是克劳修斯表述还是开尔文表述，都体现了一个重要的观点：自然界的变化总是朝着更高的熵方向发展，即朝着能量的分散和无序性的增加。

这进一步表明了熵在物理系统中的重要性。

熵的概念不仅在热力学领域有着广泛的应用，还可以引申到其他领域。

在信息论中，熵被用来度量信息的不确定性，即信息的无序度。

熵在信息论中与热力学中的熵有着数学上的相似性，都是描述系统无序度的物理量。

这种类比为信息论提供了一个重要的工具，使之能够研究信息的流动和传递。

总结起来，熵是热力学中一个重要的概念，用于描述系统的无序度。

熵的变化与热力学第二定律密切相关，从而给出了自然界中的一种普遍存在的变化趋势。

信息论与编码实习报告指导老师：姓名：班级：学号：实验一绘制二进制熵函数曲线一、内容用Matlab软件制作二进制熵函数曲线。

二、要求1.掌握Matlab绘图函数2.掌握、理解熵函数表达式及其性质三．Matlab程序及实验结果1.matlab程序：p=0.00001:0.001:1;h=-p.*log2(p)-(1-p).*log2(1-p);plot(p,h);title('二进制熵函数曲线');ylabel('H(P,1-P)')2.运行结果：结果分析：从图中可已看出当p=0.5即信源等概时熵取得最大值。

实验二一般信道容量迭代算法一、内容编程实现一般信道容量迭代算法。

伪代码见教材。

二、要求1.掌握一般信道容量迭代算法的原理2.掌握MA TLAB开发环境的使用（尤其是程序调试技巧），或者使用C语言完成程序设计三．Matlab程序及运行结果1.matlab程序：clc;clear all;N = input('输入信源符号X的个数N=');M = input('输入信源符号Y的个数M=');p_yx=zeros(N,M); %程序设计需要信道矩阵初始化为零fprintf('输入信道矩阵概率\n')for i=1:Nfor j=1:Mp_yx(i,j)=input('p_yx='); %输入信道矩阵概率if p_yx(i)<0error('不符合概率分布')endendEndfor i=1:N %各行概率累加求和s(i)=0;for j=1:Ms(i)=s(i)+p_yx(i,j);endendfor i=1:N %判断是否符合概率分布if (s(i)<=0.999999||s(i)>=1.000001)error('不符合概率分布')endendb=input('输入迭代精度：'); %输入迭代精度for i=1:Np(i)=1.0/N; %取初始概率为均匀分布endfor j=1:M %计算Q(j)Q(j)=0;for i=1:NQ(j)=Q(j)+p(i)*p_yx(i,j);endendfor i=1:N %计算F(i) f(i)=0;for j=1:Mif(p_yx(i,j)==0)f(i)=f(i)+0;elsef(i)=f(i)+p_yx(i,j)*log(p_yx(i,j)/Q(j));endendF(i)=exp(f(i));endx=0;for i=1:N %计算x x=x+p(i)*F(i);endIL=log2(x); %计算ILIU=log2(max(F)); %计算IUn=1;while((IU-IL)>=b) %迭代计算for i=1:Np(i)=p(i)*F(i)/x; %重新赋值p(i) endfor j=1:M %计算Q(j) Q(j)=0;for i=1:NQ(j)=Q(j)+p(i)*p_yx(i,j);endendfor i=1:N %计算F(i) f(i)=0;for j=1:Mif(p_yx(i,j)==0)f(i)=f(i)+0;elsef(i)=f(i)+p_yx(i,j)*log(p_yx(i,j)/Q(j));endEndF(i)=exp(f(i));endx=0;for i=1:N %计算xx=x+p(i)*F(i);endIL=log2(x); %计算ILIU=log2(max(F)); %计算IUn=n+1;endfprintf('信道矩阵为：\n');disp(p_yx);fprintf('迭代次数n=%d\n',n);fprintf('信道容量C=%f比特/符号',IL);2.运行结果为：若输入信道矩阵为：0.8500 0.15000.7500 0.2500则运行结果为：实验四线性分组码的信道编码和译码一、内容编程实现线性分组码（6,2）重复码的信道编码和译码。

2.2 熵函数的性质熵函数•H(P)是概率矢量P 的函数，称为熵函数。

•表示方法：–用H(x)表示随机变量x 的熵；–用H(P)或H(p 1, p 2 , …, p q )表示概率矢量为P = (p 1, p 2, …, p q )的q 个符号信源的熵。

–若当q =2 时，因为p 1+p 2 = 1, 所以将两个符号的熵函数写成H(p 1)或H(p 2)。

•熵函数H(P)是一种特殊函数，具有以下性质。

2、确定性：H(1,0)=H(1,0,0)=H(1,0,0…,0)=0•性质说明：这个信源是一个确知信源，其熵等于零。

3、非负性：H(P) ≥0•说明：–这种非负性合适于离散信源的熵，对连续信源来说这一性质并不存在。

以后可看到在相对熵的概念下，可能出现负值。

非负性体现信息是非负的。

4、扩展性•性质说明：信源的取值数增多时，若这些取值对应的概率很小(接近于零)，则信源的熵不变。

),...,,(),,...,,(lim 212110q q q q p p p H p p p H =−+→εεε),,,(log 211q q qi i i p p p H p p ⋅⋅⋅=−=∑=}log )log()(log {lim 110εεεεε∑−=→−−−−−=q i q q i i p p p p 所以，上式成立),,,,(lim 2110εεε−⋅⋅⋅+→q q p p p H 因为5、可加性()()(/)()()(/)(|)(|)(/)H X Y H X H Y X H X Y H Y H X Y H X Y Z H X Z H Y X Z =+=+=+统计独立信源X 和Y 的联合信源的熵等于信源X 和Y 各自的熵之和。

H(XY) = H(X)+ H(Y)可加性是熵函数的一个重要特性，正因具有可加性，才使熵函数的形式是唯一的。

222()log ()()log (/)log ()()(/)()(/):()()(/)(/)1i j i i j j i ijiji i j i j yp x y q x p x y p y x q x p x y H Y X H X H Y X p xy q x p y x p y x =−−⎡⎤=−+⎢⎥⎣⎦=+==∑∑∑∑∑∑∑利用可加性证明22()()log ()()log [()(/)]i j i j iji j i j i ijH XY p x y p x y p x y q x p y x =−=−∑∑∑∑同理=+H XY Z H X Z H Y XZ(|)(|)(/)复习链式法则()()()|H X Y HX HYX=+()()()()()()121213*********...//.../.../...n n n ni i i H X X X H X H X X H X X X H X X X X H X X X X −−==++++=∑复习熵函数的性质H(p 1,p 2,…, p n )对称性非负性极值性连续性扩展性可加性()()()()()()()()()1222122211111211122112221,,...,,...,,...,,,.,,...,,,..,,,...,||n nn n n n n n m nn i i x m i im i Xm q H q p q p q p H q q q q H p p p H XY H X H Y X p q q q p q p H X q x H q x p Y q p =∈=+=+=+∑∑定理：1. H(X/Y ) ≤H (X )2. H (XY ) ≤H (X )+H (Y )证明：222(/)((/)()log (/)()/)(/)()log ()log ()i j i j ijj ji j i j i j i j j i i p x y p x y p H X Y p x y p x y p y p y H p x X x y =−⎡⎤=−⎢⎥⎣⎦⎡⎤≤−⎢⎥⎣⎦=∑∑∑∑∑∑()()/j H X y H X 与大小比较?\1211/81/825/81/8x y ()()/j H X y H X 与大小比较?定义概率矢量满足仅K-1个分量独立。

实验一绘制二元熵函数曲线实验报告一、实验目的1.熟悉MATLAB工作环境及工具箱2.理解熵函数表达式及其性质二、实验内容用MATLAB软件编程绘制二元熵函数曲线三、实验过程1.复习二元熵函数，理解二元信源的熵H(w)=-wlogw-(1-w)log(1-w)表达式。

2.熟悉MATLAB软件。

1)MATLAB的操作界面MATLAB操作界面主要分为：任务栏、命令窗、命令历史窗、当前目录浏览器、工作空间浏览器及一个“启动按钮”。

任务栏：位于软件的正上方。

各个菜单分别为：文件、编辑、视窗、调试、桌面、窗体、帮助这几个窗口，点击每个窗口可以选择需要的操作。

命令窗(Command Window)：位于软件操作界面的右侧。

在此窗口里，可以输入各种指令、函数、变量表达式并进行各种操作。

该窗口用于输入命令并显示除图形以外的所有执行结果。

窗口中的“>>”为命令提示符，直接在其后面输入命令并按下回车键后，会出现计算结果在命令后面。

命令历史窗(Command History)：位于软件操作界面的左下方。

这个窗口记录了命令窗口已经运行过的所有命令（指令、函数等），允许用户对这些命令进行选择、复制。

2)MATLAB的函数绘制二维图形最常用的就是plot函数，调用plot函数的三种形式：plot(x)、plot(x,y)、plot(x,y,’r:x’)。

还有就是如何添加横坐标和纵坐标标题的命令语句。

3.实验程序。

w=0.000001:0.0001:0.999999999 %定义w的取值范围y=-w.*log2(w)-(1-w).*log2(1-w) %定义二元熵函数的表达式plot(w,y,'r') %画出二元熵函数的曲线图xlabel('w') %x轴的名称ylabel('H(w)') %y轴的名称grid on %给图形加上网格title('二元熵函数H(w)') %函数曲线的名称运行结果如下：四、实验结果分析从图中可以看出熵函数的一些性质，如果二元信源的输出概率是1或0（即二元信源的输出是确定的），则该信源不提供任何信息。

实验报告实验名称关于信源熵的实验课程名称信息论与编码姓名xxx 成绩90班级电子信息1102学号0909112204日期2013.11.22地点综合实验楼实验一MATLAB完成离散信源熵的计算一、实验目的1. 通过信息论与编码学理论，掌握离散信源熵的原理和计算方法。

2. 熟悉matlab 软件的基本操作和基本工具以及使用，掌握利用matlab求解信息熵的原理和方法。

3. 练习使用matlab 求解信源的信息熵。

自学图像熵的相关概念，并应用所学知识，使用matlab 或其他开发工具求解图像熵。

4. 掌握Excel的绘图功能，使用Excel绘制散点图、直方图。

二、实验原理1.离散信源的基本概念、原理和信源熵相关计算公式产生离散信息的信源称为离散信源。

离散信源只能产生有限种符号，因此离散离散消息可以看成是一种有限个状态的随机序列。

随机事件的自信息量I（xi）为其对应的随机变量xi 出现概率对数的负值。

即： I （xi ）= -log2p ( xi)随机事件X 的平均不确定度（信源熵）H（X）为离散随机变量 xi 出现概率的数学期望，即：2.离散二元信源的信息熵设信源符号集X={0，1} ，每个符号发生的概率分别为p(0)= p，p(1)= q，p+ q =1，即信源的概率空间为：则该二元信源的信源熵为：H(X) = - p*logp–q*logq = - p*logp –(1 - p)*log(1- p)即：H (p) = - p*logp –(1 - p)*log(1- p) 其中 0 ≤ p ≤13.MATLAB二维绘图用matlab 中的命令plot( x , y) 就可以自动绘制出二维图来。

例：在matlab 上绘制余弦曲线图，y = cos x ，其中 0 ≤ x ≤ 2 。

>>x =0:0.1:2*pi； %生成横坐标向量，使其为 0，0.1，0.2，…，6.2>>y =cos(x )； %计算余弦向量>>plot(x ,y ) %绘制图形4.MATLAB求解离散信源熵求解信息熵过程：1) 输入一个离散信源，并检查该信源是否是完备集。

云南大学数学与统计学实验教学中心实验报告一、实验目的：熟悉信息论中常用的各种熵的计算。

二、实验内容：1. 给定二维分布函数，计算联合熵H(x,y)、条件熵H(x|y)、互信息I(x;y)、各变量的熵H(x),H(y)。

可选择课本例题2.2.1作为程序测试用例。

2. 自行设定原始数据（如一段文本、一幅图像、一个数据表等），按照频率计算符号的分布，进而计算有关的熵。

三、实验环境MATLAB 、Win7四、实验过程（请学生认真填写）：实验过程、结果以及相应的解释：1. 实验过程一）第一大题：A、通过对联合熵H(x,y)、条件熵H(x|y)、互信息I(x;y)、各变量的熵H(x),H(y)各变量之间以及其自身的求值公式以及X、Y的联合分布，便可以将各值求解出来。

B、具体代码如下：clcclearp=[1/8 1/16 1/32 1/32;1/16 1/8 1/32 1/32;1/16 1/16 1/16 1/16;1/4 0 0 0];py=0;px=0;H_xy = 0;H_x_y =[0 0 0 0];H_y_x =[0 0 0 0];sum1 = 0;sum2 = 0;format rat%%%-------求I(X;Y)-----for i=1:1:4for j=1:1:4if(p(i,j)==0)p(i,j)=eps;endsum1 = sum1 + p(i,j)*log2(1/(p(i,j)));endH_xy = H_xy + sum1;sum1=0;endfprintf(2,'联合熵I(X;Y)：') ;H_xy%%%-------求H（X|Y)、H（Y|X)、H(X)、H(Y)--------%求出y的边沿分布%求出x的边沿分布for i=1:4for j=1:4sum1 = sum1 + p(i,j);sum2 = sum2 + p(j,i);endpy(i)= sum1; %py是关于x的边缘分布px(i)= sum2; %px是关于x的边缘分布sum1 = 0;sum2 = 0;end%求出在 Y=i时，X的分布情况%以及求出在 X=i时，Y的分布情况for i=1:4for j=1:4Hy(i,j)= p(i,j)/py(i);Hx(i,j)= p(j,i)/px(i);endend%求H(x|y=i)%求H(y|x=i)for i=1:4for j=1:4H_x_y(i) = H_x_y(i) + Hy(i,j)*log2(1/Hy(i,j)); H_y_x(i) = H_y_x(i) + Hx(i,j)*log2(1/Hx(i,j));endendA=H_x_y.*py;B=H_y_x.*px;fprintf(2,'条件熵H(X|Y)：') ;sum(A,2)fprintf(2,'条件熵H(Y|X)：') ;sum(B,2)fprintf(2,'熵H(X)：') ;H_xy-sum(A,2)fprintf(2,'熵H(Y)：') ;H_xy-sum(B,2)C、结果如下图：二）第二大题A、根据题意，选取了用一段文本来计算他的熵。

信息论实验报告一实验一1、实验内容（1）英文信源由26个英文字母和1个空格组成，假定字符从中等概选取，那么一条100个字符的信息提供的信息量为多少？（2）若将27个字符分为三类，9个出现概率占2/7,13个出现概率占4/7，5个出现占1/7，而每类中符号出现等概，求该字符信源的信息熵。

2、设计思路及步骤I=log2P iH(X)=∑−P i log2Pii26个字母和一个空格，因等概选取可以先求得其中一个字符的信息量，通过扩展实现计算100个字符的信息量。

对于第二问，可以将字符分为三组，又因每组字符的概率相等，因此可以求出每组每一个字符的概率。

通过信息熵的定义可以求出结果。

3、程序代码及调试过程4、出现的问题及解决方法（1）没有看清题目要求，漏掉空格（2）是否可以将三组字符看作整体5、结果及说明通过实验结果可以看出100个字符的信息量，以及字符信源熵。

比较H2与H3可以看出，并不可以简单的将三组数据看作整体。

6、实验总结本实验通过计算多字符的信息量与分组信息熵，让我们加深了信息论中有关信息量与信息熵的概念与定义，同时也让我们熟悉了matlab的基本操作。

实验二1、实验内容绘制二进制信源熵函数曲线。

2、设计思路及步骤根据信源熵的定义以及公式计算出熵，通过matlab的矩阵运算计算出熵数组，然后通过plot函数画出图像。

3、程序代码及调试过程4、出现的问题及解决方法矩阵乘法出错，，需要使用matlab中的点乘5、结果及说明信源熵的图像为凸形曲线，熵在信源等概分布时取最大值，先增大再减小。

6、实验总结本实验通过对信源熵的作图让我们熟悉了matlab中图像生成函数，以及矩阵运算。

实验三，四1、实验内容求信源的熵和其二次、三次扩展信源的熵。

离散二维平稳信源的概率空间：求：(a)信源符号之间无依赖性时，信源X的信息熵H(X)；(b)信源符号有依赖性时的条件熵H(X2｜X1)；(c)联合熵H(X1X2)；(d)根据以上三者之间的关系，验证结果的正确性。

实验一 绘制二进熵函数曲线（2个学时）一、实验目的：1. 掌握Excel 的数据填充、公式运算和图表制作2. 掌握Matlab 绘图函数3. 掌握、理解熵函数表达式及其性质二、实验要求：1. 提前预习实验，认真阅读实验原理以及相应的参考书。

2. 在实验报告中给出二进制熵函数曲线图三、实验原理：1. Excel 的图表功能2. 信源熵的概念及性质()()[]()[]())(1)(1 .log )( .)( 1log 1log )(log )()(10 , 110)(21Q H P H Q P H b nX H a p H p p p p x p x p X H p p p x x X P X i i i λλλλ-+≥-+≤=--+-=-=≤≤⎩⎨⎧⎭⎬⎫-===⎥⎦⎤⎢⎣⎡∑单位为 比特/符号 或 比特/符号序列。

当某一符号xi 的概率p(xi)为零时，p(xi)log p(xi) 在熵公式中无意义，为此规定这时的 p(xi)log p(xi) 也为零。

当信源X 中只含有一个符号x 时，必有p(x)=1，此时信源熵H （X ）为零。

四、实验内容：用Excel 和Matlab 软件制作二进熵函数曲线。

根据曲线说明信源熵的物理意义。

（一） Excel具体步骤如下：1、启动Excel 应用程序。

2、准备一组数据p 。

在Excel 的一个工作表的A 列（或其它列）输入一组p ，取步长为0.01，从0至100产生101个p （利用Excel 填充功能）。

3、取定对数底c，在B列计算H(x) ,注意对p=0与p=1两处，在B列对应位置直接输入0。

Excel中提供了三种对数函数LN(x),LOG10(x)和LOG(x,c)，其中LN(x)是求自然对数，LOG10(x)是求以10为底的对数，LOG(x,c)表示求对数。

选用c=2,则应用函数LOG(x,2)。

在单元格B2中输入公式：=-A2*LOG(A2,2)-(1-A2)*LOG(1-A2,2)双击B2的填充柄，即可完成H(p)的计算。

信息论与编码实验1 绘制二进熵函数曲线、串联信道容量曲线学院:物理与电子学院班级:电信1105班姓名:学号:*********一、实验内容用Excel 或Matlab 软件制作二进熵函数曲线、串联信道容量曲线。

二、实验目的1. 掌握Excel 的数据填充、公式运算和图表制作2. 掌握Matlab 绘图函数3. 掌握、理解熵函数表达式及其性质三、实验要求1. 提前预习实验，认真阅读实验原理以及相应的参考书。

2. 认真高效的完成实验，实验中服从实验室管理人员以及实验指导老师的管理。

3. 认真填写实验报告。

四、实验原理1. Excel 的图表功能（略）2. 信源熵的概念及性质()()[]()[]())(1)(1 .log )( .)( 1log 1log )(log )()(10 , 110)(21Q H P H Q P H b nX H a p H p p p p x p x p X H p p p x x X P X i i i λλλλ-+≥-+≤=--+-=-=≤≤⎩⎨⎧⎭⎬⎫-===⎥⎦⎤⎢⎣⎡∑3. 串联信道的信道容量（图 1）。

图 1 三个二元对称信道（BSC ）的串联p -1 p -1pp0 1 p -1 p -1 p p 0 1 p -1 p -1 p p 0 1 1 0I II III五、实验步骤：1.信息熵函数H.m文件function y = H(p)y=-(p.*log(p)+(1-p).*log(1-p))./log(2);end2 matlab命令p=0.01:0.01:0.99;y1=H(p);y2=H(2.*p.*(1-p));y3=H(p.^3+3.*p.*(1-p).*(1-p));c1=1-y1;c2=1-y2;c3=1-y3;subplot(3,1,1);plot(p,c1);xlabel('p');ylabel('C1');subplot(3,1,2);plot(p,c2);xlabel('p');ylabel('C2');subplot(3,1,3);plot(p,c3);xlabel('p');ylabel('C3');六、实验心得通过本次信息与编码实验，了解了二进制上函数的曲线以及串联信道容量曲线，使自己对书上知识点的把握更加直观，收获很大，更深刻的了解了曲线产生的原理，比书上了解的更加具体，使自己受益匪浅，增加了学习兴趣。

试绘制单个样本的二分类交叉熵损失函数曲线
二分类交叉熵损失函数是用于衡量二分类问题中模型预测结果与实际
标签之间的差异的一种常用指标。

它通常用于训练神经网络模型，并
且在深度学习领域得到了广泛应用。

下面我们来绘制单个样本的二分类交叉熵损失函数曲线。

假设我们有
一个样本，其真实标签为1，模型预测输出为y。

首先，我们需要定义二分类交叉熵损失函数的公式：
$$L(y,t) = -t \log(y) - (1-t) \log(1-y)$$
其中，y表示模型预测输出的概率值，t表示真实标签的取值（0或1）。

当t=1时，第一项起作用；当t=0时，第二项起作用。

接下来，我们将该公式代入上述样本中，并固定t=1不变。

假设我们
分别取y从0到1之间的100个值，并计算对应的损失函数值L(y,1)，最终得到100个点。

最后，将这些点依次连接起来就可以得到单个样本的二分类交叉熵损
失函数曲线了。

具体绘制方法可以使用Python中的Matplotlib库或
其他相应工具进行实现。

总之，在深度学习领域中，二分类交叉熵损失函数是一种非常重要的指标之一，它可以帮助我们评估模型在二分类问题中的表现，并指导我们进行模型的优化和改进。

信息与通信工程学院实验报告（软件仿真性实验）课程名称：信息论基础实验题目：绘制信源熵函数曲线指导教师：毛煜茹班级：15050541学号：19 学生姓名：王宇一、实验目的和任务掌握离散信源熵的原理和计算方法。

熟悉matlab软件的基本操作，练习应用matlab软件进行信源熵函数曲线的绘制。

理解信源熵的物理意义，并能从信源熵函数曲线图上进行解释其物理意义。

二、实验内容及原理2.1实验内容：用matlab软件绘制二源信源熵函数曲线。

根据曲线说明信源熵的物理意义。

2.2实验原理：（1）离散信源相关的基本概念、原理和计算公式产生离散信息的信源称为离散信源。

离散信源只能产生有限种符号。

假定X是一个离散随机变量，即它的取值范围R={x1，x2，x3，…}是有限或可数的。

设第i个变量xi发生的概率为p i=P{X=x i}。

则：定义一个随机事件的自信息量I(x i)为其对应的随机变量x i出现概率对数的负值。

即：I(xi )= -log2p(xi)定义随机事件X的平均不确定度H(X)为离散随机变量x i出现概率的数学期望，即：∑∑-==i ii i i i x p x p x I x p X H )(log )()()()(单位为 比特/符号 或 比特/符号序列。

平均不确定度H （X ）的定义公式与热力学中熵的表示形式相同，所以又把平均不确定度H （X ）称为信源X 的信源熵。

必须注意以下几点：某一信源，不管它是否输出符号，只有这些符号具有某些概率特性，必有信源的熵值；这熵值是在总体平均上才有意义，因而是个确定值，一般写成H （X ），X 是指随机变量的整体（包括概率分布）。

信息量则只有当信源输出符号而被接收者收到后，才有意义，这就是给与信息者的信息度量，这值本身也可以是随机量，也可以与接收者的情况有关。

熵是在平均意义上来表征信源的总体特征的，信源熵是表征信源的平均不确定度，平均自信息量是消除信源不确定度时所需要的信息的量度，即收到一个信源符号，全部解除了这个符号的不确定度。

实验一绘制二元熵函数曲线实验报告一、实验目的1.熟悉MATLAB工作环境及工具箱2.理解熵函数表达式及其性质二、实验内容用MATLAB软件编程绘制二元熵函数曲线三、实验过程1.复习二元熵函数，理解二元信源的熵H(w)=-wlogw-(1-w)log(1-w)表达式。

2.熟悉MATLAB软件。

1)MATLAB的操作界面MATLAB操作界面主要分为：任务栏、命令窗、命令历史窗、当前目录浏览器、工作空间浏览器及一个“启动按钮”。

任务栏：位于软件的正上方。

各个菜单分别为：文件、编辑、视窗、调试、桌面、窗体、帮助这几个窗口，点击每个窗口可以选择需要的操作。

命令窗(Command Window)：位于软件操作界面的右侧。

在此窗口里，可以输入各种指令、函数、变量表达式并进行各种操作。

该窗口用于输入命令并显示除图形以外的所有执行结果。

窗口中的“>>”为命令提示符，直接在其后面输入命令并按下回车键后，会出现计算结果在命令后面。

命令历史窗(Command History)：位于软件操作界面的左下方。

这个窗口记录了命令窗口已经运行过的所有命令（指令、函数等），允许用户对这些命令进行选择、复制。

2)MATLAB的函数绘制二维图形最常用的就是plot函数，调用plot函数的三种形式：plot(x)、plot(x,y)、plot(x,y,’r:x’)。

还有就是如何添加横坐标和纵坐标标题的命令语句。

3.实验程序。

w=0.000001:0.0001:0.999999999 %定义w的取值范围y=-w.*log2(w)-(1-w).*log2(1-w) %定义二元熵函数的表达式plot(w,y,'r') %画出二元熵函数的曲线图xlabel('w') %x轴的名称ylabel('H(w)') %y轴的名称grid on %给图形加上网格title('二元熵函数H(w)') %函数曲线的名称运行结果如下：四、实验结果分析从图中可以看出熵函数的一些性质，如果二元信源的输出概率是1或0（即二元信源的输出是确定的），则该信源不提供任何信息。

课程设计任务书2011—2012学年第一学期专业：通信工程学号：100310012 姓名：蒲佳佳课程设计名称：信息论与编码课程设计设计题目：绘制二元熵函数曲线一．设计目的1．巩固所学的理论知识。

2．提高综合运用所学理论知识独立分析和解决问题的能力。

3．更好地将理论与实践相结合。

4．掌握、理解熵函数表达式及其性质。

5．熟练使用MATLAB语言进行编程实现。

二．设计内容1．在理解熵函数的定义基础上，准备一组数据，计算H(p)。

2．绘制与分析曲线图。

三．设计要求1．认真查阅相应资料掌握Matlab绘图方法。

2．查阅资料，理解实验原理。

3．认真编写课程设计四．设计条件计算机、MATLAB语言环境五、参考资料[1]邓家先信息论与编码课程教学改革撂讨 [期刊论文] -电气电子教学学报2007(02)[2]李正权.潘立兵.李琳《信息论与编码》研究性教学初步探讨2008(04)指导教师（签字）：教研室主任（签字）：批准日期：年月日摘要这次课程设计介绍了基于MATLAB的对熵函数的绘制设计，并使之实现的过程。

理解与掌握课程中的基本概念、基本原理、基本分析方法，利用Matlab 软件绘制。

自信息量是针对信源的单个符号而言的，而符号是随机发生的，因此单个符号的不确定性不足于代表信源的不确定性性质，为此，可对所有符号的自信息量进行统计平均，从而得到平均不确定性。

此外，熵是自信息量的统计平均，因此单位与自信息量的单位相同，与熵公式中所用对数的底有关： bit/符号、nat/符号、dit/符号、r进制单位/符号本课程设计介绍了在MATLAB环境中如何采集语音信号和语音信号采集后的文档处理方法绘制函数，利用MATLAB的语言进行编写，并通过实例分析了二元熵函数曲线。

关键词：MATLAB；二元熵函数曲线目录1课程描述 (1)2设计原理 (1)3设计过程 (2)3.1软件介绍 (2)3.2设计内容 (3)3.3设计步骤 (4)总结 (5)参考文献 (6)1课程描述自信息量是针对信源的单个符号而言的，而符号是随机发生的，因此单个符号的不确定性不足于代表信源的不确定性性质，为此，可对所有符号的自信息量进行统计平均，从而得到平均不确定性。

二进制交叉熵函数公式二进制交叉熵函数是用于衡量两个概率分布之间的差异的一种度量方法。

在机器学习和深度学习中，二进制交叉熵函数常用于评估分类模型的性能，并作为损失函数进行优化。

我们需要了解什么是概率分布。

概率分布是对一组事件的可能性进行建模的函数。

在二分类问题中，我们通常将事件分为两类，分别对应于正例和负例。

概率分布可以表示为两个值的向量，其中一个值表示正例的概率，另一个值表示负例的概率。

通常，这些值都是介于0和1之间的实数，并且它们的和等于1。

在机器学习中，我们经常使用模型来预测给定输入的事件的概率分布。

例如，在图像分类任务中，我们可以使用卷积神经网络模型来预测图像中包含某个物体的概率。

模型将输入图像作为输入，并输出一个表示正例概率的实数值。

二进制交叉熵函数是用来比较模型预测的概率分布与实际分布之间的差异。

实际分布可以表示为一个one-hot向量，其中正例对应的位置为1，负例对应的位置为0。

假设模型的预测结果为一个实数值p，代表正例的概率。

那么，二进制交叉熵函数可以表示为以下公式：H(p,q) = -q * log(p) - (1-q) * log(1-p)其中，p为模型预测的正例概率，q为实际的正例标签。

通过这个公式，我们可以计算模型预测结果与实际标签之间的差异。

当模型的预测与实际标签完全一致时，交叉熵的值为0，表示模型的性能最好。

而当模型的预测与实际标签完全相反时，交叉熵的值趋近于无穷大，表示模型的性能最差。

为了优化模型，我们通常使用梯度下降等方法来最小化交叉熵函数的值。

通过不断调整模型中的参数，使得模型的预测结果与实际标签更加接近，从而提高模型的性能。

除了作为损失函数进行优化，二进制交叉熵函数还可以用于评估模型的性能。

在训练过程中，我们可以计算每个样本的交叉熵值，并求取平均值作为模型的性能指标。

较低的交叉熵值表示模型的预测结果与实际标签更加接近，即模型的性能更好。

总结一下，二进制交叉熵函数是一种用于衡量模型预测结果与实际标签之间差异的度量方法。