当前位置：文档之家 › 信息论实验演示和在线测试系统

信息论实验演示和在线测试系统

  • 格式：doc
  • 大小：718.50 KB
  • 文档页数：68

摘要《信息论基础》作为信息与计算科学、通信学科的一门专业课程，广泛应用于各个领域。

《信息论基础》是一门理论性和实践性都较强的学科，因此针对课程特点，开发相关实验演示与测试系统可以提高学生的实际操作能力和对课程的掌握水平。

在深入研究《信息论基础》相关基本理论和C++编程技术基础上，采用MFC+ACCESS+控制台编程设计并实现《信息论基础》实验演示与在线测试系统。

实验演示系统包括离散信息熵的计算、信道容量的计算、Huffman编码、LZW编码、DES 加密算法五个实验。

实验演示系统展示了实验的基本理论与操作，系统采用MFC+控制台编程实现，MFC做界面，具体实验操作采用控制台编程。

测试系统包括章节测试和课程测试，每部分都提供了试题，可以实时进行在线评分，系统采用MFC+ACCESS数据库实现，MFC实现答题和解析界面，题目和答案存储在数据库中，通过自动注册数据库实现界面和数据库的连接。

最后针对信息论课程实践教学要求进行测试，测试结果表明所有功都能流畅运行，满足设计需求。

关键词：信息论基础；实验演示系统；在线测试系统；MFC；控制台编程AbstractThe Information Theory Basis as, communications, information and computation science discipline of a professional course, widely used in various fields. The Information Theory Basis is a theory and practice are strong discipline, so according to the characteristics of curriculum development of related experimental demonstration and testing system can improve the students' practical ability and grasp of the course.In the further study of The Information Theory Basis based on related basic theory and C++ programming technology, using MFC+ACCESS+console programming design and implement The Information Theory Basis for experimental demonstration and online test system. Experimental demonstration system including discrete information entropy calculation, the calculation of channel capacity, Huffman coding ,LZW encoding and the DES encryption algorithm. Experiment demo system shows the basic theory and operation, the system USES MFC+Win32 ConsoleApplication, MFC interface, specific experimental operation in console programming. Test system includes chapters test and course test, each part provides the exam and can be online scoring, real-time system using MFC + ACCESS database implementation, MFC implementation problem solving and analytical interface, questions and answers are stored in database, the realization of automatic registration database through interface and the database connection.Finally based on information theory course practice teaching requirements for testing, test results show that all work can smooth running, meet the design requirements.Keywords: Information theory basis ; The experimental demonstration system ; The online test system ; MFC ; Win32 Console Application目录1 绪论 (1)1.1 编写目的 (1)1.2 技术说明 (1)1.2.1 C++ (1)1.2.2 MFC编程 (2)1.2.3 控制台程序 (2)1.2.4 ACCESS数据库 (3)2 国内外现状 (4)3 理论基础 (6)3.1 信息熵 (6)3.2 信道容量 (7)3.3 Huffman 编码 (9)3.4 LZW编码 (9)3.5 DES编码 (10)4 系统总体设计 (12)4.1 软件支持信息 (12)4.2 系统数据流 (12)4.3 总体结构 (13)4.4 系统数据结构设计 (13)5 详细设计 (15)5.1 开始界面 (15)5.1.1 设计图 (15)5.1.2 核心代码 (16)5.2 实验演示 (17)5.2.1 演示界面 (17)5.2.2 离散信息熵模块 (18)5.2.3 信道容量模块 (22)5.2.4 Huffman编码模块 (26)5.2.5 LZW编码模块 (30)5.2.6 DES加密模块 (33)5.3 测试系统 (36)5.3.1 答题模块 (36)5.3.1 答案解析模块 (42)6 总结 (45)致谢 (46)参考文献 (47)附录A:英文原文 (48)附录B:中文翻译 (58)1 绪论1.1 编写目的信息论作为计算机学科的一门基础课程，广泛的应用于计算的各个领域，如：编码学、密码学与密码分析学、数据传输数据压缩、检测理论、估计理论。

信息论课程的学习对于计算机专业的学生来说至关重要。

本论文，内容是信息论课程中的五个重要实验和课程测试。

实验演示模块实现离散信息熵、信道容量、Huffman编码、LZW编码、DES加密的演示，在学生掌握相关理论的基础之上，加深对实验的理解和运用，测试系统包括章节测试和课程测试，可以让学生清楚的了解自己对课程内容的掌握情况，及时查漏补缺。

1.2 技术说明1.2.1 C++C++是在C语言的基础上开发的一种面向对象编程语言，应用广泛；C++支持多种编程范式－－面向对象编程、泛型编程和过程化编程。

最新正式标准C++于2014年8月18日公布。

其编程领域众广，常用于系统开发，引擎开发等应用领域，是至今为止最受广大程序员受用的最强大编程语言之一,支持类：类、封装、重载等特性[1]。

C++设计成静态类型、和C同样高效且可移植的多用途程序设计语言。

C++设计直接的和广泛的支持多种程序设计风格（程序化程序设计、资料抽象化、面向对象程序设计、泛型程序设计）。

C++设计无需复杂的程序设计环境。

C++语言灵活，运算符的数据结构丰富、具有结构化控制语句、程序执行效率高，而且同时具有高级语言与汇编语言的优点，与其它语言相比，可以直接访问物理地址，与汇编语言相比又具有良好的可读性和可移植性。

总得来说，C++语言的主要特点表现在两个方面，一是尽量兼容C,二是支持面向对象的方法。

它操持了C的简洁、高效的接近汇编语言等特点，对C的类型系统进行了改革的扩充，因此C++比C更安全，C++的编译系统能检查出更多的类型错误。

另外，由于C语言的广泛使用，因而极大的促进了C++的普及和推广。

C++语言最有意义的方面是支持面向对象的特征。

虽然与C的兼容使得C++具有双重特点，但他在概念上完全与C不同，更具面向对象的特征。

出于保证语言的简洁和运行高效等方面的考虑，C++的很多特性都是以库（如STL）或其他的形式提供的，而没有直接添加到语言本身里。

关于此类话题，Bjarne Stroustrup的《C++语言的设计和演化》（1994）里做了详尽的陈述。

C++引入了面向对象的概念，使得开发人机交互类型的应用程序更为简单、快捷。

很多优秀的程序框架包括Boost、Qt、MFC、OWL、wxWidgets、WTL就是使用的C++。

1.2.2 MFC编程MFC(MicrosoftFoundationClasses)是微软基础类库的简称，是微软公司实现的一个C++类库，主要封装了大部分的windows API函数，vc++是微软公司开发的c/c++的集成开发环境，所谓集成开发环境，就是说利用它可以编辑，编译，调试，而不是使用多种工具轮换操作，灵活性较大。

vc也指它的内部编译器，集成开发环境必须有一个编译器内核，例如DevC++其中一个编译器内核就是gcc。

MFC除了是一个类库以外，还是一个框架，在vc++里新建一个MFC的工程，开发环境会自动帮你产生许多文件，同时它使用了mfcxx.dll。

xx是版本，它封装了MFC内核，所以你在你的代码看不到原本的SDK编程中的消息循环等等东西，因为MFC框架帮你封装好了，这样你就可以专心的考虑你程序的逻辑，而不是这些每次编程都要重复的东西，但是由于是通用框架，没有最好的针对性，当然也就丧失了一些灵活性和效率。

但是MFC的封装很浅，所以效率上损失不大[2]。

1.2.3 控制台程序控制台程序是为了兼容DOS程序而设立的，这种程序的执行就好像在一个DOS窗口中执行一样，没有自己的界面。

所谓的控制台应用程序，就是能够运行在MS-DOS环境中的程序。

控制台应用程序通常没有可视化的界面，只是通过字符串来显示或者监控程序。

控制台程序常常被应用在测试、监控等用途，用户往往只关心数据，不在乎界面。

控制台程序是为了兼容DOS程序而设立的，这种程序的执行就好像在一个DOS窗口中执行一样，没有自己的界面。

合集下载

信息论实验报告

信息论实验报告

信息论实验报告班级：姓名：学号：实验一：信道容量的迭代算法1.实验目的（1）进一步熟悉信道容量的迭代算法；（2）学习如何将复杂的公式转化为程序；（3）掌握C 语言数值计算程序的设计和调试技术。

2、实验要求（1）已知：信源符号个数r 、信宿符号个数s 、信道转移概率矩阵P 。

（2）输入：任意的一个信道转移概率矩阵。

信源符号个数、信宿符号个数和每个具体的转移概率在运行时从键盘输入。

（3）输出：最佳信源分布P*，信道容量C 。

3.算法分析1：procedure CHANNEL CAPACITY(r,s,(ji p )) 2：initialize:信源分布i p =1/r ，相对误差门限σ，C=—∞3：repeat4：5：6： C 2211log [exp(log )]r s ji ij r j p φ==∑∑7：until C Cσ∆≤8：output P*= ()i r p ,C9：end procedure4.程序调试21211exp(log )exp(log )sji ij j r s ji ij r j p p φφ===∑∑∑i p 1i ji r i ji i p p p p =∑ijφ1、头文件引入出错f:\visualc++\channel\cpp1.cpp(4) : fatal error C1083: Cannot open include file: 'unistd.h': No such file or directory————#include<unistd.h>纠错：//#include<unistd.h>f:\visualc++\channel\cpp1.cpp(5) : fatal error C1083: Cannot open include file: 'values.h': No such file or directory————#include<values.h>纠错：//#include<values.h>2、变量赋值错误f:\visualc++\channel\cpp1.cpp(17) : error C2065: 'ij' : undeclared identifierf:\visualc++\channel\cpp1.cpp(17) : error C2440: 'initializing' : cannot convert from 'int' to 'float ** ' Conversion from integral type to pointer type requires reinterpret_cast, C-style cast or function-style cast————float **phi_ij=ij=NULL;纠错：float **phi_ij=NULL;3、常量定义错误f:\visualc++\channel\cpp1.cpp(40) : error C2143: syntax error : missing ';' before 'for' ————for(i=0;i<r;i++)phi_ij[i]=(float *)calloc(s,sizeof(float));f:\visualc++\channel\cpp1.cpp(52) : error C2021: expected exponent value, not ' '————if(fabs(validate -1.0)>DELTA)f:\visualc++\channel\Cpp1.cpp(84) : error C2021: expected exponent value, not ' '————if(fabs(p_j)>=DELTA)f:\visualc++\channel\Cpp1.cpp(100) : error C2021: expected exponent value, not ' '————if(fabs(phi_ij[i][j])>=DELTA)f:\visualc++\channel\Cpp1.cpp(116) : error C2021: expected exponent value, not ' ' ————while(fabs(C-C_pre)/C>DELTA);纠错：#define DELTA 0.000001;F:\visualc++\channel\Cpp1.cpp(68) : error C2065: 'MAXFLOAT' : undeclared identifierF:\visualc++\channel\Cpp1.cpp(68) : warning C4244: '=' : conversion from 'int' to 'float', possible loss of data————C=-MAXFLOAT;纠错：#define MAXFLOAT 1000000;3、引用中文逗号f:\visualc++\channel\cpp1.cpp(60) : error C2018: unknown character '0xa1'f:\visualc++\channel\cpp1.cpp(60) : error C2018: unknown character '0xb1'f:\visualc++\channel\cpp1.cpp(60) : error C2065: 'Starting' : undeclared identifierf:\visualc++\channel\cpp1.cpp(60) : error C2059: syntax error : '.'f:\visualc++\channel\cpp1.cpp(60) : error C2017: illegal escape sequencef:\visualc++\channel\cpp1.cpp(60) : error C2018: unknown character '0xa1'f:\visualc++\channel\cpp1.cpp(60) : error C2018: unknown character '0xb1'————fprintf(stdout,”Starting..\n”);纠错：fprintf(stdout,"Starting..\n");4、没有进行强制转换F:\visualc++\channel\Cpp1.cpp(65) : warning C4244: '=' : conversion from 'double' to 'float', possible loss of data————p_i[i]=1.0/(float)r;纠错：p_i[i]=(float)(1.0/(float)r);F:\visualc++\channel\Cpp1.cpp(101) : warning C4244: '+=' : conversion from 'double' to 'float', possible loss of data————sum[i]+=p_ji[i][j]*log( phi_ij[i][j])/ log(2.0);纠错：sum[i]+=(float)(p_ji[i][j]*log( phi_ij[i][j])/ log(2.0));F:\visualc++\channel\Cpp1.cpp(103) : warning C4244: '=' : conversion from 'double' to 'float', possible loss of data————sum[i]=pow(2.0,sum[i]);纠错:sum[i]=(float)(pow(2.0,sum[i]));F:\visualc++\channel\Cpp1.cpp(114) : warning C4244: '=' : conversion from 'double' to 'float', possible loss of data————C= log(p_j)/ log(2.0);纠错：C= (float)(log(p_j)/ log(2.0));4、表达式错误F:\visualc++\channel\Cpp1.cpp(86) : error C2065: 'phi_ji' : undeclared identifierF:\visualc++\channel\Cpp1.cpp(86) : error C2109: subscript requires array or pointer typeF:\visualc++\channel\Cpp1.cpp(86) : error C2109: subscript requires array or pointer type ————phi_ij[i][j]=p_i[i]* phi_ji[i][j]/p_j;纠错：phi_ij[i][j]=p_i[i]* p_ji[i][j]/p_j;F:\visualc++\channel\Cpp1.cpp(122) : error C2065: 'fprint' : undeclared identifierF:\visualc++\channel\Cpp1.cpp(122) : error C2018: unknown character '0xa1'F:\visualc++\channel\Cpp1.cpp(122) : error C2018: unknown character '0xb1'F:\visualc++\channel\Cpp1.cpp(122) : error C2065: 'The' : undeclared identifierF:\visualc++\channel\Cpp1.cpp(122) : error C2146: syntax error : missing ')' before identifier 'iteration'F:\visualc++\channel\Cpp1.cpp(122) : error C2017: illegal escape sequenceF:\visualc++\channel\Cpp1.cpp(122) : error C2017: illegal escape sequenceF:\visualc++\channel\Cpp1.cpp(122) : error C2018: unknown character '0xa1'F:\visualc++\channel\Cpp1.cpp(122) : error C2018: unknown character '0xb1'————fprint(stdout,”The iteration number is %d.\n\n”,k);纠错：fprintf(stdout,"The iteration number is %d.\n\n",k);F:\visualc++\channel\Cpp1.cpp(145) : error C2143: syntax error : missing ')' before ';' ————free((p_i);纠错：free(p_i);5、没有返回值F:\visualc++\channel\Cpp1.cpp(149) : warning C4508: 'main' : function should return a value; 'void' return type assumed、纠错：return 0;5.改进程序/*引入头文件*/#include<stdio.h>#include<math.h>#include<stdlib.h>/*定义常量*/#define DELTA 0.0000001//DELTA为相对误差门限#define MAXFLOAT 1000000;//MAXFLOAT为初始化信道容量值int main( void){/*定义全局变量*//*register允许直接从寄存器中读取变量，提高速率*/register int i,j;//i、j为整型变量register int k;//信道容量迭代计算次数int r,s;//r为信源符号个数，s为新宿符号个数float *p_i=NULL;//r个信源符号发生的概率float **p_ji=NULL;//信源到新宿的信道转移概率矩阵Pfloat **phi_ij=NULL;float C,C_pre,validate;//C为信道容量，C_pre为信道最大容量，validate为判定输入转移概率矩阵是否合法float * sum=NULL;//信源符号所带的全部信息量float p_j;//条件概率/*输入信源符号和新宿符号个数*/printf("请输入信源符号个数r、信宿符号个数s...\n");printf("+++++注意！！！r必须大于等于s！！+++++\n");fscanf(stdin,"%d",&r);fscanf(stdin,"%d",&s);/*为 p_i,p_ji 和 phi_ij 分配内存空间*/p_i=(float *)calloc(r,sizeof(float));p_ji=(float **)calloc(r,sizeof(float));/*为每个p_ji分配大小为s的内存空间*/for(i=0;i<r;i++)p_ji[i]=(float *)calloc(s,sizeof(float));phi_ij=(float **)calloc(r,sizeof(float*));/*输入转移概率矩阵*/for(i=0;i<r;i++)/*为每个phi_ij分配大小为s的内存空间*/phi_ij[i]=(float *)calloc(s,sizeof(float));printf("信道转移概率矩阵P...\n");for(i=0;i<r;i++)for(j=0;j<s;j++)fscanf(stdin,"%f",&p_ji[i][j]);/*判定输入的转移概率矩阵是否正确*/for(i=0;i<r;i++){validate=0.0;for(j=0;j<s;j++){validate +=p_ji[i][j];}if((validate-1.0)>=0)//如果转移概率矩阵的概率和大于1，输入数据不合法{fprintf(stdout,"invalid input data.\n");exit(-1);}}/*显示开始计算..*/fprintf(stdout,"Starting..\n");/*初始化 p_i 和 phi_ij*/for(i=0;i<r;i++){/* p_i为等概率，即概率为1/r*/p_i[i]=(float)(1.0/(float)r);}/*初始化信道容量c，迭代次数k和临时变量variable*/C=-MAXFLOAT;k=0;/* 为sum分配大小为r的内存空间*/sum=(float *)calloc(r,sizeof(float));/*开始迭代计算*/do{k++;//每进行一次迭代，迭代次数k加1/* 计算phi_ij(k)*/for(j=0;j<s;j++){p_j=0.0;for(i=0;i<r;i++)p_j+=p_i[i]*p_ji[i][j];if(fabs(p_j)>=DELTA)for(i=0;i<r;i++)phi_ij[i][j]=p_i[i]* p_ji[i][j]/p_j;elsefor(i=0;i<r;i++)phi_ij[i][j]=0.0;}/*计算p_i(k+1)*/p_j=0.0;for(i=0;i<r;i++){sum[i]=0.0;for(j=0;j<s;j++){/*相对误差门限为0*/if(fabs(phi_ij[i][j])>=DELTA)sum[i]+=(float)(p_ji[i][j]*log( phi_ij[i][j])/ log(2.0)); }sum[i]=(float)(pow(2.0,sum[i]));p_j+=sum[i];}for(i=0;i<r;i++){p_i[i]=sum[i]/p_j;}C_pre=C;C= (float)(log(2.0)/log(p_j) );}while(fabs(C-C_pre)/C>DELTA);free(sum);sum=NULL;/*显示结果*/fprintf(stdout,"The iteration number is %d.\n\n",k);//迭代次数fprintf(stdout,"The capacity of the channel is %.6f bit/symbol:\n\n",C);//信道容量fprintf(stdout,"The best input probability distribution is :\n");//最佳信源分布 for(i=0;i<r;i++)fprintf(stdout,"%.6f\n",p_i[i]);fprintf(stdout,"\n");/* 释放指针空间*/for(i=s-1;i>=0;i--){free(phi_ij[i]);phi_ij[i]=NULL;}free(phi_ij);phi_ij=NULL;for(i=r-1;i>=0;i--){free(p_ji[i]);p_ji[i]=NULL;}free(p_ji);p_ji=NULL;free(p_i);p_i=NULL;exit(0);return 0;}6.实验结果6.实验二：唯一可译码判决准则1.实验目的（1）进一步熟悉唯一可译码判决准则；（2）掌握C语言字符串处理程序的设计和调试技术。

大三下-信息论实验报告

大三下-信息论实验报告

实验1 绘制二进熵函数曲线、串联信道容量曲线一、实验内容用Excel 或Matlab 软件制作二进熵函数曲线、串联信道容量曲线。

二、实验环境1. 计算机2. Windows 2000 或以上3. Microsoft Office 2000 或以上4. Matlab 6.0或以上 三、实验目的1. 掌握Excel 的数据填充、公式运算和图表制作2. 掌握Matlab 绘图函数3. 掌握、理解熵函数表达式及其性质 四、实验要求1. 提前预习实验，认真阅读实验原理以及相应的参考书。

2. 认真高效的完成实验，实验中服从实验室管理人员以及实验指导老师的管理。

3. 认真填写实验报告。

五、实验原理1. Excel 的图表功能（略）2. 信源熵的概念及性质()()[]()[]())(1)(1 .log )( .)( 1log 1log )(log )()(10 , 110)(21Q H P H Q P H b nX H a p H p p p p x p x p X H p p p x x X P X ii i λλλλ-+≥-+≤=--+-=-=≤≤⎩⎨⎧⎭⎬⎫-===⎥⎦⎤⎢⎣⎡∑3. 串联信道的信道容量（图 1）。

图 1 三个二元对称信道（BSC ）的串联p -1p -1pp 01p -1p -1pp 01p -1p -1pp 011IIIIIIp=0.00001:0.001:0.9999; h=Hp(p);plot(p,h);title('熵函数')p=0.00001:0.001:0.9999;c=1-Hp(p.^3+3.*p.*(1-p).^2); plot(p,c);title('信道容量')p=0.00001:0.001:0.9999;c1=1-Hp(p);c2=1-Hp(2*p.*(1-p));c3=1-Hp(p.^3+3.*p.*(1-p).^2); subplot(3,1,1)plot(p,c1);title('CⅠ');subplot(3,1,2)plot(p,c2);title('CⅠⅡ');subplot(3,1,3)plot(p,c3);title('CⅠⅡⅢ');实验4 容量代价函数的计算程序设计一、问题的提出：假定一个离散无记忆信源（DMC ）的输入符号集为A X ={1,2,...,r},输出符号集为A Y ={1,2,....,s}，信道的转移概率矩阵P(Y|X):{p(y|x)}；该信道不是免费的，其输入代价为b(x)。

信息论实验

信息论实验

设计并完成以下三个实验，要求有实验目的、原理、步骤、结果、程序和分析讨论（30分，每个实验10分） 实验①信道容量的计算实验②Huffman 编码或者算术编码实验 实验③信道编码方案设计实验一 信道容量的计算一、 实验目的1、 熟悉Matlab 工作环境以及工具箱；2、 掌握一般信道容量迭代算法原理。

3、 学习如何将复杂的公式转化为程序实现。

二、 实验要求1、 已知信源符号个数，信宿符号个数，信道转移概率矩阵P 。

2、 输入任意的一个信道转移概率矩阵，信源符号个数，信宿符号个数和每个具体转移概率，得出结果。

三、 实验原理定理：设信道的前向转移概率矩阵J K k j a b q Q ⨯=))((，0P 是任给的输入字母的一个初始概率分布，其所有分量)(0k a P 均不为零。

按照下式不断对概率分布进行迭代、更新：∑=+=Ki ri i r rk k rk r P a p P a p a p11)()()()()(ββ其中[]⎪⎪⎭⎪⎪⎬⎫⎪⎪⎩⎪⎪⎨⎧===∑∑===J j Ki i j i rk j k j pp k rk a b q a p a b q a b q Y a x I P r11)()()(log)(exp );(exp )(β则由此所得的),(Q p I r 序列收敛于信道容量C 。

在上述定理中，输入字母概率分布的更新方法具有很明显的意义，即不断将具有较大互信息);(Y a x I k =的输入字母的概率加以提高，将具有较小互信息);(Y a x I k =的输入字母的概率加以降低。

四、实验程序及结果。

进行Matlab仿真，仿真程序如下：contmax.m文件function [P_X,C,N]=contmax(P_YX,E)%计算任意信道的信道容量C及最佳输入分布P_X%P_X为输入概率分布%C为信道容量%N为迭代次数%P_YX为DMC信道的转移矩阵%E为预设精度if length(find(P_YX<0)~=0) %转移矩阵中各元素必须大于等于0 error('Not a probable vector, Negative component');endB=abs(sum(P_YX')-1);if max(B)>10e-10 %转移矩阵的行和必须等于1，否则重新输入error('Not a probable vector, Component do not add up to "1" ');end%变量初始化C1=1;C=0;N=0; r=size(P_YX);P_X=ones(1,r(1))/r(1);%调整P_YX的零元素值Pyx=(P_YX==0).*eps;P_YX=P_YX+Pyx;%迭代求解while (abs(C1-C))>EP_Y=P_X*P_YX;I1=sum((P_YX.*log2(P_YX))');I2=log2(P_Y)*(P_YX'); BETA=exp(I1-I2);B=P_X*(BETA');C1=log(B);C=log(max(BETA));P_X=P_X.*BETA/B;N=N+1; %迭代次数end保存为contmax.m文件执行程序为：p=0.4;P_YX=[1,0,0;0,1-p,p;0,p,1-p]; %信道的转移矩阵[P_X,C,n]=contmax(P_YX,0.001) %预设迭代精度e=0.001C0=log2(1+2*(p^p)*((1-p)^(1-p))) %通过算式直接求得信道容量执行结果：P_X =0.4887 0.2557 0.2557C =1.0340n =9C0 =1.0333五、分析讨论迭代精度对计算结果的影响。

《信息论》实验指导书— 应用MATLAB软件实现(DOC)

《信息论》实验指导书— 应用MATLAB软件实现(DOC)

《信息与编码理论》上机实验指导书———————应用MATLAB软件实现UPC通信工程系前言本实验系列是采用MATLAB软件，主要针对《信息论基础》课程中的相关内容进行的实验。

MATLAB是一完整的并可扩展的计算机环境，是一种进行科学和工程计算的交互式程序语言。

它的基本数据单元是不需要制定维数的矩阵，它可直接用于表达数学的算式和技术概念，解决同样的数值计算问题，使用MATLAB要比使用Basic、Fortran和C语言等提高效率许多倍。

MATLAB还是一种有利的教学工具，在大学的线性代数课程以及其它领域的高一级课程的教学中，已称为标准的教学工具。

该指导书共安排了4个实验，现就一些情况作简要说明：各实验要求学生在MATLAB系统上尽量独立完成，弄懂。

实验内容紧扣课程教学内容的各主要基本概念，希望同学们在完成每个实验后，对所学的内容起到巩固和加深理解的作用。

每个实验做完后必须交一份实验报告。

恳请各位实验老师和同学在实验中提出宝贵意见，以利于以后改进提高。

目录实验一离散信源及其信息测度 (3)实验二离散信道及其容量 (6)实验三无失真信源编码 (8)实验四有噪信道编码 (10)附录部分常用MATLAB命令 (12)实验一 离散信源及其信息测度一、[实验目的]离散无记忆信源是一种最简单且最重要的信源，可以用完备的离散型概率空间来描述。

本实验通过计算给定的信源的熵，加深对信源及其扩展信源的熵的概念的理解。

二、[实验环境]windows XP,MATLAB三、[实验原理]信源输出的各消息的自信息量的数学期望为信源的信息熵，表达式如下 1()[()]()log ()qi i i H X E I xi p x p x ===-∑信源熵是信源的统计平均不确定性的描述，是概率函数()p x 的函数。

四、[实验内容]1、有条100字符英文信息，假定其中每字符从26个英文字母和1个空格中等概选取，那么每条信息提供的信息量为多少？若将27个字符分为三类，9个出现概率占2/7,13个出现概率占4/7，5个出现占1/7，而每类中符号出现等概，求该字符信源的信息熵。