信息论与编码课程设计报告

信息论与编码课程报告
信息论与编码是一门重要的课程，在计算机科学与技术，通信工程，信号处理
等专业中发挥着重要的作用。

信息论涉及到信息的量化、源编码、信息隐藏，噪声抑制以及信息协议的分析等诸多方面。

而编码中的许多领域如信号处理、视频编码、图像处理等又建立在信息论的基础之上。

在这门课程中，学生可以学习如何把信息量化，以及不同的编码方法和算法，明白信息和音频的处理，还可以学习复杂格式的音频、视频编码。

此外，学习中还会涉及到模拟和数字信号，熵、信道容量与噪讲，数字信号处理，数字信号编码等多种多样的知识点，其中还包括噪讲模型、噪讲容量等多种不同概念。

整个信息论和编码领域有着丰富的应用，为听力、视觉等智能分析技术的实现
提供了理论支撑。

基于信息论的研究发明了压缩编码技术，它可以用来压缩数据，提高传输速率和储存空间，同时编码技术可以使数据免于传输过程中的损耗，有效地实现了音频、视频等多种数据的传输。

此外，信息论和编码在模式识别与多媒体通信、卫星通信、生物医学等多个领域都有着重要的应用。

综上所述，信息论与编码课程是个重要的学科，在计算机科学与技术，通信工程，算法，信号处理，多媒体通信，生物医学等领域中有着广泛的应用。

该课程主要是以学习源编码，熵、信道容量，噪讲，数字信号处理，数字信号编码，噪讲模型，压缩编码等多种专业概念为基础，因此有深入研习的必要，以获得多方面的知识和理解，为日后的技能应用打实基础。

建筑大学电气与电子信息工程学院信息理论与编码课程设计报告设计题目：哈夫曼编码的分析与实现专业班级：电子信息工程101学生： _____________________________学号： ________________________________ 扌指导教师：吕卅王超________________ 设计时间：2013.11.18 —2013.11.29、设计的作用、目的《信息论与编码》是一门理论与实践密切结合的课程, 课程设计是其实践性教学环节之一，同时也是对课堂所学理论知识的巩固和补充。

其主要目的是加深对理论知识的理解，掌握查阅有关资料的技能，提高实践技能，培养独立分析问题、解决问题及实际应用的能力。

通过完成具体编码算法的程序设计和调试工作，提高编程能力，深刻理解信源编码、信道编译码的基本思想和目的，掌握编码的基本原理与编码过程，增强逻辑思维能力，培养和提高自学能力以及综合运用所学理论知识去分析解决实际问题的能力，逐步熟悉开展科学实践的程序和方法二、设计任务及要求通过课程设计各环节的实践，应使学生达到如下要求：1. 理解无失真信源编码的理论基础，掌握无失真信源编码的基本方法；2. 掌握哈夫曼编码/ 费诺编码方法的基本步骤及优缺点；3. 深刻理解信道编码的基本思想与目的，理解线性分组码的基本原理与编码过程；4. 能够使用MATLA或其他语言进行编程，编写的函数要有通用性。

三、设计容一个有8个符号的信源X,各个符号出现的概率为：X x1, x2, x3, x4, x5, x6 x7 x8P(X) 0.4 0.18 0.1 0.1 0.07 0.06 0.05 0.04 编码方法：先将信源符号按其出现的概率大小依次排列，并取概率最小的字母分别配以0和1两个码元(先0后1或者先1后0，以后赋值固定)，再将这两个概率相加作为一个新字母的概率，与未分配的二进制符号的字母重新排队。

并不断重复这一过程，直到最后两个符号配以0和1为止。

信息论与编码课程设计报告设计题目：判断唯一可译码、香农编码专业班级电信12-03学号7学生琳指导教师成凌飞教师评分2015年3月21日目录一、设计任务与要求 (2)二、设计思路 (2)三、设计流程图 (3)四、程序运行及结果 (4)五、心得体会 (6)参考文献 (7)附录：源程序 (8)一、设计任务与要求通过本次课程设计的练习，使学生进一步巩固信源熵、信源编码的基本原理，掌握具体的编码方法，熟悉编程软件的使用，培养学生自主设计、编程调试的开发能力，同时提高学生的实践创新能力。

1、判断唯一可译码利用尾随后缀法判断任意输入的码是否为唯一可译码，即设计一个程序实现判断输入码组是否为唯一可译码这一功能。

2、香农编码熟悉运用香农编码,并能通过C语言进行编程,对任意输入消息概率，利用香农编码方法进行编码，并计算信源熵和编码效率。

二、设计思路1、判断唯一可译码在我们学习使用了克劳夫特不等式之后，知道唯一可译码必须满足克劳夫特不等式。

但是克劳夫特不等式仅仅是存在性的判定定理，即该定理不能作为判断一种码是否为唯一可译码的依据。

也就是说当码字长度和码符号数满足克劳夫特不等式时，则必可以构造出唯一可译码，否则不能构造出唯一可译码。

因此我们必须找到一种能够判断一种码是否为唯一可译码的方法，尾随后缀法。

尾随后缀法算法描述：设C为码字集合，按以下步骤构造此码的尾随后缀集合F：(1) 考查C中所有的码字，若Wi是Wj的前缀，则将相应的后缀作为一个尾随后缀放入集合F0中；(2) 考查C和Fi两个集合，若Wj∈C是Wi∈Fi的前缀或Wi∈Fi 是Wj∈C的前缀，则将相应的后缀作为尾随后缀码放入集合Fi+1中；(3)F包含于Fi即为码C的尾随后缀集合；(4) 若F中出现了C中的元素，则算法终止，返回假(C不是唯一可译码)；否则若F中没有出现新的元素，则返回真。

在我们设计的算法中，需要注意的是我们需要的是先输出所有尾随后缀的集合，然后再判断该码是否是唯一可译码，即如F中出现了C中的元素，则C不是唯一可译码，否则若F中没有出现新的元素，则C为唯一可译码。

信息论与编码课程设计报告设计题目：统计信源熵、香农编码与费诺编码专业班级：XXXXXXXXXXXX姓名：XXXXXXXXXXXX学号：XXXXXXXXXXXX指导老师：XXXXXXXXXXXX成绩：时间：2015年3月31日目录一、设计任务与要求 (2)二、设计思路 (2)三、设计流程图 (5)四、程序及结果 (7)五、心得体会 (11)六、参考文献 (12)附录 (13)一、 设计任务与要求1. 统计信源熵要求：统计任意文本文件中各字符（不区分大小写）数量，计算字符概率，并计算信源熵。

2. 香农编码要求：任意输入消息概率，利用香农编码方法进行编码，并计算信源熵和编码效率。

3. 费诺编码要求：任意输入消息概率，利用费诺编码方法进行编码，并计算信源熵和编码效率。

二、 设计思路1、统计信源熵：统计信源熵就是对一篇英文文章中的i 种字符（包括标点符号及空格，英文字母不区分大小写）统计其出现的次数count i （），然后计算其出现的概率()p i ，最后由信源熵计算公式：1()()log ()ni i n H x p x p x ==-∑算出信源熵()H x 。

所以整体步骤就是先统计出文章中总的字符数，然后统计每种字符的数目，直到算出所有种类的字符的个数，进而算出每种字符的概率，再由信源熵计算公式计算出信源熵。

在这里我选择用Matlab 来计算信源熵，因为Matlab 中系统自带了许多文件操作和字符串操作函数，其计算功能强大，所以计算信源熵很是简单。

2、香农编码信源编码模型：信源编码就是从信源符号到码符号的一种映射f ，它把信源输出的符号i a 变换成码元序列i x 。

1,2,...,,i i N f a i q x =→：1:{,...,}q S s a a ∈ 信源 12{,...,}li i i i i X x x x = 码元1{,...,}1,2,...,i q S a a i N ∈=1,2,...,N i q =1:{,...,}r X x x x ∈ 码符号N 次扩展信源无失真编码器凡是能载荷一定的信息量，且码字的平均长度最短，可分离的变长码的码字集合都可以称为最佳码。

信息与编码论课程设计一、课程目标知识目标：1. 学生能理解信息与编码的基本概念，掌握不同编码方式的特点及应用场景。

2. 学生能掌握二进制、十进制等数制转换方法，并运用这些方法进行编码和解码。

3. 学生了解信息安全的基本原理，认识到保护信息的重要性。

技能目标：1. 学生具备运用二进制进行简单计算和信息编码的能力。

2. 学生能够运用所学知识，分析并解决实际问题，例如：设计一个简单的加密和解密程序。

3. 学生能够通过合作与交流，共同探讨信息与编码的应用，提高团队协作能力。

情感态度价值观目标：1. 学生培养对信息科学的兴趣，激发探究精神，树立创新意识。

2. 学生认识到信息与编码在科技发展和社会生活中的重要作用，增强社会责任感。

3. 学生在合作交流中，学会尊重他人，培养良好的沟通能力和团队协作精神。

课程性质：本课程为理论与实践相结合的课程，旨在帮助学生掌握信息与编码的基本知识，提高实际操作能力。

学生特点：六年级学生具有一定的逻辑思维能力和自主学习能力，对新鲜事物充满好奇，喜欢探索和挑战。

教学要求：注重启发式教学，引导学生主动参与，培养实践操作能力；关注学生个体差异，因材施教，提高教学质量。

通过分解课程目标为具体学习成果，使学生在课程学习中获得全面、均衡的发展。

二、教学内容1. 信息与编码基本概念：介绍信息的定义、特性及编码的必要性；讲解不同编码方式（如：文字编码、图像编码、声音编码等）及其应用场景。

教材章节：第一章 信息与编码基本概念2. 数制转换：重点讲解二进制与十进制的转换方法，拓展至其他进制转换；通过实例分析，使学生掌握数制转换在实际应用中的运用。

教材章节：第二章 数制转换及其应用3. 编码与解码：以二进制编码为例，讲解编码和解码的基本原理；引导学生运用所学知识进行简单的编码与解码实践。

教材章节：第三章 编码与解码技术4. 信息安全：介绍信息安全的基本原理，如加密、解密、数字签名等；通过案例分析，使学生了解信息安全在现实生活中的重要性。

信息论与编码课程设计报告设计题目：统计信源熵与香农编码专业班级：学号：学生姓名：指导老师：教师评分：2015年3月24日目录一、设计任务与要求 (3)二、设计思路 (3)三、设计流程图 (4)四、程序运行及结果 (5)五、心得体会 (6)参考文献 (7)附录：源程序 (7)一、设计任务与要求1、统计信源熵要求：统计任意文本文件中各字符（不区分大小写）数量 ,计算字符概率 ,并计算信源熵。

2、香农编码要求：任意输入消息概率 ,利用香农编码方法进行编码 ,并计算信源熵和编码效率。

二、设计思路1、统计信源熵在VC++环境中进行编程：（1）打开一篇文章 ,将26个英文字母作为信源。

（2）计算每个字母出现的次数（不区分大小写） ,再通过计算信源总大小来计算在本篇文章中每个字母出现的频率。

（3）通过信源熵计算公式来计算信源熵。

2、香农编码设计思路香农编码主要是通过一系列步骤支出平均码长与信源之间的关系 ,同时是平均码长达到极限值 ,即选择的每个码字的长度k 满足下式： I （x ）≤k ＜I(x)+1 具体步骤如下：a 、将信源消息符号按其出现的概率大小依次排列为：p1≥p2≥…≥pnb 、确定满足下列不等式的整数码长k 为：-lb(pi) ≤k ≤-lb(pi)+1c 、为了编成唯一可译码 ,计算第i 个消息的累加概率：pi =∑p (ak )i−1k=1d 、将累加概率Pi 变换成二进制。

e 、取Pi 二进制数的小数点后Ki 位即为该消息符号的二进制码字。

在香农编码中对于求解编码效率主要是依靠这个公式：R=H(X)/K,其中k =∑p (ai )ki n i=1对于求解信源熵主要依靠公式：H （X ）=−∑p (xi )logp(xi)ni=1三、设计流程图1、统计信源熵：↓↓↓↓2、香农编码：↓↓↓↓↓↓↓四、程序运行及结果1、统计信源熵：2、香农编码：五、心得体会通过本次课程设计的练习,进一步巩固了信源熵、信源编码的基本原理,基本上掌握了编码方法,对编程软件的使用得到了很大的熟悉,有效增强了自主设计、编程调试的开发能力,同时也大大提高了本身的实践创新能力。

目录一：实验原理----------------------------1二：程序源代码--------------------------1三：实验分析-----------------------------6四：实验结论---------------------------7赫夫曼编码一：实验原理哈夫曼编码的具体步骤归纳如下：① 概率统计（如对一幅图像，或m幅同种类型图像作灰度信号统计），得到n个不同概率的信息符号。

② 将n个信源信息符号的n个概率，按概率大小排序。

③ 将n个概率中，最后两个小概率相加，这时概率个数减为n-1个。

④ 将n-1个概率，按大小重新排序。

⑤ 重复③，将新排序后的最后两个小概率再相加，相加和与其余概率再排序。

⑥ 如此反复重复n-2次，得到只剩两个概率序列。

⑦ 以二进制码元(0.1)赋值，构成哈夫曼码字。

编码结束。

哈夫曼码字长度和信息符号出现概率大小次序正好相反，即大概信息符号分配码字长度短，小概率信息符号分配码字长度长。

C、哈夫曼编码的特点(1)哈夫曼编码的构造顺序明确，但码不是唯一的(因以大赋1还是小的赋1而异；(2)哈夫曼编码的字长参差不齐，硬件实现不方便；(3)只有在概率分布很不均匀时，哈夫曼编码才有显著的效果，而在信源分布均匀时，一般不使用哈夫曼编码。

二：程序源代码：#define MAXVALUE 10000#define MAXLEAF 30#define MAXNODE 59#define MAXBIT 10#define LENTH 30#include "stdio.h"#include<iostream>typedef struct{float gailv;int flag;int parent;int lchild;int rchild;char ch;int t;}HNodeType;typedef struct{int bit[MAXBIT];int start;}HCodeType;typedef struct{float gailv;char letter;}mytype; /*it's the type of data save in file*/typedef struct filehuff{int count;mytype mydata[MAXLEAF];filehuff(){count=0; };};filehuff filedata;char code[MAXVALUE];HNodeType HuffNode[MAXNODE];void savetofile(){FILE *fp;if((fp=fopen("datafile.txt","wb"))==NULL){printf("打开失败 ....");return;}if(fwrite(&filedata,sizeof(filedata),1,fp)!=1) printf("写入文件失败 ....");fclose(fp);}void openfile(){ FILE *fp;if((fp=fopen("datafile.txt","rb"))==NULL){return;}fread(&filedata,sizeof(filedata),1,fp);}void translate(){char c;int i,j,k=0,m,n=0;printf("请输入你想要译码的二进制序列 ");printf("\n");getchar();scanf("%c",&c);for(i=0;(i<MAXVALUE)&&(c=='1'||c=='0');i++){ code[i]=c;scanf("%c",&c);}printf("对应的信源符号为：");for(j=0;j<=MAXVALUE&&HuffNode[j].parent!=-1;j++) m=j+1;for(j=0,k=m;j<=i;j++){if(code[j]=='0'){n=HuffNode[k].lchild;if(n==-1){printf("%c",HuffNode[k].ch);k=m;j--;continue;}k=n;}else{n=HuffNode[k].rchild;if(n==-1){printf("%c",HuffNode[k].ch);k=m;j--;continue;}k=n;}}}void Huffman(){HCodeType HuffCode[MAXLEAF],cd;int i,j,m1,m2,x1,x2,c,p,m;if(filedata.count==0){ printf("\n输入信源符号总数 : ");scanf("%d",&m);filedata.count=m;for(i=0;i<2*m-1;i++){ HuffNode[i].gailv=0;HuffNode[i].parent=-1;HuffNode[i].flag=0;HuffNode[i].lchild=-1;HuffNode[i].rchild=-1;HuffNode[i].ch='a';}for(i=0;i<m;i++){ printf("请输入 (概率,信源符号):");scanf("%f %c",&HuffNode[i].gailv,&HuffNode[i].ch); filedata.mydata[i].gailv=HuffNode[i].gailv; filedata.mydata[i].letter=HuffNode[i].ch;savetofile();}}else{ m=filedata.count;for(i=0;i<2*m-1;i++){ HuffNode[i].gailv=0;HuffNode[i].parent=-1;HuffNode[i].flag=0;HuffNode[i].lchild=-1;HuffNode[i].rchild=-1;HuffNode[i].ch=3;}for(i=0;i<m;i++){ HuffNode[i].gailv=filedata.mydata[i].gailv;HuffNode[i].ch=filedata.mydata[i].letter;}}for(i=0;i<m-1;i++){ m1=m2=MAXVALUE;x1=x2=0;for(j=0;j<m+i;j++){ if(HuffNode[j].gailv<m1&&HuffNode[j].flag==0){ m2=m1;x2=x1;m1=HuffNode[j].gailv;x1=j;}else if(HuffNode[j].gailv<m2&&HuffNode[j].flag==0){ m2=HuffNode[j].gailv;x2=j;}}HuffNode[x1].parent=m+i;HuffNode[x2].parent=m+i;HuffNode[x1].flag=1;HuffNode[x2].flag=1;HuffNode[m+i].gailv=HuffNode[x1].gailv+HuffNode[x2].gailv;HuffNode[m+i].lchild=x1;HuffNode[m+i].rchild=x2;}for(i=0;i<m;i++){ cd.start=m-1;c=i;p=HuffNode[c].parent;while(p!=-1){ if(HuffNode[p].lchild==c)cd.bit[cd.start]=0;else cd.bit[cd.start]=1;cd.start--;c=p;p=HuffNode[c].parent;}for(j=cd.start+1;j<m;j++)HuffCode[i].bit[j]=cd.bit[j]; HuffCode[i].start=cd.start;}printf("对应的赫夫曼编码如下：");printf("\n信源符号概率编码\n");for(i=0;i<m;i++){printf("%c %f ",HuffNode[i].ch,HuffNode[i].gailv); for(j=HuffCode[i].start+1;j<m;j++)printf("%d",HuffCode[i].bit[j]);printf("\n");}printf("按任意键继续......\n");}main(){char yn;printf("\n");printf("\n");printf(" 信息论与编码实验 \n");openfile();Huffman();for(;;){printf("\n是否想要把序列译码为信源符号 ?: (输入 y or n) "); scanf("%c",&yn);if(yn=='y'||yn=='Y')translate();elsebreak;}return 0;system("pause");}三：实验分析编码实例如下：由图中可以看出，符合基本的赫夫曼编码的原理，概率大的用短码，概率小的用长码。

福建农林大学计算机与信息学院信息工程类信息论与编码课程实验报告实验项目列表实验名称1：信源建模一、实验目的和要求（1）进一步熟悉信源建模；（2）掌握MATLAB程序设计和调试过程中数值的进制转换、数值与字符串之间的转换等技术。

二、实验内容（1）假设在一个通信过程中主要传递的对象以数字文本的方式呈现。

（2）我们用统计的方式，发现这八个消息分别是由N1，N2，…，N8个符号组成的。

在这些消息是中出现了以下符号（符号1，符号2，…，符号M）每个符号总共现了（次数1，次数2，…，次数M）我们认为，传递对象的信源模型可表示为：X为随机变量（即每次一个字符）；取值空间为：（符号1，符号2，…，符号M）；其概率分布列为：（次数1/（N1+…+N8），…，次数M/( N1+…+N8）)三、实验环境硬件：计算机软件：MATLAB四、实验原理图像和语声是最常用的两类主要信源。

要充分描述一幅活动的立体彩色图像，须用一个四元的随机矢量场X(x，y，z，t），其中x，y，z为空间坐标；t 为时间坐标；而X是六维矢量，即表示左、右眼的亮度、色度和饱和度。

然而通常的黑白电视信号是对平面图像经过线性扫描而形成。

这样，上述四元随机矢量场可简化为一个随机过程X(t）。

图像信源的最主要客观统计特性是信源的幅度概率分布、自相关函数或功率谱。

关于图像信源的幅度概率分布，虽然人们已经作了大量的统计和分析，但尚未得出比较一致的结论。

至于图像的自相关函数，实验证明它大体上遵从负指数型分布。

其指数的衰减速度完全取决于图像类型与图像的细节结构。

实际上，由于信源的信号处理往往是在频域上进行，这时可以通过傅里叶变换将信源的自相关函数转换为功率谱密度。

功率谱密度也可以直接测试。

语声信号一般也可以用一个随机过程X（t）来表示。

语声信源的统计特性主要有语声的幅度概率分布、自相关函数、语声平均功率谱以及语声共振峰频率分布等。

实验结果表明语声的幅度概率分布可用伽玛（γ）分布或拉普拉斯分布来近似。