《信息论编码》课程报告(格式范例)

信息论与编码课程报告
信息论与编码是一门重要的课程，在计算机科学与技术，通信工程，信号处理
等专业中发挥着重要的作用。

信息论涉及到信息的量化、源编码、信息隐藏，噪声抑制以及信息协议的分析等诸多方面。

而编码中的许多领域如信号处理、视频编码、图像处理等又建立在信息论的基础之上。

在这门课程中，学生可以学习如何把信息量化，以及不同的编码方法和算法，明白信息和音频的处理，还可以学习复杂格式的音频、视频编码。

此外，学习中还会涉及到模拟和数字信号，熵、信道容量与噪讲，数字信号处理，数字信号编码等多种多样的知识点，其中还包括噪讲模型、噪讲容量等多种不同概念。

整个信息论和编码领域有着丰富的应用，为听力、视觉等智能分析技术的实现
提供了理论支撑。

基于信息论的研究发明了压缩编码技术，它可以用来压缩数据，提高传输速率和储存空间，同时编码技术可以使数据免于传输过程中的损耗，有效地实现了音频、视频等多种数据的传输。

此外，信息论和编码在模式识别与多媒体通信、卫星通信、生物医学等多个领域都有着重要的应用。

综上所述，信息论与编码课程是个重要的学科，在计算机科学与技术，通信工程，算法，信号处理，多媒体通信，生物医学等领域中有着广泛的应用。

该课程主要是以学习源编码，熵、信道容量，噪讲，数字信号处理，数字信号编码，噪讲模型，压缩编码等多种专业概念为基础，因此有深入研习的必要，以获得多方面的知识和理解，为日后的技能应用打实基础。

《信息论与编码技术》实验报告实验一：请根据公式-plogp ，说明小概率事件和大概率事件对熵的贡献。

解：先做图，然后分析。

将公式写为)(log )(2p p p f -=对它编写计算和画图程序如下：p=0:0.01:1;x=-p.*log2(p);plot(p,x);从图中曲线看出，小概率事件和大概率事件的情况下，熵值都很低，贡献很小，在概率为0.5附近时熵值最大，故此时对熵的贡献最大。

实验二：请对a 、b 、c 霍夫曼编码，它们的概率是0.6、0.3、0.1。

并以此对符号串ababaacbaa 编码和译码。

解：编码步骤分为：事件排序，符号编码，信源编码，信道编码。

MATLAB 程序：clc;a=0.3;b=0.3;c=0.4; %%%霍夫曼编码A=[a,b,c];A=fliplr(sort(A)); %%%降序排序if (a==b)&(a>c), %%实现了当a,b,c 其中两概率相同时的编码，及3值均不同时的编码 u='a';x=a;v='b';y=b;w='c';z=c;elseif (a==b)&(a<c),u='c';x=c;v='a';y=a;w='b';z=b;elseif (c==b)&(c>a),u='b';x=b;v='c';y=c;w='a';z=a;elseif (c==b)&(c<a),u='a';x=a;v='b';y=b;w='c';z=c;elseif(a==c)&(a>b),u='a',x=a;v='c',y=c;w='b',z=b;elseif(a==c)&(a<b),u='b';x=b;v='a';y=a;w='c';z=c;elseif A(1,1)==a,u='a';x=a;elseif A(1,1)==b,u='b';x=b;elseif A(1,1)==c,u='c';x=c;endif A(1,2)==a,v='a';y=a;elseif A(1,2)==b,v='b';y=b;elseif A(1,2)==c,v='c';y=c;endif A(1,3)==a,w='a';z=a;elseif A(1,3)==b,w='b';z=b;elseif A(1,3)==c,w='c';z=c;endend %%%x，y，z按从大到小顺序存放a，b，c的值，u,v,w存对应字母if x>=(y+z),U='0';V(1)='0';V(2)='1';W(1)='1';W(2)='1';else U='1';V(1)='0';V(2)='0';W(1)='1';W(2)='0';enddisp('霍夫曼编码结果：')if u=='a',a=fliplr(U),elseif u=='b',b=fliplr(U),else c=fliplr(U),end if v=='a',a=fliplr(V),elseif v=='b',b=fliplr(V),else c=fliplr(V),end if w=='a',a=fliplr(W),elseif w=='b',b=fliplr(W),else c=fliplr(W),end %%%编码步骤为：信源编码，信道编码disp('信源符号序列：')s='ababaacbaa' %%%信源编码q=[];for i=s;if i=='a',d=a;elseif i=='b';d=b;else d=c;end;q=[q,d];endm=[]; %%%符号变数字for i=q;m=[m,str2num(i)];endP=[1,1,1,0;0,1,1,1;1,1,0,1];G=[eye(3),P];%%%信道编码%%%接下来的for循环在程序中多次使用，此处作用是将已编码组m每3个1组放入mk中进行运算之后存入Ck数组中，每次mk中运算结束之后清空，再进行下一组运算，而信道编码结果数组C则由C=[C,Ck]存入每组7个码。

信息论与编码课程设计报告设计题目：判断唯一可译码、香农编码专业班级电信12-03学号7学生琳指导教师成凌飞教师评分2015年3月21日目录一、设计任务与要求 (2)二、设计思路 (2)三、设计流程图 (3)四、程序运行及结果 (4)五、心得体会 (6)参考文献 (7)附录：源程序 (8)一、设计任务与要求通过本次课程设计的练习，使学生进一步巩固信源熵、信源编码的基本原理，掌握具体的编码方法，熟悉编程软件的使用，培养学生自主设计、编程调试的开发能力，同时提高学生的实践创新能力。

1、判断唯一可译码利用尾随后缀法判断任意输入的码是否为唯一可译码，即设计一个程序实现判断输入码组是否为唯一可译码这一功能。

2、香农编码熟悉运用香农编码,并能通过C语言进行编程,对任意输入消息概率，利用香农编码方法进行编码，并计算信源熵和编码效率。

二、设计思路1、判断唯一可译码在我们学习使用了克劳夫特不等式之后，知道唯一可译码必须满足克劳夫特不等式。

但是克劳夫特不等式仅仅是存在性的判定定理，即该定理不能作为判断一种码是否为唯一可译码的依据。

也就是说当码字长度和码符号数满足克劳夫特不等式时，则必可以构造出唯一可译码，否则不能构造出唯一可译码。

因此我们必须找到一种能够判断一种码是否为唯一可译码的方法，尾随后缀法。

尾随后缀法算法描述：设C为码字集合，按以下步骤构造此码的尾随后缀集合F：(1) 考查C中所有的码字，若Wi是Wj的前缀，则将相应的后缀作为一个尾随后缀放入集合F0中；(2) 考查C和Fi两个集合，若Wj∈C是Wi∈Fi的前缀或Wi∈Fi 是Wj∈C的前缀，则将相应的后缀作为尾随后缀码放入集合Fi+1中；(3)F包含于Fi即为码C的尾随后缀集合；(4) 若F中出现了C中的元素，则算法终止，返回假(C不是唯一可译码)；否则若F中没有出现新的元素，则返回真。

在我们设计的算法中，需要注意的是我们需要的是先输出所有尾随后缀的集合，然后再判断该码是否是唯一可译码，即如F中出现了C中的元素，则C不是唯一可译码，否则若F中没有出现新的元素，则C为唯一可译码。

信息论与编码实验报告一、实验目的本实验主要目的是通过实验验证信息论与编码理论的基本原理，了解信息的产生、传输和编码的基本过程，深入理解信源、信道和编码的关系，以及各种编码技术的应用。

二、实验设备及原理实验设备：计算机、编码器、解码器、信道模拟器、信噪比计算器等。

实验原理：信息论是由香农提出的一种研究信息传输与数据压缩问题的数学理论。

信源产生的消息通常是具有统计规律的，信道是传送消息的媒体，编码是将消息转换成信号的过程。

根据信息论的基本原理，信息的度量单位是比特（bit），一个比特可以表示两个平等可能的事件。

信源的熵（Entropy）是用来衡量信源产生的信息量大小的物理量，熵越大，信息量就越多。

信道容量是用来衡量信道传输信息的极限容量，即信道的最高传输速率，单位是比特/秒。

编码是为了提高信道的利用率，减少传输时间，提高传输质量等目的而进行的一种信号转换过程。

常见的编码技术有霍夫曼编码、香农-费诺编码、区块编码等。

三、实验步骤1.运行编码器和解码器软件，设置信源信息，编码器将信源信息进行编码，生成信道输入信号。

2.设置信道模拟器的信道参数，模拟信道传输过程。

3.将信道输出信号输入到解码器，解码器将信道输出信号进行解码，恢复信源信息。

4.计算信道容量和实际传输速率，比较两者的差异。

5.改变信道参数和编码方式，观察对实际传输速率的影响。

四、实验结果与分析通过实验，我们可以得到不同信道及编码方式下的信息传输速率，根据信道参数和编码方式的不同，传输速率有时会接近信道容量，有时会低于信道容量。

这是因为在真实的传输过程中，存在信噪比、传输距离等因素导致的误码率，从而降低了实际传输速率。

在实验中，我们还可以观察到不同编码方式对传输速率的影响。

例如，霍夫曼编码适用于信源概率分布不均匀的情况，可以实现数据压缩，提高传输效率。

而区块编码适用于数据容量较大的情况，可以分块传输，降低传输错误率。

此外，通过实验我们还可以了解到信息论中的一些重要概念，如信源熵、信道容量等。

中南大学信息论编码实验报告题目信息论编码学生姓名汤思远指导教师张祖平学院信息院学号 090912052专业班级电子1班完成时间 14/12/5实验一 关于信源熵的实验一、实验目的1. 掌握离散信源熵的原理和计算方法。

2. 熟悉matlab 软件的基本操作，练习使用matlab 求解信源的信息熵。

3. 自学图像熵的相关概念，并应用所学知识，使用matlab 或其他开发工具求解图像熵。

4. 掌握Excel 的绘图功能，使用Excel 绘制散点图、直方图。

二、实验原理1. 离散信源相关的基本概念、原理和计算公式产生离散信息的信源称为离散信源。

离散信源只能产生有限种符号。

随机事件的自信息量I （x i ）为其对应的随机变量x i 出现概率对数的负值。

即：I （x i ）= -log 2 p (x i )随机事件X 的平均不确定度（信源熵）H （X ）为离散随机变量x i 出现概率的数学期望，即：∑∑-==i ii i i i x p x p x I x p X H )(log )()()()(2. 信源的信息熵设信源符号集X ={a1，a2，…，ar}，每个符号发生的概率分别为p (a1)=p 1，p (a2)=p 2，…，p (ar)，即信源的概率空间为，⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡)(...... )2(2 )1(1ar p ar a p a a p a P X 则该信源的信源熵为：H (X ) = - p (a1) log p (a1) –p (a2) log p (a2) –…–p (ar) log p (ar)3. 信道的数学模型与相关熵的计算• 单符号离散无噪声无损信道的信道容量 ()max (;)bit/i p x C I X Y =信道符号4. MATLAB 二维绘图用matlab 中的命令plot(x , y )就可以自动绘制出二维图来。

例1-2，在matlab 上绘制余弦曲线图，y = cos x ，其中0 ≤ x ≤ 2π。

《信息论与编码》实验报告《信息论与编码》实验报告实验序号：02 实验项目名称：离散信道及其信道容量结论：1、当输入和输出符号个数相同，且都等于r 时，则此信道称为强对称信道或均匀信道；2、这类信道中总的错误概率为 p ，对称地平均分配给r-1个输出符号。

实验内容二：平均互信息I （X ；Y ）是凸函数的论文一、 问题：由信源的概率分布P （Y ）=对x 求和P （X ）*P(Y|X)和平均互信息I(X;Y)=对x,y 求和p(x)*P(y|x)*logP(y|x)/P(y)可知，平均互信息只与信源的概率分布和信道的传递概率有关，但是它们之间有种什么关系？二、 证明定理一：平均互信息I(X;Y)是输入信源的概率分布P(x)的形函数（上凸函数）解： 根据上凸函数的定义来证明，先固定信道，即信道的传递概率P(y|x)是固定的。

那么平均互信息I(X;Y)将只是P(x)的函数，简写成I[P(x)]。

现选择输入信源X 的两种已知的概率分布P1(x)和P2(x)。

其对应的联合分布概率为P1(xy)=P1(x)P(y|x)和P2(xy)=P2(x)P(y|x)，因而信道输出端的平均互信息分别为I[P1(x)]和I[P2(x)]。

再选择输入变量X 的另一种概率分布P(x)，令01θ<<，和1θθ+=，而P(x)= 12()()P x P x θθ+，因而得其相应的平均互信息为I[P(x)]。

根据平均互信息的定义得1212,,,12[()][()][()](|)(|)(|)()log()log ()log ()()()x yx y x y I P x I P x I P x P y x P y x P y x P xy P xy P xy P y P y P y θθθθ+-=+-∑∑∑结论：平均互信息与信源的概率分布有关，有上可知，平均互信息是输入信源的概率分布P(x)的形凸函数。

定理二：平均互信息I(X;Y)是信道传递概率P(Y|X)的形凸函数（又称下凸函数）猜想：由平均互信息是输入信源的概率分布的形凸函数知，当固定某信道时，选择不同的信源（其概率分布不同）与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。

福建农林大学计算机与信息学院信息工程类信息论与编码课程实验报告实验项目列表实验名称1：信源建模一、实验目的和要求（1）进一步熟悉信源建模；（2）掌握MATLAB程序设计和调试过程中数值的进制转换、数值与字符串之间的转换等技术。

二、实验内容（1）假设在一个通信过程中主要传递的对象以数字文本的方式呈现。

（2）我们用统计的方式，发现这八个消息分别是由N1，N2，…，N8个符号组成的。

在这些消息是中出现了以下符号（符号1，符号2，…，符号M）每个符号总共现了（次数1，次数2，…，次数M）我们认为，传递对象的信源模型可表示为：X为随机变量（即每次一个字符）；取值空间为：（符号1，符号2，…，符号M）；其概率分布列为：（次数1/（N1+…+N8），…，次数M/( N1+…+N8）)三、实验环境硬件：计算机软件：MATLAB四、实验原理图像和语声是最常用的两类主要信源。

要充分描述一幅活动的立体彩色图像，须用一个四元的随机矢量场X(x，y，z，t），其中x，y，z为空间坐标；t 为时间坐标；而X是六维矢量，即表示左、右眼的亮度、色度和饱和度。

然而通常的黑白电视信号是对平面图像经过线性扫描而形成。

这样，上述四元随机矢量场可简化为一个随机过程X(t）。

图像信源的最主要客观统计特性是信源的幅度概率分布、自相关函数或功率谱。

关于图像信源的幅度概率分布，虽然人们已经作了大量的统计和分析，但尚未得出比较一致的结论。

至于图像的自相关函数，实验证明它大体上遵从负指数型分布。

其指数的衰减速度完全取决于图像类型与图像的细节结构。

实际上，由于信源的信号处理往往是在频域上进行，这时可以通过傅里叶变换将信源的自相关函数转换为功率谱密度。

功率谱密度也可以直接测试。

语声信号一般也可以用一个随机过程X（t）来表示。

语声信源的统计特性主要有语声的幅度概率分布、自相关函数、语声平均功率谱以及语声共振峰频率分布等。

实验结果表明语声的幅度概率分布可用伽玛（γ）分布或拉普拉斯分布来近似。

信息论与编码实验报告一、实验目的信息论与编码是一门涉及信息的度量、传输和处理的学科，通过实验，旨在深入理解信息论的基本概念和编码原理，掌握常见的编码方法及其性能评估，提高对信息处理和通信系统的分析与设计能力。

二、实验原理（一）信息论基础信息熵是信息论中用于度量信息量的重要概念。

对于一个离散随机变量 X，其概率分布为 P(X) ＝｛p(x1)， p(x2)，， p(xn)｝，则信息熵H(X) 的定义为：H(X) ＝∑p(xi)log2(p(xi)）。

（二）编码原理1、无失真信源编码：通过去除信源中的冗余信息，实现用尽可能少的比特数来表示信源符号，常见的方法有香农编码、哈夫曼编码等。

2、有噪信道编码：为了提高信息在有噪声信道中传输的可靠性，通过添加冗余信息进行纠错编码，如线性分组码、卷积码等。

三、实验内容及步骤（一）信息熵的计算1、生成一个离散信源，例如信源符号集为{A, B, C, D}，对应的概率分布为{02, 03, 01, 04}。

2、根据信息熵的定义，使用编程语言计算该信源的信息熵。

（二）香农编码1、按照香农编码的步骤，首先计算信源符号的概率，并根据概率计算每个符号的编码长度。

2、确定编码值，生成香农编码表。

（三）哈夫曼编码1、构建哈夫曼树，根据信源符号的概率确定树的结构。

2、为每个信源符号分配编码，生成哈夫曼编码表。

（四）线性分组码1、选择一种线性分组码，如（7, 4）汉明码。

2、生成编码矩阵，对输入信息进行编码。

3、在接收端进行纠错译码。

四、实验结果与分析（一）信息熵计算结果对于上述生成的离散信源，计算得到的信息熵约为 184 比特/符号。

这表明该信源存在一定的不确定性，需要一定的信息量来准确描述。

（二）香农编码结果香农编码表如下：｜信源符号|概率|编码长度|编码值|｜｜｜｜｜｜A|02|232|00|｜B|03|174|10|｜C|01|332|110|｜D|04|132|111|香农编码的平均码长较长，编码效率相对较低。