下载文档原格式
信息论与编码实验报告信息论与编码实验报告实验一：英文文本信息量的计算一、实验目的及要求a）实验目的1、通过本实验熟悉Matlab 软件编程环境2、编写M 文件实现对英文文本信息量的统计，掌握信息量、信源熵的计算方法b）实验要求1、了解matlab 中M 文件的编辑、调试过程2、编写程序实现对给定英文文本信息量的统计3、英文文本中字母不区分大小写，考虑空格的信息量，但不考虑标点符号的信息量4、建议英文文本采用txt 格式二、实验步骤及运行结果记录a）实验步骤1、查找各个英文字母及空格出现的频率2、在Matlab 中读取给定的英文文章3、计算英文文章的长度4、统计在该文章中各个字母及空格出现的次数并放入数组N 中5、计算各个字母和空格的信息量及整篇文章的信息量6、计算信源熵b）实验结果sumI = +003；H = 三、程序流程图四、程序清单，并注释每条语句五、实验小结通过本次实验熟悉了Matlab 软件编程环境和一些函数的功能及使用，掌握了信息量、信源熵的计算方法。
1 附一：开始读取英文文章计算文章的长度嵌套的for 循环语句假判断是否符合循环条件真if 否elseif 判断字是否为大写母输入相应的频率否elseif 判断是否为小写字母计算各个字母、空格及整篇文章的信息量是判断是否为小写字母是计算信源熵是放入数组N 中对应的位置放入数组N 中对应的位置放入数组N 中对应的位置结束附二: wenzhang=textread(‘实验一：english ‘,’\’); M=size(wenzhang); row=M(1,1); line=M(1,2); N=zeros(1,27); for i=1:row for j=1:line %读取英文文章%文章的长度ifdouble(wenzhang(i,j))>96&&double(wenz hang(i,j))double(wenzhang(i,j))>64&&double(wenz hang(i,j))N(1,double(wenzhang(i,j))-64)=N(1,doubl e(wenzhang(i,j))-64)+1; elseif double(wenzhang(i,j))==32N(1,27)=N(1,27)+1; end end end %统计各字母和空格出现的个数并存入N数组中。
信息论与编码课程报告
信息论与编码是一门重要的课程，在计算机科学与技术，通信工程，信号处理
等专业中发挥着重要的作用。
信息论涉及到信息的量化、源编码、信息隐藏，噪声抑制以及信息协议的分析等诸多方面。
而编码中的许多领域如信号处理、视频编码、图像处理等又建立在信息论的基础之上。
在这门课程中，学生可以学习如何把信息量化，以及不同的编码方法和算法，明白信息和音频的处理，还可以学习复杂格式的音频、视频编码。
此外，学习中还会涉及到模拟和数字信号，熵、信道容量与噪讲，数字信号处理，数字信号编码等多种多样的知识点，其中还包括噪讲模型、噪讲容量等多种不同概念。
整个信息论和编码领域有着丰富的应用，为听力、视觉等智能分析技术的实现
提供了理论支撑。
基于信息论的研究发明了压缩编码技术，它可以用来压缩数据，提高传输速率和储存空间，同时编码技术可以使数据免于传输过程中的损耗，有效地实现了音频、视频等多种数据的传输。
此外，信息论和编码在模式识别与多媒体通信、卫星通信、生物医学等多个领域都有着重要的应用。
综上所述，信息论与编码课程是个重要的学科，在计算机科学与技术，通信工程，算法，信号处理，多媒体通信，生物医学等领域中有着广泛的应用。
该课程主要是以学习源编码，熵、信道容量，噪讲，数字信号处理，数字信号编码，噪讲模型，压缩编码等多种专业概念为基础，因此有深入研习的必要，以获得多方面的知识和理解，为日后的技能应用打实基础。
《信息论与编码》课程自学报告题目：AAC音频压缩编码学号：xxxxxxxxx姓名：xxxxxxx任课教师：xxxxxxx联系方式：xxxxxxxxxxxxx二零一六年一月一日一、自学内容小结与分析1. 基本概念要想无失真地传送连续信源的消息，要求信息率R 必须为无穷大。
这实际上是做不到的，因此实际通信系统允许一定的失真存在，那么对信息率的要求便可降低，换言之，就是允许压缩信源输出的信息率。
信息率失真理论研究的就是信息率与允许失真之间的关系。
1.1 失真函数与平均失真度为了定量地描述信息率与失真的关系，首先定义失真的测度。
设离散无记忆信源1212 , ,, (),(),,()()n n a a a X p a p a p a P X ⎛⎫⎛⎫= ⎪⎪⎝⎭⎝⎭。
信源符号通过信道传送到接收端Y ，1212 , , , (),(),,()()m m b b b Y p b p b p b P Y ⎛⎫⎛⎫= ⎪ ⎪⎝⎭⎝⎭。
对于每一对(),i j a b ，指定一个非负的函数(),0i j d a b ≥ (1) 称d(a i ,b j )为单个符号的失真度或失真函数。
用它来表示信源发出一个符号a i ，而在接收端再现b j 所引起的误差或失真。
由于a i 和b j 都是随机变量，所以失真函数d(a i ,b j )也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真度，记为11[(,)]()(/)(,)nmi j i j i i j i j D E d a b p a p b a d a b ====∑∑ (2)1.2 信息率失真函数的定义 1.2.1 D 允许试验信道平均失真由信源分布p(a i )、假想信道的转移概率p(b j /a i )和失真函数d(a i ,b j )决定，若p(a i )和d(a i ,b j )已定，则调整p(b j /a i )使D̅≤D ，称P D ={p (bj ai):D ̅≤D}为D 失真许可的试验信道。
信息论与编码实验2-实验报告信息论与编码实验 2 实验报告一、实验目的本次信息论与编码实验 2 的主要目的是深入理解和应用信息论与编码的相关知识，通过实际操作和数据分析，进一步掌握信源编码和信道编码的原理及方法，提高对信息传输效率和可靠性的认识。
二、实验原理（一）信源编码信源编码的目的是减少信源输出符号序列中的冗余度，提高符号的平均信息量。
常见的信源编码方法有香农编码、哈夫曼编码等。
香农编码的基本思想是根据符号出现的概率来分配码字长度，概率越大，码字越短。
哈夫曼编码则通过构建一棵最优二叉树，为出现概率较高的符号分配较短的编码，从而实现平均码长的最小化。
（二）信道编码信道编码用于增加信息传输的可靠性，通过在发送的信息中添加冗余信息，使得在接收端能够检测和纠正传输过程中产生的错误。
常见的信道编码有线性分组码，如汉明码等。
三、实验内容与步骤（一）信源编码实验1、选取一组具有不同概率分布的信源符号，例如：A（02）、B （03）、C（01）、D（04）。
2、分别使用香农编码和哈夫曼编码对信源符号进行编码。
3、计算两种编码方法的平均码长，并与信源熵进行比较。
（二）信道编码实验1、选择一种线性分组码，如（7,4）汉明码。
2、生成一组随机的信息位。
3、对信息位进行编码，得到编码后的码字。
4、在码字中引入随机错误。
5、进行错误检测和纠正，并计算错误纠正的成功率。
四、实验结果与分析（一）信源编码结果1、香农编码的码字为：A（010）、B（001）、C（100）、D （000）。
平均码长为 22 比特，信源熵约为 184 比特，平均码长略大于信源熵。
2、哈夫曼编码的码字为：A（10）、B（01）、C（111）、D （00）。
平均码长为 19 比特，更接近信源熵，编码效率更高。
（二）信道编码结果在引入一定数量的错误后，（7,4）汉明码能够成功检测并纠正大部分错误，错误纠正成功率较高，表明其在提高信息传输可靠性方面具有较好的性能。
《信息论与编码技术》实验报告实验一：请根据公式-plogp ，说明小概率事件和大概率事件对熵的贡献。
解：先做图，然后分析。
将公式写为)(log )(2p p p f -=对它编写计算和画图程序如下：p=0:0.01:1;x=-p.*log2(p);plot(p,x);从图中曲线看出，小概率事件和大概率事件的情况下，熵值都很低，贡献很小，在概率为0.5附近时熵值最大，故此时对熵的贡献最大。
实验二：请对a 、b 、c 霍夫曼编码，它们的概率是0.6、0.3、0.1。
并以此对符号串ababaacbaa 编码和译码。
解：编码步骤分为：事件排序，符号编码，信源编码，信道编码。
MATLAB 程序：clc;a=0.3;b=0.3;c=0.4; %%%霍夫曼编码A=[a,b,c];A=fliplr(sort(A)); %%%降序排序if (a==b)&(a>c), %%实现了当a,b,c 其中两概率相同时的编码，及3值均不同时的编码 u='a';x=a;v='b';y=b;w='c';z=c;elseif (a==b)&(a<c),u='c';x=c;v='a';y=a;w='b';z=b;elseif (c==b)&(c>a),u='b';x=b;v='c';y=c;w='a';z=a;elseif (c==b)&(c<a),u='a';x=a;v='b';y=b;w='c';z=c;elseif(a==c)&(a>b),u='a',x=a;v='c',y=c;w='b',z=b;elseif(a==c)&(a<b),u='b';x=b;v='a';y=a;w='c';z=c;elseif A(1,1)==a,u='a';x=a;elseif A(1,1)==b,u='b';x=b;elseif A(1,1)==c,u='c';x=c;endif A(1,2)==a,v='a';y=a;elseif A(1,2)==b,v='b';y=b;elseif A(1,2)==c,v='c';y=c;endif A(1,3)==a,w='a';z=a;elseif A(1,3)==b,w='b';z=b;elseif A(1,3)==c,w='c';z=c;endend %%%x，y，z按从大到小顺序存放a，b，c的值，u,v,w存对应字母if x>=(y+z),U='0';V(1)='0';V(2)='1';W(1)='1';W(2)='1';else U='1';V(1)='0';V(2)='0';W(1)='1';W(2)='0';enddisp('霍夫曼编码结果：')if u=='a',a=fliplr(U),elseif u=='b',b=fliplr(U),else c=fliplr(U),end if v=='a',a=fliplr(V),elseif v=='b',b=fliplr(V),else c=fliplr(V),end if w=='a',a=fliplr(W),elseif w=='b',b=fliplr(W),else c=fliplr(W),end %%%编码步骤为：信源编码，信道编码disp('信源符号序列：')s='ababaacbaa' %%%信源编码q=[];for i=s;if i=='a',d=a;elseif i=='b';d=b;else d=c;end;q=[q,d];endm=[]; %%%符号变数字for i=q;m=[m,str2num(i)];endP=[1,1,1,0;0,1,1,1;1,1,0,1];G=[eye(3),P];%%%信道编码%%%接下来的for循环在程序中多次使用，此处作用是将已编码组m每3个1组放入mk中进行运算之后存入Ck数组中，每次mk中运算结束之后清空，再进行下一组运算，而信道编码结果数组C则由C=[C,Ck]存入每组7个码。
信息论与编码实习报告一、引言信息论与编码是通信工程、计算机科学和电子工程等领域的重要基础课程。
本次实习旨在通过实际操作，深入理解和掌握信息论与编码的基本原理和技术，提高我们的实际操作能力和问题解决能力。
二、实习内容1、信息论基础：实习的第一部分，我们通过自学和讨论的方式，深入学习了信息论的基本概念和原理，包括信息的度量、熵、信道容量等。
2、编码理论：在这一阶段，我们重点学习了线性编码、循环编码、哈夫曼编码等编码方法，并了解了编码的效率及其可靠性。
3、模拟与数字通信系统：我们通过模拟软件，设计和实现了简单的模拟通信系统，同时，也通过实验箱，了解了数字通信系统的基本原理和技术。
4、无线通信和网络：在这一部分，我们重点学习了无线通信和网络的基础知识，包括无线信道模型、无线调制解调技术、无线网络协议等。
5、实习项目：最后，我们根据所学的知识，完成了一个实习项目——设计并实现一个具有高可靠性和高效率的通信系统。
三、实习收获通过这次实习，我们收获颇丰。
首先，我们对信息论与编码的基本概念和原理有了更深入的理解和掌握，能够更好地将理论知识应用到实际中。
其次，我们提高了自己的实际操作能力和问题解决能力，能够在实践中发现和解决问题。
最后，我们了解了通信系统的基本原理和技术，对未来的学习和工作有了更好的准备。
四、结论本次实习是我们学习信息论与编码的重要环节，我们通过实际操作，深入理解和掌握了信息论与编码的基本原理和技术，提高了自己的实际操作能力和问题解决能力。
我们也发现了自己的不足之处，将在未来的学习和工作中更加努力，不断提高自己的能力和水平。
信息论与编码曹雪虹课后习题答案随着科技的发展，信息已经成为现代社会中不可或缺的一部分。
在大学中，信息论与编码作为一门重要的学科，已经成为了计算机科学、通信工程、电子工程等专业的必修课程。
而在这门课程中，曹雪虹教授的教材《信息论与编码》被广泛使用。
本文将介绍一些该教材的课后习题答案，以帮助读者更好地掌握信息论与编码的相关知识。
信息论与编码实验报告一、实验目的本实验主要目的是通过实验验证信息论与编码理论的基本原理，了解信息的产生、传输和编码的基本过程，深入理解信源、信道和编码的关系，以及各种编码技术的应用。
二、实验设备及原理实验设备：计算机、编码器、解码器、信道模拟器、信噪比计算器等。
实验原理：信息论是由香农提出的一种研究信息传输与数据压缩问题的数学理论。
信源产生的消息通常是具有统计规律的，信道是传送消息的媒体，编码是将消息转换成信号的过程。
根据信息论的基本原理，信息的度量单位是比特（bit），一个比特可以表示两个平等可能的事件。
信源的熵（Entropy）是用来衡量信源产生的信息量大小的物理量，熵越大，信息量就越多。
信道容量是用来衡量信道传输信息的极限容量，即信道的最高传输速率，单位是比特/秒。
编码是为了提高信道的利用率，减少传输时间，提高传输质量等目的而进行的一种信号转换过程。
常见的编码技术有霍夫曼编码、香农-费诺编码、区块编码等。
三、实验步骤1.运行编码器和解码器软件，设置信源信息，编码器将信源信息进行编码，生成信道输入信号。
2.设置信道模拟器的信道参数，模拟信道传输过程。
3.将信道输出信号输入到解码器，解码器将信道输出信号进行解码，恢复信源信息。
4.计算信道容量和实际传输速率，比较两者的差异。
5.改变信道参数和编码方式，观察对实际传输速率的影响。
四、实验结果与分析通过实验，我们可以得到不同信道及编码方式下的信息传输速率，根据信道参数和编码方式的不同，传输速率有时会接近信道容量，有时会低于信道容量。
这是因为在真实的传输过程中，存在信噪比、传输距离等因素导致的误码率，从而降低了实际传输速率。
在实验中，我们还可以观察到不同编码方式对传输速率的影响。
例如，霍夫曼编码适用于信源概率分布不均匀的情况，可以实现数据压缩，提高传输效率。
而区块编码适用于数据容量较大的情况，可以分块传输，降低传输错误率。
此外，通过实验我们还可以了解到信息论中的一些重要概念，如信源熵、信道容量等。
实验报告课程名称：信息论与编码姓名：系：专业：年级：学号：指导教师：职称：年月日实验三 Shannon 编码一、实验目的1、熟悉离散信源的特点；2、学习仿真离散信源的方法3、学习离散信源平均信息量的计算方法4、熟悉 Matlab 编程二、实验原理给定某个信源符号的概率分布，通过以下的步骤进行香农编码 1、信源符号按概率从大到小排列；12.......n p p p ≥≥≥2、确定满足下列不等式的整数码长i K 为()()1i i i lb p K lb p -≤<-+3、为了编成唯一可译码，计算第i 个消息的累加概率：4、将累加概率i P 变换成二进制数；5、取i P 二进制数的小数点后i K 位即为该消息符号的二进制码字。
三、实验内容1、写出计算自信息量的Matlab 程序2、写出计算离散信源平均信息量的Matlab 程序。
3、将程序在计算机上仿真实现，验证程序的正确性并完成习题。
四、实验环境Microsoft Windows 7 Matlab 6.5五、编码程序计算如下信源进行香农编码，并计算编码效率：⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.06543210a a a a a a a P X MATLAB 程序：(1) a=[0.2 0.18 0.19 0.15 0.17 0.1 0.01]; k=length(a);y=0; for i=1:k-111()i i k k P p a -==∑for n=i+1:kif (a(i)<a(n))t=a(i);a(i)=a(n);a(n)=t;endendends=zeros(k,1);b=zeros(k,1);for m=1:ks(m)=y;y=y+a(m);b(m)=ceil(-log2(a(m)));z=zeros(b(m),1);x=s(m);p=b2d10(x);for r=1:b(m)z(r)=p(r);enddisp('Êä³ö½á¹ûΪ£º')disp('³öʸÅÂÊ'),disp(a(m))disp('ÇóºÍ½á¹û'),disp(s(m))disp('±àÂëλÊý'),disp(b(m))disp('×îÖÕ±àÂë'),disp(z')end(2) function y=b2d10(x)for i=1:8temp=x.*2;if(temp<1)y(i)=0;x=temp;elsex=temp-1;y(i)=1;endend(3) p=[0.2 0.19 0.18 0.17 0.15 0.1 0.01]; sum=0;sum1=0;for i=1:7a(i)=-log2(p(i));K(i)=ceil(a(i));R(i)=p(i)*K(i);sum=sum+R(i);c(i)=a(i)*p(i);sum1=sum1+c(i);endK1=sum;H=sum1;Y=H/K1;disp('ƽ¾ùÐÅÏ¢Á¿'),disp(H)disp('ƽ¾ùÂ볤'),disp(K1)disp('±àÂëЧÂÊ'),disp(Y)六、实验结果输出结果为：出事概率0.2000，求和结果0，编码位数3，最终编码000出事概率0.1900，求和结果0.2000，编码位数3，最终编码001出事概率0.1800，求和结果0.3900，编码位数3，最终编码011出事概率0.1700，求和结果0.5700，编码位数3，最终编码100出事概率0.1500，求和结果0.7400，编码位数3，最终编码101出事概率0.1000，求和结果0.8900，编码位数4，最终编码1110出事概率0.0100，求和结果0.9900，编码位数7，最终编码1111110编码效率：平均信息量2.6087平均码长3.1400编码效率0.8308七、实验总结通过本次的实验，掌握了Shannon编码的实验原理以及编码过程。
目录一：实验原理----------------------------1二：程序源代码--------------------------1三：实验分析-----------------------------6四：实验结论---------------------------7赫夫曼编码一：实验原理哈夫曼编码的具体步骤归纳如下：① 概率统计（如对一幅图像，或m幅同种类型图像作灰度信号统计），得到n个不同概率的信息符号。
② 将n个信源信息符号的n个概率，按概率大小排序。
③ 将n个概率中，最后两个小概率相加，这时概率个数减为n-1个。
④ 将n-1个概率，按大小重新排序。
⑤ 重复③，将新排序后的最后两个小概率再相加，相加和与其余概率再排序。
⑥ 如此反复重复n-2次，得到只剩两个概率序列。
⑦ 以二进制码元(0.1)赋值，构成哈夫曼码字。
编码结束。
哈夫曼码字长度和信息符号出现概率大小次序正好相反，即大概信息符号分配码字长度短，小概率信息符号分配码字长度长。
C、哈夫曼编码的特点(1)哈夫曼编码的构造顺序明确，但码不是唯一的(因以大赋1还是小的赋1而异；(2)哈夫曼编码的字长参差不齐，硬件实现不方便；(3)只有在概率分布很不均匀时，哈夫曼编码才有显著的效果，而在信源分布均匀时，一般不使用哈夫曼编码。
二：程序源代码：#define MAXVALUE 10000#define MAXLEAF 30#define MAXNODE 59#define MAXBIT 10#define LENTH 30#include "stdio.h"#include<iostream>typedef struct{float gailv;int flag;int parent;int lchild;int rchild;char ch;int t;}HNodeType;typedef struct{int bit[MAXBIT];int start;}HCodeType;typedef struct{float gailv;char letter;}mytype; /*it's the type of data save in file*/typedef struct filehuff{int count;mytype mydata[MAXLEAF];filehuff(){count=0; };};filehuff filedata;char code[MAXVALUE];HNodeType HuffNode[MAXNODE];void savetofile(){FILE *fp;if((fp=fopen("datafile.txt","wb"))==NULL){printf("打开失败 ....");return;}if(fwrite(&filedata,sizeof(filedata),1,fp)!=1) printf("写入文件失败 ....");fclose(fp);}void openfile(){ FILE *fp;if((fp=fopen("datafile.txt","rb"))==NULL){return;}fread(&filedata,sizeof(filedata),1,fp);}void translate(){char c;int i,j,k=0,m,n=0;printf("请输入你想要译码的二进制序列 ");printf("\n");getchar();scanf("%c",&c);for(i=0;(i<MAXVALUE)&&(c=='1'||c=='0');i++){ code[i]=c;scanf("%c",&c);}printf("对应的信源符号为：");for(j=0;j<=MAXVALUE&&HuffNode[j].parent!=-1;j++) m=j+1;for(j=0,k=m;j<=i;j++){if(code[j]=='0'){n=HuffNode[k].lchild;if(n==-1){printf("%c",HuffNode[k].ch);k=m;j--;continue;}k=n;}else{n=HuffNode[k].rchild;if(n==-1){printf("%c",HuffNode[k].ch);k=m;j--;continue;}k=n;}}}void Huffman(){HCodeType HuffCode[MAXLEAF],cd;int i,j,m1,m2,x1,x2,c,p,m;if(filedata.count==0){ printf("\n输入信源符号总数 : ");scanf("%d",&m);filedata.count=m;for(i=0;i<2*m-1;i++){ HuffNode[i].gailv=0;HuffNode[i].parent=-1;HuffNode[i].flag=0;HuffNode[i].lchild=-1;HuffNode[i].rchild=-1;HuffNode[i].ch='a';}for(i=0;i<m;i++){ printf("请输入 (概率,信源符号):");scanf("%f %c",&HuffNode[i].gailv,&HuffNode[i].ch); filedata.mydata[i].gailv=HuffNode[i].gailv; filedata.mydata[i].letter=HuffNode[i].ch;savetofile();}}else{ m=filedata.count;for(i=0;i<2*m-1;i++){ HuffNode[i].gailv=0;HuffNode[i].parent=-1;HuffNode[i].flag=0;HuffNode[i].lchild=-1;HuffNode[i].rchild=-1;HuffNode[i].ch=3;}for(i=0;i<m;i++){ HuffNode[i].gailv=filedata.mydata[i].gailv;HuffNode[i].ch=filedata.mydata[i].letter;}}for(i=0;i<m-1;i++){ m1=m2=MAXVALUE;x1=x2=0;for(j=0;j<m+i;j++){ if(HuffNode[j].gailv<m1&&HuffNode[j].flag==0){ m2=m1;x2=x1;m1=HuffNode[j].gailv;x1=j;}else if(HuffNode[j].gailv<m2&&HuffNode[j].flag==0){ m2=HuffNode[j].gailv;x2=j;}}HuffNode[x1].parent=m+i;HuffNode[x2].parent=m+i;HuffNode[x1].flag=1;HuffNode[x2].flag=1;HuffNode[m+i].gailv=HuffNode[x1].gailv+HuffNode[x2].gailv;HuffNode[m+i].lchild=x1;HuffNode[m+i].rchild=x2;}for(i=0;i<m;i++){ cd.start=m-1;c=i;p=HuffNode[c].parent;while(p!=-1){ if(HuffNode[p].lchild==c)cd.bit[cd.start]=0;else cd.bit[cd.start]=1;cd.start--;c=p;p=HuffNode[c].parent;}for(j=cd.start+1;j<m;j++)HuffCode[i].bit[j]=cd.bit[j]; HuffCode[i].start=cd.start;}printf("对应的赫夫曼编码如下：");printf("\n信源符号概率编码\n");for(i=0;i<m;i++){printf("%c %f ",HuffNode[i].ch,HuffNode[i].gailv); for(j=HuffCode[i].start+1;j<m;j++)printf("%d",HuffCode[i].bit[j]);printf("\n");}printf("按任意键继续......\n");}main(){char yn;printf("\n");printf("\n");printf(" 信息论与编码实验 \n");openfile();Huffman();for(;;){printf("\n是否想要把序列译码为信源符号 ?: (输入 y or n) "); scanf("%c",&yn);if(yn=='y'||yn=='Y')translate();elsebreak;}return 0;system("pause");}三：实验分析编码实例如下：由图中可以看出，符合基本的赫夫曼编码的原理，概率大的用短码，概率小的用长码。
福建农林大学计算机与信息学院信息工程类信息论与编码课程实验报告实验项目列表实验名称1：信源建模一、实验目的和要求（1）进一步熟悉信源建模；（2）掌握MATLAB程序设计和调试过程中数值的进制转换、数值与字符串之间的转换等技术。
二、实验内容（1）假设在一个通信过程中主要传递的对象以数字文本的方式呈现。
（2）我们用统计的方式，发现这八个消息分别是由N1，N2，…，N8个符号组成的。
在这些消息是中出现了以下符号（符号1，符号2，…，符号M）每个符号总共现了（次数1，次数2，…，次数M）我们认为，传递对象的信源模型可表示为：X为随机变量（即每次一个字符）；取值空间为：（符号1，符号2，…，符号M）；其概率分布列为：（次数1/（N1+…+N8），…，次数M/( N1+…+N8）)三、实验环境硬件：计算机软件：MATLAB四、实验原理图像和语声是最常用的两类主要信源。
要充分描述一幅活动的立体彩色图像，须用一个四元的随机矢量场X(x，y，z，t），其中x，y，z为空间坐标；t 为时间坐标；而X是六维矢量，即表示左、右眼的亮度、色度和饱和度。
然而通常的黑白电视信号是对平面图像经过线性扫描而形成。
这样，上述四元随机矢量场可简化为一个随机过程X(t）。
图像信源的最主要客观统计特性是信源的幅度概率分布、自相关函数或功率谱。
关于图像信源的幅度概率分布，虽然人们已经作了大量的统计和分析，但尚未得出比较一致的结论。
至于图像的自相关函数，实验证明它大体上遵从负指数型分布。
其指数的衰减速度完全取决于图像类型与图像的细节结构。
实际上，由于信源的信号处理往往是在频域上进行，这时可以通过傅里叶变换将信源的自相关函数转换为功率谱密度。
功率谱密度也可以直接测试。
语声信号一般也可以用一个随机过程X（t）来表示。
语声信源的统计特性主要有语声的幅度概率分布、自相关函数、语声平均功率谱以及语声共振峰频率分布等。
实验结果表明语声的幅度概率分布可用伽玛（γ）分布或拉普拉斯分布来近似。
信息论与编码实验报告一、实验目的信息论与编码是一门涉及信息的度量、传输和处理的学科，通过实验，旨在深入理解信息论的基本概念和编码原理，掌握常见的编码方法及其性能评估，提高对信息处理和通信系统的分析与设计能力。
二、实验原理（一）信息论基础信息熵是信息论中用于度量信息量的重要概念。
对于一个离散随机变量 X，其概率分布为 P(X) ＝｛p(x1)， p(x2)，， p(xn)｝，则信息熵H(X) 的定义为：H(X) ＝∑p(xi)log2(p(xi)）。
（二）编码原理1、无失真信源编码：通过去除信源中的冗余信息，实现用尽可能少的比特数来表示信源符号，常见的方法有香农编码、哈夫曼编码等。
2、有噪信道编码：为了提高信息在有噪声信道中传输的可靠性，通过添加冗余信息进行纠错编码，如线性分组码、卷积码等。
三、实验内容及步骤（一）信息熵的计算1、生成一个离散信源，例如信源符号集为{A, B, C, D}，对应的概率分布为{02, 03, 01, 04}。
2、根据信息熵的定义，使用编程语言计算该信源的信息熵。
（二）香农编码1、按照香农编码的步骤，首先计算信源符号的概率，并根据概率计算每个符号的编码长度。
2、确定编码值，生成香农编码表。
（三）哈夫曼编码1、构建哈夫曼树，根据信源符号的概率确定树的结构。
2、为每个信源符号分配编码，生成哈夫曼编码表。
（四）线性分组码1、选择一种线性分组码，如（7, 4）汉明码。
2、生成编码矩阵，对输入信息进行编码。
3、在接收端进行纠错译码。
四、实验结果与分析（一）信息熵计算结果对于上述生成的离散信源，计算得到的信息熵约为 184 比特/符号。
这表明该信源存在一定的不确定性，需要一定的信息量来准确描述。
（二）香农编码结果香农编码表如下：｜信源符号|概率|编码长度|编码值|｜｜｜｜｜｜A|02|232|00|｜B|03|174|10|｜C|01|332|110|｜D|04|132|111|香农编码的平均码长较长，编码效率相对较低。
信息论与编码实验报告一、实验目的1.了解信息论与编码的基本概念和原理。
2.学习如何通过信息论与编码方法实现对数据的压缩和传输。
3.掌握信息论与编码实验的实验方法和实验技能。
4.提高实验设计、数据分析和报告撰写的能力。
二、实验内容1.通过对输入信源进行编码，实现对数据的压缩。
2. 比较不同编码方法的压缩效果，包括Shannon-Fano编码和霍夫曼编码。
3.通过传输信道对编码后的数据进行解码，还原原始信源。
4.分析并比较不同编码方法的传输效果，包括码率和传输质量。
三、实验原理1.信息论：熵是信息论中衡量信源不确定性的指标，熵越小表示信源的可预测性越高，在编码过程中可以压缩数据。
2. 编码方法：Shannon-Fano编码通过分治的方法将输入信源划分为不同的子集，分别进行编码；霍夫曼编码则通过构建最佳二叉树的方式，将较常出现的信源符号编码为较短的二进制码，较少出现的信源符号编码为较长的二进制码。
3.传输信道：信道可能存在误码和噪声，通过差错控制编码可以在一定程度上保障传输数据的正确性和完整性。
四、实验步骤1. 对给定的输入信源进行Shannon-Fano编码和霍夫曼编码。
2.计算编码后的码率，分析不同编码方法的压缩效果。
3.将编码后的数据传输到信道，模拟信道中的误码和噪声。
4.对传输后的数据进行解码，还原原始信源。
5.比较不同编码方法的传输质量，计算误码率和信噪比。
五、实验结果与分析1. 编码结果：通过对输入信源进行编码，得到了Shannon-Fano编码和霍夫曼编码的码表。
2.压缩效果：计算了不同编码方法的码率，比较了压缩效果。
3.传输结果：模拟信道传输后的数据，对数据进行解码，还原原始信源。
4.传输质量：计算了误码率和信噪比，分析了不同编码方法的传输质量。
六、实验总结通过本次实验，我深刻理解了信息论与编码的基本概念和原理，并掌握了信息论与编码实验的实验方法和实验技能。
在实验过程中，我遇到了一些困难，比如对编码方法的理解和实验数据的处理。
实验报告课程名称：信息论与编码姓名：系：专业：年级：学号：指导教师：职称：年月日实验六 差错控制方法一、实验目的1、 了解纠错编码的基本原理2、了解几种常用编码：奇偶校验码、正反码等，线性分组码、循环码、卷积码的编解码原理3、 重点掌握线性分组码、循环码、卷积码的编解码原理。
二、实验原理N 个重复码是一种将输入比特重复n 遍的编码，假设信道的错误率为p ，接收端收到n 个比特后进行译码，如果n 个接收比特的“1”的个数多于”0“的个数，则译码为“1”反之为“0”，假设编码输入时等概的。
（1）计算n=5的信道错误率与译码的错误率的关系； （2）用matlab 仿真得到上述的曲线。
三、实验内容n 重复码是一种将输入比特重复n 遍的编码，假设信道的错误率为p ，接收端收到n 个比特后进行译码，如果n 个接收比特的“1”的个数多于“0”的个数，则译码为“1”，反之为“0”。
假设编码输入时等概的。
（1）计算n =5时信道错误率与译码错误率的关系； （2）用Matlab 仿真得到上述的曲线；实验步骤：（1）令n1，n2分别表示接收到的n 个比特中“0”和“1”的个数，则误码率可以写成Pb=P （n1<n0|”1”）P(1)+P(n1>n0|”0”)P(0)当n=5时，编码时“1”被映射成“11111”；“0”映射成“00000”，信道错误率为p ，则322541550521322541550521)1()1()"0"()1()1()"1"(ee e e e ee e e e pp C p p C p C n n P p p C p p C p C n n P -+-+=>-+-+=<因此 2345)1(10)1(5e e e e e b p p p p p P -+-+=四、实验环境Microsoft Windows 7Matlab 6.5五、编码程序MATLAB编码：n=5;m=0:-0.5:-3;pe=10.^m;Datad=(sign(randn(1,100000))+1)/2;s=[d;d;d;d;d];s=reshape(s,1,5*length(d));for k=1:length(pe)err=rand(1,length(d)*5);err=err<pe(k);r=rem(s+err,2);r=reshape(r,5,length(d));dd=sum(r)>2;error(k)=sum(abs(dd-d))/length(d);endloglog(pe,error)六、实验结果七、实验总结通过本次实验，掌握了差错控制编码的实验原理与编码过程。
信息论报告摘要：信息论是一门用概率论与数理统计方法来研究信息的度量、传递和交换规律的科学。
它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、存储和传递等问题的基础理论。
自香农在1948年发表奠定信息论基础的《通信的数学理论》一文以来，信息论学科迅速发展并延伸到许多领域中。
信息理论不仅在通信、计算机、控制等领域中有直接指导意义，还渗透到经济学、生物学、医学等广泛领域。
本文简要介绍信息论的基本原理和发展史，重点介绍信息论在数据压缩、密码学、信号处理及量子理论中的应用。
关键词：信息、信息论、密码学、数据压缩、量子理论、熵1.信息论原理1.1信息论中的信息信息是信息论中最重要最基本的概念。
早期，人们对信息的理解是很肤浅的。
最早把信息作为科学对象来加以研究的是通信领域，而这一领域的奠基之作当推哈特莱于1928年在《贝尔系统电话杂志》上发表的题为《信息传输》的论文。
他把信息理解为选择通信符号的方式，并用选择的自由度来计量这种信息的大小。
1948年，通信专家香农在《贝尔系统电话杂志》上发表了一篇名为《通信的数学理论》的论文，在文中他以概率论为工具，阐明了通信中的一系列基本理论问题，给出了计算信源信息量和信道容量的方法和一般公式，得到了一组表示信息传递重要关系的编码定理。
香农在定量测度信息时，把信息定义为随机不确定性的减少，亦即信息是用来减少随机不确定性的东西。
基于这一思想，布里渊直接指出，信息就是负熵[1]。
而控制论的奠基人维纳则把信息看做广义通信的内容，他指出：“正如熵是无组织（无序）程度的度量一样，消息集合所包含的信息就是组织（有序）程度的度量。
事实上完全可以将消息所包含的信息解释为负熵”[2]。
1.2信息论基础（1）香农在论文《A Mathematical Theory of Communication 》中给出了信息熵的定义：()i ii p p log ∑-=H (1-2-1)这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。
计算机与信息学院信息论与编码实验报告专业班级学生姓名及学号周伟康20112910 课程教学班号任课教师苏兆品实验指导教师实验地点2013 ~ 2014 学年第一学期信息论与编码课程设计目录一．课程设计目的 (2)二．课程设计要求 (2)三．课程设计描述 (2)四．程序结构 (2)五．算法及部分源码 (3)六．用例测试 (9)七．总结 (20)一．课程设计目的通过编程实现，在理解掌握的基础上进一步扩展课授的几种无失真信源编码算法。
以实践检验理论。
二．课程设计要求1.对一灰度图像进行游程编码的设计实现（将Huffman与游程结合）。
2.试对任意的数字序列（如学号、电话号码）进行自适应算术编码。
3.围绕设计题目查阅资料，掌握编码的基本原理。
4.按设计要求和编码原理进行算法的设计，算法的设计应满足正确性、可读性、健壮性、高效率等要求。
5.在此基础上，可以进行扩展三．课程设计描述本次设计实现内容：1.对任意的信源符号序列进行N元Huffman编码/译码。
2.对任意的信源符号序列进行N元Fano 编码/译码。
3.对任意的信源符号序列进行N元Elias 编码/译码。
4.对像素矩阵进行游程与上述编码方式结合的编码/译码。
5.数字串的自适应算数编码/译码。
6.对任意给定译码规则的译码和判断其是否为即时码。
输入数据从键盘或磁盘文件读入，运算结果显示到屏幕或保存到文件。
编写可视化图形交互界面。
本次设计程序用Java实现，由本人独立完成。
四．程序结构本次设计采用MVC设计模式：控制包下为文件读写线程执行包下是执行主类模式包分编码译码两部分Item：封装每个码元符号信息和操作AnlysisModel：信源序列统计分析模型其他如右图顾名思义视图包也分编码译码两部分MainFrame：主框架界面编码下：算数编码面板分组码编码面板译码下：算数译码面板分组码译码面板五． 算法及部分源码a) N 元Huffman 编码：算法：1) 将每个信源符号加入优先队列Heap 。
Turbo码编码与译码方法一、前言：Turbo码自1993年被提出以来，就以其优异的纠错性能而备受关注，并被主要通信标准所采纳。
Turbo码是用短码构造等效意义的长码，以达到长码的纠错性能而减少解码复杂度。
在强噪声低洗澡比的条件下，如Eb /N=0.7dB，采用编码效率R=1/2的Turbo码，经过18次迭代解码后，仍然具有极低的误码率。
Turbo码得这一特性对于强噪声环境下数字通信与数字信号传输具有重要的应用价值。
Turbo码的发现，标志着信道编码理论与技术的研究进入了一个崭新的阶段，对现代编码理论的发展起着重要的作用。
二、Turbo码的编码原理：Turbo码编码器由两个递归系统卷积吗编码器(RSC1和RSC2)通过一个交织器并行级联而成，编码后经过删除或复用，产生不同码率的码字，进入传输信道。
Turbo码编码器结构框图如图1所示，信息序列d={d1,d2,…dN}经过N位交织器，形成一个新序列d‘={d1’,d2’,…,dN’}(长度与内容没变，但比特位置经过重新排列)。
d和d‘分别传送到两个分量码编码器（RSC1和RSC2）。
一般情况下，这两个分量码编码器结构相同，生成序列X1p和X2p。
为了提高误码率，序列X1p和X2p需要经过删除器，采用删除技术从这两个校验序列中周期地删除一些校验位，形成校验位序列X P与编码序列u（为方便表述，也用X S表示）经过复用，生成Turbo码序列。
例如，假如图中两个分量编码器的码率均是1/2,为了得到1/2码率的Turbo码，可以采用这样的删除矩阵：P=[10,01]，即删除来自RSC1的校验序列X1p的偶数位置比特，与来自RSC2的校验序列X2p的奇数位置比特。
S图1交织器在Turbo码中起关键作用。
表面上看，它仅仅是将信息序列中的N个比特的位置进行随机置换，实际上，它很大程度上影响了Turbo码的性能。
通过随机交织，使得编码序列在长为2N和3N(不使用删除)比特的范围内具有记忆性，从而有简单的短码得到近似长码。
当交织器充分大时，Turbo码就具有近似于随机长码的特性。
三、Turbo码的译码原理：Turbo 码译码器采用反馈结构，以迭代方式译码。
与Turbo 编码器的两个分量码相对应，译码端应该有两个分量译码器它的结构如图2.1所示。
() ()()()译码输出对于图2 Turbo 码编码器，接收到得数据流中包含三部分内容：信息码 ，编码器1产生的校验码（经删余）和编码器2产生的校验码（经删余）。
Turbo 译码器在译码前首先要进行数据的分离——与发送端复合器逆向功能的分接处理，将数据流还原成，和3路信息。
发送端子编码器1,2的校验码由于删余并未全部传送过来，、只是、的部分信息，分接后的校验序列的部分比特位将没有数据，这样就必须根据删余的规律对接收的校验序列进行内插，在被删除的数据位上补以中间量（如0），以保证序列的完整性。
四、Turbo 的译码算法：Turbo 码有两类译码算法: 第一类就是MAP 算法以及基于MAP 算法的修正算法LOG-MAP 算法。
另一类就是软输出的维特比算法, 也就是SOVA 算法。
下边对两种译码算法进行介绍： 1、 LOG-MAP 译码算法：LOG-MAP 是改进的MAP(最大后验概率)算法，它在对数域进行计算，可以将MAP 算法中大量的乘法运算化简为加法运算，从而降低计算量。
除此之外，它的基本原理与经典MAP 算法相同。
MAP 算法由Bahl 等人于1974年提出，因此又称为BCJR 算法。
与Viterbi 算法不同，它估计出最大似然比特，而前者产生最大似然序列。
也就是说Viterbi 算法提供整体最优解，而MAP 算法则提供个体最优解。
分接/内插 DEC1 交织 交织 解交织判决 DEC2 解交织前面已经提到，卷积码编码过程实际就是一个有限状态机的状态转移过程。
设t 时刻编码器从状态S t-1转移到状态S t ，对应的输入为u t =k ，k ∈{0,1}，输出校验位为x t ， 它与u t 一起传输到接收端，译码器的任务就是根据接收信号y t 来尽可能恢复u t 。
图3.23示意了这一过程。
由于u t 与状态转移是对应的，因此，有∑=====-)|,,'()|(111N t t t N t y k u m S m S p y k u p (1)式中N y 1表示接收序列[y 1….y N ]。
因此，只要得到所有的)|,'(11N t t y m S m S p ==- (2)就可以通过对其中那些对应于k u t =的状态转移概率求和来得到信息比特的后验概率。
由贝叶斯定理，)(),,'()|,'(11111N N t t Nt t y p y m S m S p y m S m S p =====--(3)上式右侧分子项联合概率可作进一步化简：),,'|(),,'(),,'(1111111tt t N t t t t N t t y m S m S y p y m s m S p y m S m S p =======-+--)|(),,'(111m S y p y m S m S p t N t t t t ====+-)|(),'|,(),'(1111111m S y p y m S y m S p y m S p t N t t t t t t t =====+----)|()'|,(),'(11111m S y p m S y m S p y m S p t N t t t t t t =====+---(4)以上的化简过程中应用了马尔可夫信源的性质，即t 时刻以后的状态只与S t 及以后的输入有关，而与t 时刻之前的状态和输入无关，也就是说得到了t 时刻的状态，之后的状态转移就不再依赖于t y 1以及t-1时刻的状态。
(4)式分为三部分，可以分别定义如下，令：),()(1t t t y m S p m ==α图3.23 编码网格中一次状态转移)|()(1m S y p m t N t t ==+β)'|,(),'(1m S y m S p m m t t t t ===-γ则联合概率可写为：)(),'()'(),,'(111m m m m y m S m S p t t t N t t βγα⋅⋅===-- (5)其中，)(m t α和)(m t β可以用递归方法求出：∑===-'11),,'()(m t t t t y m S m S p m α∑----===='111111),'|,(),'(m t t t t t t y m S y m S p y m S p∑⋅=-'1),'()'(m t t m m m γα(6)∑===++''11)|,''()(m t N t t t m S y m S p m β∑+++++=====''11211),'',|()|,''(m t t t N t t t t y m S m S y p m S y m S p∑++⋅=''11)''()'',(m t t m m m βγ(7)通常，编码器的初始状态已知，对于编码器1，帧结束时网络终止，因此其终了状态了也是已知的，因此有()⎩⎨⎧==其它0010i i m m a 以及()⎩⎨⎧==其它001i i N m m β对于编码器2，由于网格不终止，可以认为它的终了状态是平均分布的。
另外，有),'|()'|(),'(11m S m S y p m S m S p m m t t t t t t =====--γ)),'(|()),'((m m x y p m m u p t t t = (8)式中),'(m m u t 为信息符号，),'(m m x t 为对应于状态转移),'(m m 的编码输出符号。
上式中)(t u p 为信息符号的先验概率，而条件概率)|(t t x y p 可由如前所述的信道模型得到。
2、 SOVA 译码算法：SOVA 算法就是软输出维特比算法,是在 1989年提出的一种改进的维特比算法, 它的特点就是找到一条可能性序列的同时,还能产生这条路径上码元的可靠性的信息,也就是我们需要的软信息, 从而使得每一个码元序列的差错概率达到最小。
相比于MAP类算法,计算更加的简单,计算量大幅度的减少。
下面分析 SOVA 算法。
状态数是, v 是编码寄存器的个数, 而每一节点有两条分支, 以为延时进行一个比特的判决,在k时刻对于状态sk ,维特比选择一条幸存路径, 这是通过计算路径最小距离而得到的。
同时,状态 sk 还对应着一条待选路径。
对于幸存路径我们将其度量标为 M1, 相应的对于待选路径的度量我们标为 M2,于是幸存路径选错的概率为（1）其中，表示的是传输不可信度,于是在 m 个路径1(幸存路径) 和路径2(待选路径)的信息比特不等的位置处, 其错误概率为, 我们可以用式子( 23) 表示（2）其中表示的是已存储路径 1 的错误概率, j = j 1，。
则对数似然比可写为（3）其中。
结合式子( 1)、 ( 2)、 ( 3) , 我们可以得到（4）a 是为了防止信噪比的增加而产生溢出。
a =, d 是码间的自由距离。
上式可以近似的写为（5）a 是为了防止信噪比的增加而产生溢出。
a = d 是码间的自由距离。
上式可以近似的写为五、Turbo 的画出编译码程序流程图：六、仿真与分析：采用log-map 算法和sova 算法对turbo 码的性能进行了仿真,其结果如下图所示。
从仿真过程看, log-map 算法比sova 算法用时较长,但其误码率较低,这说明log-map 算法比sova 算法性能更好,而sova 算法延时小,更容易实现。
初始化变量，错误帧数为0随机产生信息序列，进行随机交织对信息序列Turbo 编码Llog-MAP 算法译码SOVA 算法译码 加入高斯白噪声产生译码对译码输入复用信息序列删除校验序列，调整误码率为R计算误码率计算误码率结束Turbo码的log map和sova译码误码率信噪比矩阵为g=[111,101],帧长为400比特,最大迭代次数为5,rate为0.5的仿真图像。
在相同的帧长、生成矩阵和编码速率下，不论对哪种译码算法来说，迭代次数越大，性能越好，误比特率及误帧率越低。
