实验报告
课程名称：信息论与编码姓名：
系：
专业：
年级：
学号：
指导教师：
职称：
年月日
实验四信道容量的迭代算法
一、 实验目的
1、进一步熟悉信道容量的迭代算法；
2、学习如何将复杂的公式转化为程序；
3、熟悉程序设计语言的数值计算程序和调试技术。
二、实验原理
(1)初始化信源分布()r 21)0(,,,P P P P =(一般初始化为均匀分布),置迭代计数器k=0，设信道容量相对误差门限为δ，δ>0，可设; (2) s i P P P P i k i ij k i ij k ji ,,2,1)
()()(
==∑? (3) r i P P P i j k ji ij j k ji ij k i ,2,1ln exp ln exp )()()1(=??
????????????????????=∑∑∑+?? (4) ????????????????=∑∑+i k ji j ij k P C )()
1(ln exp ln ? (5)如果δ≤-++)1()
()1(k k k C C C ，转向(7)；
(6)置迭代序号k k →+1，转向(2)；
(7)输出)1(+k i P 和)1(+k C 的结果；
(8)停止。
三、实验内容
1、已知：信源符号个数r 、新宿符号个数s 、信道转移概率矩阵P ；
2、输入：任意的一个信道转移概率矩阵，信源符号个数、信宿符号个数和每一个具体的转移概率在运行时从键盘输入；
3、 输出：最佳信源分布P*,信道容量C 。
四、实验环境
Microsoft Windows 7、
Matlab
五、编码程序
文件：
clear;
r=input('输入信源个数：');
s=input('输入信宿个数：');
deta=input('输入信道容量的精度： ');
Q=rand(r,s); %创建m*n随机分布矩阵
A=sum(Q,2);
B=repmat(A,1,s);
disp('信源转移概率矩阵:'),p=Q./B %信源转移概率矩阵i=1:1:r;
q(i)=1/r;
disp('原始信源分布：'),q
c=-10e-8;
C=repmat(q',1,s);
for k=1:1:100000
m=p.*C; %后验概率的分子部分
a=sum(m); %后验概率的分母部分
su1=repmat(a,r,1);
t=m./su1; %后验概率矩阵
D=exp(sum(p.*log(t),2)); %信源分布的分子部分
su2=sum(D); %信源分布的分母部分
q=D/su2; %信源分布
C=repmat(q,1,s);
c(k+1)=log(sum(exp(sum(p.*log(t),2))))/log(2);
kk=abs(c(k+1)-c(k))/c(k+1);
if(kk<=
break;
end
end
disp('最大信道容量时的信源分布：q='),disp(q')
disp('最大信道容量：c='),disp(c(k+1))
六、实验结果结果
1）检验：运行
输入信源的个数：2
输入信宿的个数：3
输入信道容量的精度：
信宿转移概率矩阵:p =
原始信源分布：q =
最佳信源分布：q=
最大信道容量：c=
2）计算信源个数为3，信宿个数为5的信道容量：
运行
输入信源的个数：3
输入信宿的个数：5
输入信道容量的精度：
信宿转移概率矩阵:p =
原始信源分布：q =
最佳信源分布：q =
最大信道容量：c =
七、实验总结
通过实验，我们对信道容量的理解更加深刻了。信道容量是指信道能无错误传送的最大信息率。信道的输入、输出都取值于离散符号集，且都用一个随机变量来表示的信道就是离散单符号信道。由于信道中存在干扰，因此输入符号在传输中将会产生错误，这种信道干扰对传输的影响可用传递概率来描述。为了评价实际信道的利用率，应具体计算已给信道的容量。这是一个求最大值的问题。由于互信息对输入符号概率而言是凸函数，其极值将为最大值，因此这也就是求极值的问题。对于离散信道，P(x)是一组数，满足非负性和归一性等条件，可用拉格朗日乘子法求得条件极值。对于连续信道，P(x)是一函数，须用变分法求条件极值。
实验过程中，我们虽然也遇到了很多困难，但也正是因为如此，我们才能发现自己基础的薄弱点，学的更有方向。对于编程方面，我们也有了很大的提升。
§4.2信道容量的计算 这里，我们介绍一般离散信道的信道容量计算方法，根据信道容量的定义，就是在固定信道的条件下，对所有可能的输入概率分布)(x P 求平均互信息的极大值。前面已知()Y X I ;是输入概率分布的上凸函数，所以极大值一定存在。而);(Y X I 是r 个变量 )}(),(),({21r x p x p x p 的多元函数。并且满足1)(1 =∑=r i i x p 。所以可用拉格朗日乘子法来 计算这个条件极值。引入一个函数：∑-=i i x p Y X I )();(λ φ解方程组 0) (] )();([) (=∑?-???i i i i x p x p Y X I x p λ φ 1)(=∑i i x p （4.2.1） 可以先解出达到极值的概率分布和拉格朗日乘子λ的值，然后在解出信道容量C 。因为 ) () (log )()();(11 i i i i i r i s j i y p x y Q x y Q x p Y X I ∑∑=== 而)()()(1 i i r i i i x y Q x p y p ∑== ，所以 e e y p y p i i i i i y p x y Q i x p i x p l o g l o g ))(ln ()(log ) ()()() (==????。 解（4.2.1）式有 0log )()()()()()(log )(111=--∑∑∑===λe y p x y Q x y Q x p y p x y Q x y Q i i i i i r i s j i i i i s j i i （对r i ,,2,1 =都成立） 又因为 )()()(1j k k r k k y p x y Q x p =∑= r i x y Q s j i j ,,2,1,1)(1 ==∑= 所以(4.2.1)式方程组可以转化为 ),,2,1(log ) ()(log )(1r i e y p x y Q x y Q j i j s j i j =+=∑=λ 1)(1 =∑=r i i x p
《信息论与编码》实验指导书 信息与通信工程学院信息工程系 2014年6月
目录 实验一绘制信源熵函数曲线 (3) 实验二哈夫曼编解码 (6) 实验三离散信道容量 (10)
1实验一绘制信源熵函数曲线 一、实验目的 1.掌握离散信源熵的原理和计算方法。 2.熟悉matlab软件的基本操作，练习应用matlab软件进行信源熵函数曲 线的绘制。 3.理解信源熵的物理意义，并能从信源熵函数曲线图上进行解释其物理意 义。 二、实验原理 1.离散信源相关的基本概念、原理和计算公式 产生离散信息的信源称为离散信源。离散信源只能产生有限种符号。 假定X是一个离散随机变量，即它的取值范围R={x1，x2，x3，…}是有限或可数的。设第i个变量x i发生的概率为p i=P{X=x i}。则： 定义一个随机事件的自信息量I（x i）为其对应的随机变量x i出现概率对数的负值。即： I（x i）= -log2p(x i) 定义随机事件X的平均不确定度H（X）为离散随机变量x i出现概率的数学期望，即： ∑∑ - = = i i i i i i x p x p x I x p X H) ( log ) ( ) ( ) ( ) ( 2 单位为比特/符号或比特/符号序列。 平均不确定度H（X）的定义公式与热力学中熵的表示形式相同，所以又把平均不确定度H（X）称为信源X的信源熵。 必须注意一下几点： a)某一信源，不管它是否输出符号，只有这些符号具有某些概率特性， 必有信源的熵值；这熵值是在总体平均上才有意义，因而是个确定 值，一般写成H（X），X是指随机变量的整体（包括概率分布）。 b)信息量则只有当信源输出符号而被接收者收到后，才有意义，这就 是给与信息者的信息度量，这值本身也可以是随机量，也可以与接
本科生实验报告 实验课程信息论与编码 学院名称信息科学与技术学院 专业名称通信工程 学生姓名 学生学号 指导教师谢振东 实验地点6C601 实验成绩 二〇一五年十一月二〇一五年十一月
实验一：香农（Shannon ）编码 一、实验目的 掌握通过计算机实现香农编码的方法。 二、实验要求 对于给定的信源的概率分布，按照香农编码的方法进行计算机实现。 三、实验基本原理 给定某个信源符号的概率分布，通过以下的步骤进行香农编码 1、将信源消息符号按其出现的概率大小排列 )()()(21n x p x p x p ≥≥≥ 2、确定满足下列不等式的整数码长K i ； 1)(l o g )(l o g 22+-<≤-i i i x p K x p 3、为了编成唯一可译码，计算第i 个消息的累加概率 ∑ -== 1 1 )(i k k i x p p 4、将累加概率P i 变换成二进制数。 5、取P i 二进制数的小数点后K i 位即为该消息符号的二进制码。 四、源程序： #include int i,j; for(i=0;i DMC 信道容量迭代计算的matlab 实现--通信与信息系统 一、用了matlab 实现DMC 容量迭代的算法如下： 1. 初始化信源分布：.0det a 10,1,0,1)(>>=?==，选置，，k r i r P k i 一般我选deta=0.000001。 2. }{,)()()()(k ij i ji k i ji k i k ij t p p p p t 得反向转移概率矩阵由式∑=。 3. ()()()()(){}111]log exp[] log exp[+++==∑∑∑k i k i j ij k ji j ij k ji k i p P t p t p p 计算由式。 4. ()()()()()()。C t p t P I C k r i s j k ij ji k k k 10011log exp log ,+==++????????????????==∑∑计算由式 5. 若a C C C k k k det )1() ()1(>-++，则k=k+1，转第2步 6.输出迭代次数k 和()1+k C 和1+k P ，终止。 二、了解了信道容量的定义和DMC 信道容量迭代计算方法，我用了matlab 来进行编程进行迭代计算得出信道容量。不足之处在于每迭代一次就输出一次迭代次数直到最后一次迭代。 1）输入：输入信源个数、信宿个数和信道容量的精度，程序能任意生成随机的 信道转移概率矩阵，也可以自己输入信道转移矩阵。 2）输出：输出最佳信源分布和信道容量。将附件里的dmc.m 文件直接run 运行 可以自主输入信道转移概率矩阵，按照程序中提示将那两句代替判 断输入矩阵是否正确的那部分，dmc1.m 运行可以随机生成信道转移 概率矩阵。 三、检验程序 之一： 输入信源个数：2 输入信宿个数：3 输入信道容量的精度： 0.000001 输入信道转移矩阵P ：[0.5000 0.3000 0.2000;0.3000 0.5000 0.2000] 之二：P ：[0.4000 0.3000 0.2000;0.3000 0.5000 0.2000] 之三：P ：[1.1000 -0.3000 0.2000;0.3000 0.5000 0.2000] 之四：P:[0.6 0.4;0.01 0.99] 之五：自动生成信道转移矩阵 《信息论与编码》教学大纲 一课程简介 课程编号：04254002 课程名称：信息论与编码Informatics & Coding 课程类型：基础课必修课 学时：32 学分：2 开课学期：第六学期 开课对象：通信、电子专业 先修课程：概率论与数理统计、信号与系统、随机信号原理。 参考教材：信息论与编码，陈运，周亮，陈新，电子工业出版社，2002年8月 二课程性质、目的与任务 信息论在理论上指出了建立最佳编码、最佳调制和最佳接收方法的最佳系统的理论原则，它对通信体制和通信系统的研究具有指导意义。提高信息传输的可靠性和有效性始终是通信工作所追求的目标。因此，信息论与编码是从事通信、电子系统工程的有关工程技术人员都必须掌握的基本理论知识。 内容提要：本课程包括狭义相对论和提高通信可靠性的差错控制编码理论。信息论所研究的主要问题是在通信系统设计中如何实现有效性和可靠性。 三教学基本内容与基本要求 本课程总学时为32。其中理论教学为28，实验学时为4。 主要的理论教学内容包括：离散信源和连续信源的熵、条件熵、联合熵和平均互信息量的概念及性质；峰值功率受限和平均功率受限下的最大熵定理和连续信源熵的变换；变长码的霍夫曼编码方法，熟悉编码效率和平均码长的计算；最大后验概率准则和最大似然译码准则等。 实验内容主要包括：离散无记忆信道容量的迭代算法，循环码的编译码。 四教学内容与学时分配 第3章离散信源无失真编码 第6章网络信息论 （教学要求：A—熟练掌握；B—掌握；C—了解） 五实习、实验项目及学时分配 1．离散无记忆信道容量的迭代算法2学时 要求用Matlab编写计算离散信道容量的实用程序并调试成功，加深对信道容量的理解。 2．循环码的编译码2学时 要求用Matlab编写程序，用软件完成循环码的编译码算法。 六教学方法与手段 常规教学与多媒体教学相结合。 实验报告 课程名称：信息论与编码姓名： 系：专 业：年 级：学 号：指导教 师：职 称： 年月日 目录 实验一信源熵值的计算 (1) 实验二Huffman 信源编码. (5) 实验三Shannon 编码 (9) 实验四信道容量的迭代算法 (12) 实验五率失真函数 (15) 实验六差错控制方法 (20) 实验七汉明编码 (22) 实验一信源熵值的计算 、实验目的 1 进一步熟悉信源熵值的计算 2 熟悉Matlab 编程 、实验原理 熵(平均自信息)的计算公式 q q 1 H(x) p i log2 p i log2 p i i 1 p i i 1 MATLAB实现：HX sum( x.* log2( x))；或者h h x(i)* log 2 (x(i )) 流程：第一步：打开一个名为“ nan311”的TXT文档，读入一篇英文文章存入一个数组temp，为了程序准确性将所读内容转存到另一个数组S，计算该数组中每个字母与空格的出现次数( 遇到小写字母都将其转化为大写字母进行计数) ，每出现一次该字符的计数器+1；第二步：计算信源总大小计算出每个字母和空格出现的概率；最后，通过统计数据和信息熵公式计算出所求信源熵值(本程序中单位为奈特nat )。 程序流程图： 三、实验内容 1、写出计算自信息量的Matlab 程序 2、已知：信源符号为英文字母(不区分大小写)和空格输入：一篇英文的信源文档。输出：给出该信源文档的中各个字母与空格的概率分布，以及该信源的熵。 四、实验环境 Microsoft Windows 7 五、编码程序 #include"stdio.h" #include 实验三信道容量计算 一、实验目的： 了解对称信道与非对称信道容量的计算方法。 二、实验原理： 信道容量是信息传输率的极限，当信息传输率小于信道容量时，通过信道编码，能够实现几乎无失真的数据传输；当数据分布满足最佳分布时，实现信源与信道的匹配，使得信息传输率能够达到信道容量。本实验利用信道容量的算法，使用计算机完成信道容量的计算。 实验采用迭代算法计算信道容量，即：设DMC的转移概率pyx(i,j)，p(i)是任意给定的一组初始给定输入分布，开始为等概率分布，以后逐次迭代更新p(i)的取值。其所有分量P (i)均不为0。按照如下方法进行操作： 具体方法： 1、计算q(j)=∑ i j i pyx i p) ,( *)(，pyx(i,j)为信道转移概率 2、计算a(i) 先算中间变量d(i)=∑ j j q j i pyx j i pyx) ( /) ,( log( *) ,( 然后，a(i)=exp(d(i)) 3、计算中间变量U=∑ i i p i a)( *)( 4、计算IL=log2(u) 5、计算IU=log2(max(a(i)) 6、当IU-IL>ε（ε为设定的迭代精度）时，进入以下循环，否则输出迭代次数n，信道容量C=IU计算结果，最佳分布p(i)。 ①重新计算p(i)=p(i)*a(i)/U ②计算q(j),方法同1 ③计算a(i)，方法同2 ④计算中间变量U=∑ i i p i a)( *)( ⑤计算IL=log2(u) ⑥计算IU=log2(max(a(i)) ⑦计次变量n=n+1 返回6判断循环条件是否满足。 四、实验内容： 假设离散无记忆二元信道如图所示，编程，完成下列信道容量的计算 2e 1． 令120.1e e p p ==和120.01e e p p ==，先计算出信道转移矩阵，分别计算该对称信道的信道容量和最佳分布，将用程序计算的结果与用对称信道容量计算公式的结果进行比较，并贴到实验报告上。 2． 令10.15e p =，20.1e p =和10.075e p =20.01e p =，分别计算该信道的信道容量和最佳分布； 四、实验要求： 在实验报告中给出源代码，写出信道对应的条件转移矩阵，计算出相应结果。并定性讨论信道容量与信道参数之间的关系。 《信息论与信源编码》实验报告 1、实验目的 (1) 理解信源编码的基本原理； (2) 熟练掌握Huffman编码的方法； (3) 理解无失真信源编码和限失真编码方法在实际图像信源编码应用中的差异。 2、实验设备与软件 (1) PC计算机系统 (2) VC++6.0语言编程环境 (3) 基于VC++6.0的图像处理实验基本程序框架imageprocessing_S (4) 常用图像浏览编辑软件Acdsee和数据压缩软件winrar。 (5) 实验所需要的bmp格式图像（灰度图象若干幅） 3、实验内容与步骤 (1) 针对“图像1.bmp”、“图像2.bmp”和“图像3.bmp”进行灰度频率统计（即计算图像灰度直方图），在此基础上添加函数代码构造Huffman码表，针对图像数据进行Huffman编码，观察和分析不同图像信源的编码效率和压缩比。 (2) 利用图像处理软件Acdsee将“图像1.bmp”、“图像2.bmp”和“图像 3.bmp”转换为质量因子为10、50、90的JPG格式图像（共生成9幅JPG图像），比较图像格式转换前后数据量的差异，比较不同品质因素对图像质量的影响； (3) 数据压缩软件winrar将“图像1.bmp”、“图像2.bmp”和“图像3.bmp”分别生成压缩包文件，观察和分析压缩前后数据量的差异； (4) 针对任意一幅图像，比较原始BMP图像数据量、Huffman编码后的数据量（不含码表）、品质因素分别为10、50、90时的JPG文件数据量和rar压缩包的数据量，分析不同编码方案下图像数据量变化的原因。 4、实验结果及分析 (1)在VC环境下，添加代码构造Huffman编码表，对比试验结果如下： a.图像1.bmp： 湖南大学 信息科学与工程学院 实验报告 实验名称信道容量的迭代算法课程名称信息论与编码 第1页共9页 1.实验目的 （1）进一步熟悉信道容量的迭代算法； （2）学习如何将复杂的公式转化为程序； （3）掌握C 语言数值计算程序的设计和调试技术。 2、实验方法 硬件：pc 机 开发平台：visual c++软件 编程语言：c 语言 3、实验要求 （1）已知：信源符号个数r 、信宿符号个数s 、信道转移概率矩阵P 。 （2）输入：任意的一个信道转移概率矩阵。信源符号个数、信宿符号个数和每 个具体的转移概率在运行时从键盘输入。 （3）输出：最佳信源分布P*，信道容量C 。 4.算法分析 1：procedure CHANNEL CAPACITY(r,s,(ji p )) 2：initialize:信源分布i p =1/r ，相对误差门限σ，C=—∞ 3：repeat 4： 5： 6： C 221 1 log [exp(log )] r s ji ij r j p φ==∑∑ 7：until C C σ ?≤ 8：output P*= ()i r p ,C 9：end procedure 21 21 1 exp(log ) exp(log ) s ji ij j r s ji ij r j p p φφ===∑∑∑i p 1 i ji r i ji i p p p p =∑ij φ 5.程序调试 1、头文件引入出错 f:\visualc++\channel\cpp1.cpp(4) : fatal error C1083: Cannot open include file: 'unistd.h': No such file or directory ————#include 中南大学 《信息论与编码》实验报告 题目信源编码实验 指导教师 学院 专业班级 姓名 学号 日期 目录 一、香农编码 (3) 实验目的 (3) 实验要求 (3) 编码算法 (3) 调试过程 (3) 参考代码 (4) 调试验证 (7) 实验总结 (7) 二、哈夫曼编码 (8) 实验目的 (8) 实验原理 (8) 数据记录 (9) 实验心得 (10) 一、香农编码 1、实验目的 （1）进一步熟悉Shannon 编码算法； （2）掌握C 语言程序设计和调试过程中数值的进制转换、数值与字符串之间 的转换等技术。 2、实验要求 （1）输入：信源符号个数q 、信源的概率分布p ； （2）输出：每个信源符号对应的Shannon 编码的码字。 3、Shannon 编码算法 1：procedure SHANNON(q,｛Pi ｝) 2: 降序排列｛Pi ｝ 3: for i=1 q do 4: F(i s ) 5：i l 2 []log 1/()i p s 6：将累加概率F(i s )（十进制小数）变换成二进制小数。 7：取小数点后i l 个二进制数字作为第i 个消息的码字。 8：end for 9：end procedure ------------------------------------------------------------------------------------------------------------------ 4、调试过程 1、fatal error C1083: Cannot open include file: 'unistd.h': No such file or directory fatal error C1083: Cannot open include file: 'values.h': No such file or directory 原因：unistd.h 和values.h 是Unix 操作系统下所使用的头文件 纠错：删去即可 2、error C2144: syntax error : missing ')' before type 'int' error C2064: term does not evaluate to a function 原因：l_i(int *)calloc(n,sizeof(int)); l_i 后缺少赋值符号使之不能通过编译 纠错：添加上赋值符号 1 1 ()i k k p s -=∑ 实验一 绘制二进熵函数曲线（2个学时） 一、实验目的： 1. 掌握Excel 的数据填充、公式运算和图表制作 2. 掌握Matlab 绘图函数 3. 掌握、理解熵函数表达式及其性质 二、实验要求： 1. 提前预习实验，认真阅读实验原理以及相应的参考书。 2. 在实验报告中给出二进制熵函数曲线图 三、实验原理： 1. Excel 的图表功能 2. 信源熵的概念及性质 ()()[] ()[]())(1)(1 .log )( .) ( 1log 1log ) (log )()(10 , 110)(21Q H P H Q P H b n X H a p H p p p p x p x p X H p p p x x X P X i i i λλλλ-+≥-+≤=--+-=-=≤≤? ?????-===??????∑ 单位为 比特/符号 或 比特/符号序列。 当某一符号xi 的概率p(xi)为零时，p(xi)log p(xi) 在熵公式中无意义，为此规定这时的 p(xi)log p(xi) 也为零。当信源X 中只含有一个符号x 时，必有p(x)=1，此时信源熵H （X ）为零。 四、实验内容： 用Excel 和Matlab 软件制作二进熵函数曲线。根据曲线说明信源熵的物理意义。 （一） Excel 具体步骤如下： 1、启动Excel 应用程序。 2、准备一组数据p 。在Excel 的一个工作表的A 列（或其它列）输入一组p ，取步长为0.01，从0至100产生101个p （利用Excel 填充功能）。 3、取定对数底c，在B列计算H(x) ,注意对p=0与p=1两处，在B列对应位置直接输入0。Excel中提供了三种对数函数LN(x),LOG10(x)和LOG(x,c)，其中LN(x)是求自然对数，LOG10(x)是求以10为底的对数，LOG(x,c)表示求对数。选用c=2,则应用函数LOG(x,2)。 在单元格B2中输入公式：=-A2*LOG(A2,2)-(1-A2)*LOG(1-A2,2) 双击B2的填充柄，即可完成H(p)的计算。 4、使用Excel的图表向导，图表类型选“XY散点图”，子图表类型选“无数据点平滑散点图”，数据区域用计算出的H(p)数据所在列范围，即$B$1:$B$101。在“系列”中输入X值(即p值)范围，即$A$1:$A$101。在X轴输入标题概率，在Y轴输入标题信源熵。 （二）用matlab软件绘制二源信源熵函数曲线 p = 0.0001:0.0001:0.9999; h = -p.*log2(p)-(1-p).*log2(1-p); plot(p,h) 五、实验结果 一、实验目的 1．掌握离散信道的信道容量的计算方法； 2．理解不同类型信道的不同特点与不同的计算方法； 二、实验内容 1．进一步熟悉一般离散信道的信道容量计算方法； 2．进一步复习巩信道性质与实际应用； 3．学习如何将复杂的公式转化为程序。 三、实验仪器、设备 1、计算机－系统最低配置256M内存、P4 CPU； 2、MATLAB编程软件。 四、实现原理 信道容量是信息传输率的极限，当信息传输率小于信道容量时，通过信道编码，能够实现几乎无失真的数据传输；当数据分布满足最佳分布时，实现信源与信道的匹配，使得信息传输率能够达到信道容量。本实验利用信道容量的算法，使用计算机完成信道容量的计算。 实验采用迭代算法计算信道容量，即：设DMC的转移概率pyx(i,j)，p(i)是任意给定的一组初始给定输入分布，开始为等概率分布，以后逐次迭代更新p(i)的取值。其所有分量P (i)均不为0。按照如下方法进行操作： 具体方法： 1、计算q(j)= i j i pyx i p) ,( *)(，pyx(i,j)为信道转移概率 2、计算a(i) 先算中间变量d(i)=∑ j j q j i pyx j i pyx) ( /) ,( log( *) ,( 然后，a(i)=exp(d(i)) 3、计算中间变量U=∑ i i p i a)( *)( 4、计算IL=log2(u) 5、计算IU=log2(max(a(i)) 6、当IU-IL>ε（ε为设定的迭代精度）时，进入以下循环，否则输出迭代次数n，信道容量C=IU计算结果，最佳分布p(i)。 ①重新计算p(i)=p(i)*a(i)/U ②计算q(j),方法同1 ③计算a(i)，方法同2 ④计算中间变量U=∑ i i p i a)( *)( ⑤计算IL=log2(u) ⑥计算IU=log2(max(a(i)) ⑦计次变量n=n+1 返回6判断循环条件是否满足。 五、实验步骤 1、计算非对称信道的信道容量 运行程序 迭代法求（非对称）信道容量 前言：对于给定的信道，除了对称信道之外，信道容量的计算是比较复杂的，但可以用迭代算法实现近似的信道容量。 具体细节：1..设输入变量为A （ai ），输出为B(bi)，对于给定的信道，信道转移矩阵一般都为定值，设为已知，用矩阵Pa2b 表示。 2.为了提高计算效率，将累加求和等运算尽量用矩阵运算而不是循环运算。 实验数据分析：实验发现，当输入的信道转移矩阵为对称信道时，输入分布很快收敛于等概分布，然后很快的退出迭代运算而输出结果，当然这时候的结果是经检验不正确的。具体分析原因如下： 当迭代至输入分布赋值为等概（或接近等概）时，事实上我们一开始就初始化输入分布P （ai ）为等概分布，由 ])|()()|(ln )|(exp[∑∑=j i i j i i j i j i a b P a P a b P a b P α 其中)(j b P =)|()(i j i i a b P a P ∑，当)(i a P 等概分布且信道为准对称时易得)(j b P 等概记为P （b0）。所以])()|(log )|(exp[0b P a b P a b P i j i j j i ∑=α，由对称矩阵性质易得每行求和后数值相等。故得到i α是相等的（记为0α）。所以: C(n ，n)=)ln())(ln())(ln())(ln( 000αααα===∑∑∑i i i i i i i a P a P a P 而另一变量： C '(n+1，n)=)ln()max ln(0αα=i i 可见C=C ',则C-C '<ε恒成立，故退出整个迭代过程，而得不到正确的结果。 具体实现代码（matlab ）如下： %通过迭代算法求某信道的信道容量% %设输入变量为A （ai ），输出为B(bi)，对于给定的信道，信道转移矩阵一般都为定值，设为已知，用矩阵Pa2b 表示% %为了提高计算效率，讲累加求和等运算尽量用矩阵运算而不是循环运算% %最后为了方便调用，将其封装成一个函数。 %输入参数：信道转移矩阵：Pa2b (r*s 矩阵)；误差容限：Error_Tor ，误差容限缺省值为1*10^(-2)% %输出参数：为信道误差容限下的信道容量：Channel_Cap_Extreme ； %和对应的最佳输入分布：Pa_opti% %BY ：独孤败% %AT:NUPT 2010-11-18% function [Channel_Cap_Extreme,Pa_opti]=CapChannel_DieDai(Pa2b,Error_Tor) 信息论与编码实验报告-标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII 实验一关于硬币称重问题的探讨 一、问题描述： 假设有N 个硬币，这N 个硬币中或许存在一个特殊的硬币，这个硬币或轻 或重，而且在外观上和其他的硬币没什么区别。现在有一个标准天平，但是无刻度。现在要找出这个硬币，并且知道它到底是比真的硬币重还是轻，或者所有硬币都是真的。请问： 1）至少要称多少次才能达到目的； 2）如果N=12，是否能在3 次之内将特殊的硬币找到；如果可以，要怎么称？ 二、问题分析： 对于这个命题，有几处需要注意的地方： 1）特殊的硬币可能存在，但也可能不存在，即使存在，其或轻或重未知； 2）在目的上，不光要找到这只硬币，还要确定它是重还是轻； 3）天平没有刻度，不能记录每次的读数，只能判断是左边重还是右边重，亦或者是两边平衡； 4）最多只能称3 次。 三、解决方案： 1.关于可行性的分析 在这里，我们把称量的过程看成一种信息的获取过程。对于N 个硬币，他们 可能的情况为2N+1 种，即重（N 种），轻（N 种）或者无假币（1 种）。由于 这2N+1 种情况是等概率的，这个事件的不确定度为： Y=Log(2N+1) 对于称量的过程，其实也是信息的获取过程，一是不确定度逐步消除的过程。 每一次称量只有3 种情况：左边重，右边重，平衡。这3 种情况也是等概率 的，所以他所提供的信息量为： y=Log3 在K 次测量中，要将事件的不确定度完全消除，所以 K= Log(2N+1)/ Log3 根据上式，当N=12 时，K= 2.92< 3 所以13 只硬币是可以在3 次称量中达到 实验一信道容量及其一般计算方法 1.实验目的 一般离散信道容量的迭代运算 2.实验要求 （1）理解和掌握信道容量的概念和物理意义 （2）理解一般离散信道容量的迭代算法 （3）采用Matlab编程实现迭代算法 （4）认真填写实验报告。 3.源代码 clc;clear all; //清屏 N = input('输入信源符号X的个数N='); //输入行数 M = input('输出信源符号Y的个数M='); //输入列数 p_yx=zeros(N,M); //程序设计需要信道矩阵初始化为零 fprintf('输入信道矩阵概率\n') for i=1:N //从第一行第一列开始输入 for j=1:M p_yx(i,j)=input('p_yx='); //输入信道矩阵概率 if p_yx(i)<0 //若输出概率小于0则不符合概率分布 error('不符合概率分布') end end end for i=1:N //各行概率累加求和 s(i)=0; for j=1:M s(i)=s(i)+p_yx(i,j); end end for i=1:N //判断是否符合概率分布 if (s(i)<=0.999999||s(i)>=1.000001) //若行相加小于等于0.9999999或者大于等于1.000001 Error //('不符合概率分布') end end b=input('输入迭代精度：'); //输入迭代精度 for i=1:N p(i)=1.0/N; //取初始概率为均匀分布（每行值分别为1/N，）end for j=1:M //计算q(j) q(j)=0; for i=1:N q(j)=q(j)+p(i)*p_yx(i,j); //均匀分布的值乘上矩阵值后+q（j），然后赋值给q（j）实现求和 w .. . .. 湖南大学 信息科学与工程学院 实验报告 实验名称信道容量的迭代算法 课程名称信息论与编码 1.实验目的 （1）进一步熟悉信道容量的迭代算法； （2）学习如何将复杂的公式转化为程序； （3）掌握C 语言数值计算程序的设计和调试技术。 2、实验方法 硬件：pc 机 开发平台：visual c++软件 编程语言：c 语言 3、实验要求 （1）已知：信源符号个数r 、信宿符号个数s 、信道转移概率矩阵P 。 （2）输入：任意的一个信道转移概率矩阵。信源符号个数、信宿符号个数和每 个具体的转移概率在运行时从键盘输入。 （3）输出：最佳信源分布P*，信道容量C 。 4.算法分析 1：procedure CHANNEL CAPACITY(r,s,( ji p )) 2：initialize:信源分布 i p =1/r ，相对误差门限σ，C=—∞ 3：repeat 4： 5： 1i ji r i ji i p p p p =∑ij φ 6： C 2211log [exp(log )] r s ji ij r j p φ==∑∑ 7：until C C σ ?≤ 8：output P*= ()i r p ,C 9：end procedure 5.程序调试 1、头文件引入出错 f:\visualc++\channel\cpp1.cpp(4) : fatal error C1083: Cannot open include file: 'unistd.h': No such file or directory ————#include 信息理论与编码实验指导书 实验一离散信源信息熵 一、实验目的 1、理解自信息量和信息熵的基本含义； 2、熟练掌握自信息量和信息熵的计算； 3、熟悉MATLAB 开发环境的使用； 二、实验仪器 计算机、Matlab 仿真软件 三、实验原理 自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。所发出的消息不同，它们所含有的信息量也就不同。任何一个消息的自信息量都代表不了信源所包含的平均自信息量，不能作为整个信源的信息测度，因此，定义自信息量的数学期望为信源的平均自信息量： 称为信息熵。信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体信息测度的。对于某特定的信源，其信息熵是一个确定的数值。不同的信源因统计特性不同，其熵也不同。 四、实验内容 1、根据书本习题2.5和习题2.7，建立离散信源的概率空间； 2、按照题目要求，用matlab实现离散信源自信息量和信息熵的计算； 3、将程序在计算机上仿真，验证其计算结果与实际运算结果相符否。 五、实验要求 1、提前预习实验，认真阅读实验原理以及相应的参考书。 2．简要说明信源熵的含义及信源熵的计算 3、写出信源熵的计算过程，并画出信源熵计算的程序流程图 4、给出信源熵计算的matlab源程序 5、分析软件仿真或计算结果 实验二 离散信道容量 一、实验目的 1、理解信道转移概率矩阵及其特点； 2、理解信道容量的定义和最佳输入概率分布； 3、掌握信道容量和平均互信息的计算步骤； 4、用 MATLAB 进行简单地编程 二、实验仪器 计算机、Matlab 仿真软件 三、实验原理 1、平均互信息 平均互信息代表接收到输出符号后平均每个符号获得的关于输入符号的信息量。定义为 I(X;Y)=H(X)-H(X|Y) 其中，H （X ）代表接收到输出符号以前关于输入变量X 的平均不确定性，H(X|Y)代表接收到输出符号后关于输入变量X 的平均不确定性。 2、信道容量 对于一个固定的信道，总存在一种信源，使传输每个符号平均获得的信息量最大。也就是每个固定信道都有一个最大的信息传输率。我们把这个最大的信息传输率定义为信道容量，即 信息容量是完全描述信道特性的参量，是信道能够传输的最大信息量。它与输入信源的概率分布无关，只与信道的统计特性有关。 离散信道中有一类特殊的信道，它具有很强的对称性。信道矩阵P 中每一行都是由同一集合{p1’, p2’,…, ps ’}中的诸元素不同排列组成；每一列也都是由{q1’, q2’,…, qr ’} 中的诸元素不同排列组成。对于这类信道，它的容量为 四、实验内容 1、建立教材106页习题3.9所要求的数学模型。 2、写出数学模型的Matlab 程序。 3、将程序在计算机上仿真实现。 4、验证程序的正确性。 五、实验要求 1、提前预习实验，认真阅读实验原理以及相应的参考书。 2．简要说明信道容量的含义和特点，并计算信道容量 3、写出信道容量的计算过程，并画出程序流程图 4、给出信道容量计算的matlab 源程序 )};({max )(Y X I C X P =（比特/符号） )/()',...,','(log 21symbol bit p p p H s C s -=DMC信道容量迭代计算的matlab实现
《信息论与编码》教学大纲
信息论与编码实验报告材料
实验三 信道容量计算
《信息论与信源编码》实验报告
信道容量实验报告
香农编码实验报告
信息论与编码实验报告
正式实验报告二—信道容量的计算
迭代求信道容量
信息论与编码实验报告
信道容量及其一般计算方法
信道容量实验报告
信息论与编码技术 实验指导书
相关主题
文本预览