信息论与编码技术
实
验
指
导
书
通信工程教研室
实验一：信息量及信道容量的计算
一、实验目的：通过该实验，掌握通过计算机实验信息量和信道容量的计算方法 二、实验要求：对一个离散的无记忆信源，给定信源的输入概率分布，给定一个信道
特性，计算各种信息量和熵，并计算信道容量。 三、实验原理：
设输入
X ∈{x 1,x 2,…,x i ,…,x n }
输出Y ∈{y 1,y 2,…,y j ,…,y m } ，信道的一般数学模型如下图：
在给定信源概率分布条件下，
各种熵的求解方法如下：
１）信源熵
２）条件熵
⎥
⎥⎥
⎥⎦
⎤⎢
⎢⎢⎢⎣⎡)/()/()
/()/()/()/()/()/()/(2122221112112121
n m n n m m n m
x y p x y p x y p x y p x y p x y p x y p x y p x y p x x x y y y
信道矩阵⎥⎥
⎦
⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡)(,),(),(,,,
)(2121q q a P a P a P a a a x P X )
(log )(])(1
[log )]([)(21
2i n
i i i i x p x p x p E x I E X H ∑=-===)
/(log )()]/([)/(211
i j n i m
j j i i j x y p y x p x y I E X Y H ∑∑==-==
３）联合熵
４）交互熵
５）信道容量
一般离散信道容量对计算步骤总结如下：
四、 实验设备：计算机 c++ 五、实验报告要求
1、 画出程序设计的流程图，
)
/(log )()
/()()]/([)/(211
11j i m
j n
i j i j i m j n
i j i j i y x p y x p y x I y x p y x I E Y X H ∑∑∑∑====-===)
(log )()()()(211
11
j i n i m
j j i j i n i m j j i y x p y x p y x I y x p XY H ∑∑∑∑====-==)
()()(log )();()
3(,)
()()/()
()/(log )();()();()
2(:);()()/(log )();()();()
1(:);(2
11
2
11
11
2
11
11
j i j i n
i m
j j i j j i j i j i j n
i m
j j i i j n
i m
j j i i j i n
i m
j j i j i n
i m
j j i y p x p y x p y x p Y X I y p y x p y x p y p x y p y x p x y I y x p Y X I Y X X Y I x p y x p y x p y x I y x p Y X I X Y Y X I ∑∑∑∑∑∑∑∑∑∑============
====可推出
利用关系式的平均互信息对是的平均互信息对是2
21
121
21
2、写出程序代码，
3、写出在调试过程中出现的问题，
4、对实验的结果进行分析。
实验二香农编码
一实验目的、掌握通过计算机实现香农编码
二实验要求
对于给定的信源的概率分布,按照香农编码的方法进行计算机实现.
三、实验原理
给定某个信源符号的概率分布，通过以下的步骤进行香农编码
1、信源符号按概率从大到小排列
2、对信源符号求累加和，表达式： P i=P i-1+p(x i)
3、求自信息量，确定码字长度。自信息量I(x
)=-log(p(x i));码字长度取大于等于自信
i
息量的最小整数。
4、将累加和用二进制表示，并取小数点后码字的长度的码。
四、实验设备计算机c++
五实验报告
1、画出程序设计的流程图，
2、写出程序代码，
3、写出在调试过程中出现的问题，
4、对实验的结果进行分析。
实验三费诺编码
一实验目的:掌握通过计算机实现费诺编码
二实验要求:
对于给定的信源的概率分布,按照费诺编码的方法进行计算机实现. 三实验原理
费诺编码的步骤:
A 将概率按从大到小的顺序排列
B 按编码进制数将概率分组，使每组概率和尽可能接近或相等。
C 给每组分配一位码元
D 将每一分组再按同样原则划分，重复b和c，直到概率不再可分为止
四实验设备计算机c++
五实验报告
1、画出程序设计的流程图，
2、写出程序代码，
3、写出在调试过程中出现的问题，
4、对实验的结果进行分析。
