0 1 信息论基础(上)

第 1 页 共 2 页 一、 实验目的及要求

掌握、理解熵函数表达式及其性质，并且验证离散信源熵的各种性质，制作二进熵函数曲线

二、 实验环境及相关情况（包含使用软件、实验设备、主要仪器及材料等）

matlab7.0 word2007 电脑

三、 实验内容及步骤（包含简要的实验步骤流程）

理解熵函数的定义；

准备数据；

计算H(p)；

绘图。

第 2 页 共 2 页 四、

实验结果（包括程序或图表、结论陈述、数据记录及分析等，可附页）

k=0.01;

p=0.01:k:1-0.01;

H=-p.*log2(p)-(1-p).*log2(1-p);

p=[0 p 1];

H=[0 H 0];

plot(p,H)

title('二进制函数曲线')

grid on

>> axis([-0.5 1.5 -0.5 1.5])

hold on;plot(0,0,’r*’)

hold on;plot(0.5,1,’r*’)

hold on;plot(0.5,1,’r*’)

五、 实验总结（包括心得体会、问题回答及实验改进意见，可附页）

六、 教师评语

评语 评语等级

优 良 中 及格 不合格

1.实验态度认真，实验目的明确

2.实验方案、程序设计合理

3.实验过程（实验步骤详细，记录完整，数据合理）

4.实验结论正确，分析透彻

5.实验报告独立完成，无抄袭现象，并按时提交，格式规范，文字叙述流畅，逻辑性强

综合评定：

第 1 页 共 3 页 第 1 页 共 3 页 ○？○？大学2008—2009学年第 1 学期

2006 级信息与计算科学专业本科卷B 课程名称 信息论基础

课程号（ ？？？ ） 考试形式（ 闭卷笔试 ） 时间（ 120 分钟 ）

一、本题共 1 小题，满分 15 分.

一阶马尔可夫信源的状态转移图如下所示，信源X的符

号集为{0,1,2}.

（1） 求平稳后信源的概率分布；

（2） 求信源的熵H；

（3） 求当0p和1p时信源的熵，并说明其理由.

二、本题共 1 小题，满分 20 分.

计算下述信道的信道容量（以p为变量）：

ppppppppP00000000

题 目 一 二 三 四 五 六 总 分 统分人

得 分

得分 评卷人

得分 评卷人

系别_________________专业_________________班级__________本专 学号_________________姓名________________

密封线 学生须将答案写在此线以下 第 2 页 共 3 页 第 2 页 共 3 页

三、本题共 1 小题，满分 12分.

设信源)(sps=pppsss621621，1iip；对此信源编码为r元唯一可译变长码（即

《信息论基础》试卷 《信息论基础》参考答案

一、填空题（共15分，每空1分）

1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。

2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。

3、三进制信源的最小熵为0，最大熵为32logbit/符号。

4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= Hr(S)）。

5、当R=C或（信道剩余度为0）时，信源与信道达到匹配。

6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。

7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。

8、若连续信源输出信号的平均功率为2，则输出信号幅度的概率密度是高斯分布或正态分布或22212xfxe时，信源具有最大熵，其值为值21log22e。

9、在下面空格中选择填入数学符号“,,,”或“”

（1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)=H(Y)+H(X)。

（2）1222HXXHX12333HXXXHX

（3）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。

1,2640,xfxQ其它

62logfxfxdx相对熵hx

=2bit/自由度

该信源的绝对熵为无穷大。

三、（16分）已知信源

1234560.20.20.20.20.10.1SssssssP

（1）用霍夫曼编码法编成二进制变长码；（6分）

（2）计算平均码长L;（4分）

（3）计算编码信息率R;（2分）

第 1 页 共 5 页 ○?○?大学 2008-2009 学年第一学期

2006级 信息与计算科学专业 本 科 卷 B 参考答案与评分标准

课程名称

信息论基础

课程号（???） 考试形式（闭卷笔试） 时间（120分钟））

一、（15分）

解：（1）由图可知一阶马尔可夫信源的状态空间}2,1,0{AE，平稳后信源的概率分布就等于一

阶马尔可夫信源状态的极限分布，即

)()(iiaPEQ，3,2,1i；EEi，Aai； ----------------（1分）

从状态图中分析可知，这三个状态都是正规常返态，所以此马尔可夫链具有各态历经性，平稳后状

态的极限分布存在。可得状态一步转移矩阵

PPPPPPP000，

1)2()1()0()2()1()0()2()1()0(QQQQQQPQQQT ----------------（2分）

得：3/1)2()1()0(QQQ， ----------------（2分）

则可得：3/1)2()1()0(ppp； ----------------（2分）

(2) 一阶马尔可夫信源的熵

321()(|)iiiHHQEHXE

(0)(|)(1)(|1)(2)(PHXEPHXPHX

111(,0,)(,,0)(0,,)333HPPHPPHPP

loglog()PPPPHP； ----------------（4分）