实验二 离散信道及其容量
一、实验目的
1、 理解离散信道容量的内涵；
2、 掌握求二元对称信道（BSC）互信息量和容量的设计方法；
3、 掌握二元扩展信道的设计方法并会求其平均互信息量。
二、实验原理
若某信道输入的是N维序列x，其概率分布为q(x),输出是N维序列y,则平均互信息量记为I(X;Y)，该信道的信道容量C定义为()max(X;Y)qxCI。
三、实验内容
1、给定BSC信道，信源概率空间为
信道矩阵 0.990.010.010.99P
求该信道的I(X;Y)和容量，画出I(X;Y)和、C和p的关系曲线。
2 、编写一M脚本文件t03.m，实现如下功能：
在任意输入一信道矩阵P后，能够判断是否离散对称信道，若是，求出信道容量C。
3、已知X=(0,1,2);Y=(0,1,2,3),信源概率空间和信道矩阵分别为
X P ０ １
0.6 0.4
=
X Px ０ １ ２
0.3 0.5 0.2 =
求： 平均互信息量；
4、 对题(1)求其二次扩展信道的平均互信息I(X;Y)。
四、程序设计与算法描述
1)设计思路
1、信道容量()max(X;Y)qxCI
因此要求给定信道的信道容量，只要知道该信道的最大互信息量，即求信道容量就是求信道互信息量的过程。
程序代码：
clear all,clc;
w=0.6;
w1=1-w;
p=0.01;
X=[0 1];
P=[0.6 0.4];
p1=1-p;
save data1 p p1;
I_XY=(w*p1+w1*p)*log2(1/(w*p1+w1*p))+(w*p+w1*p1)*log2(1/(w*p+w1*p1))-(p*log2(1/p)+p1*log2(1/p1));
C=1-(p*log2(1/p)+p1*log2(1/p1));
——第1页—— 系名____________班级____________姓名____________学号____________
密封线内不答题 成都信息工程学院考试试卷
2008——2009学年 第一学期
课程名称：信息论与编码 使用班级：电子工程学院05级信处1-4班
试卷形式：开卷□闭卷□
试题 一 二 三 四 五 六 七 八 总分
得分
一、 选择题（10分，每小题2分）
1、设有一个离散无记忆信源X，其符号数为n,则有（ ）成立。
A、2()logHXn; B、2()logHXn;
C、2()2logHXn;
D、以上结论都不对。
2、设有一个离散无记忆信道，其信道矩阵为2/16/13/13/12/16/16/13/12/1P，则信道容量是（ ）。
A、2111log3(,,)236H; B、2111log3(,,)362H；
C、2111log5(,,)236H； D、2111log6(,,)362H。
3、若一离散无记忆信源的符号熵为()HX,对信源符号进行m元变长编码，一定存在一种无失真编码方法，其码字平均长度K满足（ ）。
A、22()()1loglogHXHXKmm； B、22()()1loglogHXHXKmm；
C、2()1logHXKm； D、2()logHXKm。
——第2页—— 系名____________班级____________姓名____________学号____________
密封线内不答题 4、设X是一个离散无记忆信源，2X、3X、4X分别是其2、3、4次扩展信源。由变长无失真信源编码定理知，对上述4个信源进行二元香农变长编码，则对（ ）进行编码时，编码效率最高。
《信息论与编码（第二版）》曹雪虹答案
第二章
2.1一个马尔可夫信源有3个符号1,23,uuu，转移概率为：11|1/2puu，21|1/2puu，31|0puu，12|1/3puu，22|0puu，32|2/3puu，13|1/3puu，23|2/3puu，33|0puu，画出状态图并求出各符号稳态概率。
解：状态图如下
状态转移矩阵为：
1/21/201/302/31/32/30p
设状态u1，u2，u3稳定后的概率分别为W1，W2、W3
由1231WPWWWW得1231132231231112331223231WWWWWWWWWWWW计算可得1231025925625WWW
2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p=0.8，(0|11)p=0.2，(1|00)p=0.2，(1|11)p=0.8，(0|01)p=0.5，(0|10)p=0.5，(1|01)p=0.5，(1|10)p=0.5。画出状态图，并计算各状态的稳态概率。
解：(0|00)(00|00)0.8pp (0|01)(10|01)0.5pp
(0|11)(10|11)0.2pp (0|10)(00|10)0.5pp
(1|00)(01|00)0.2pp (1|01)(11|01)0.5pp
(1|11)(11|11)0.8pp (1|10)(01|10)0.5pp u1u2u31/21/21/32/32/31/3于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p
状态图为：
000110110.80.20.50.50.50.50.20.8 设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有
信息论与编码（第二版）课后答案
制作：08电信（1）林骁玮、林志宏、董金荣、陈顺亮、刘才文 1 2-1.解：该一阶马尔可夫信源，由转移概率构成的转移矩阵为：
对应的状态图如右图所示。设各符号稳定概率为：1p，2p，3p
则可得方程组：
1p=211p+312p+313p
2p=211p+323p
3p=322p
1p+2p+3p=1
解得各符号稳态概率为：
1p=2510，2p=259，3p =256
2-2.解：该马尔可夫信源的符号条件概率矩阵为：
状态转移概率矩阵为：
对应的状态图如右图所示。 信息论与编码（第二版）课后答案
制作：08电信（1）林骁玮、林志宏、董金荣、陈顺亮、刘才文 2 设各状态的稳态分布概率为1W,2W,3W,4W,则可得方程组为：
1W=0.81W+0.53W
2W=0.21W+0.53W
3W=0.52W+0.24W
4W=0.52W+0.84W
1W+2W+3W+4W=1
解得稳定分布的概率为:
1W=145，2W=142，3W=142，4W=145
2-3.解：（1）“3和5同时出现”事件的概率为：
p(3,5)=181
故其自信息量为：
I(3,5)=-㏒2181=4.17bit
（2）“两个1同时出现”事件的概率为：
p(1,1)=361
故其自信息量为：
I(1,1)=- ㏒2361=5.17bit
（3）两个点数的各种组合构成的信源，其概率空间为：
则该信源熵为：
H(x1)=6×361lb36+15×181lb18=4.337bit/事件
（4）两个点数之和构成的信源，其概率空间为： 信息论与编码（第二版）课后答案
制作：08电信（1）林骁玮、林志宏、董金荣、陈顺亮、刘才文 3
则该信源的熵为：
