第3章 离散信道和信道容量题目

第3章 离散信道和信道容量 一、例题： 【例3.1】 二元对称信道，简记为BSC（Binary Symmetric Channel）。如图3.1所示。

10a1p

21a10b

21b1p

pp

XY

图3.1 二元对称信道 这是很重要的一种特殊信道，其输入输出符号集均取值于{0,1}。此时2rs，而且

11220,1abab。又有转移概率

11221221

(|)(0|0)1(|)(1|1)1(|)(0|1)(|)(1|0)PbaPppPbaPppPbaPpPbaPp

于是，可得BSC的信道转移概率矩阵P为 11pppp

P

它满足221211(|)(|)1jjjjPbaPba

【例3.2】 二元删除信道，简记为BEC（Binary Erasure Channel）。这时2,3rs。输入符号X取值于{0,1}，输出符号Y取值于{0,2,1}。其信道转移矩阵为

010101021ppqq

P 【例3.3】 设二元对称信道的输入概率空间01()1XPx，而信道特性如图3.1所示，求平均互信息。 解：根据平均互信息的定义可得

11(;)()(|)1()()log(|)1()()(|)log(|)11()()loglog11()loglog()()rsijijjiXYXIXYHYHYXHYPabPbaHYPxPyxPyxHYPxppppHYppppHYHp















其中，()Hp是[0,1]区间上的熵函数。 可得 (0)(1)(1)(1)PyppppPypppp

所以 (;)()()11()log()log()()()IXYHYHpppppHpppppHppHp



其中()Hpp也是[0,1]区间上的熵函数。可见，当信道固定即固定p时，可得(;)IXY是的型凸函数，其曲线如图3.2所示。从图中可知，当二元对称信道的信道矩阵固定后，输入变量X的概率分布不同，在接收端平均每个符号获得的信息量就不同。只有当输入变量X是等概分布时，即(0)(1)1/2PxPx时，在信道接收端平均每个符号才获得最大的信息量。 图3.2 二元对称信道的平均互信息（固定信道转移概率p） 当固定信源的概率分布时，即得);(YXI是p的型凸函数，如图3.3所示。

图3.3 固定二元信源的平均互信息（固定信源概率分布） 从图中可知，当二元信源固定后，存在一种二元对称信道（其1/2p），使信道输出获得的信息量最小，即等于零。也就是说，信源的信息全部损失在信道中。这是一种最差的信道（其噪声为最大）。

【例3.4】 设某对称离散信道的信道矩阵为 1111336611116633

P

求其信道容量。 解：由对称信道的信道容量公式，得 log()111111111111log4(,,,)2loglogloglog336633336666CsHHP的行矢量

0.0817 比特/符号 在这个信道中，每个符号平均能够传输的最大信息为0.0817比特，而且只有当信道输入是等概分布时才能达到这个最大值。

【例3.5】 强对称信道（均匀信道）的信道矩阵是rr阶矩阵，强对称离散信道的信道容量为

1)log,,,,111loglogloglog1111logloglog1rpppCrHprrrpppprpprrrrprpppr共（项 loglog(1)()rprHp 式中p是总的错误传递概率，p是正确传递概率。

【例3.6】 设某信道的转移矩阵为： 11pqqppqpq

P

求其信道容量。 解：分析该转移矩阵，可知这是一个准对称信道。

1212

11,11,2NpqpqNqMpqpqMq



根据准对称离散信道的信道容量公式得

12121log(,,,)loglog2(1,,)loglog2(1,,)(1)log(1)log22log(1)log(1)(1)log1nskkkkkkCrHpppNMHpqqpNMHpqqpqqqqpppqpqqq









当0p时，可得信道转移矩阵为 1001qqqq

P

这时可得该信道（二元纯对称删除信道）的信道容量为 2log(1)log(1)(1)log11/Cpppqpqqqq



比特符号

【例3.7】 求图3.5所示的二元无记忆对称信道的二次扩展信道。 0p

10

1p

pY

p 图3.5 二元无记忆对称信道的转移概率图 因为二元对称信道的输入和输出变量X和Y的取值都是0和1，因此，二次扩展信道的输入符号集为{00,01,10,11}X，共有224个符号。输出符号集为{00,01,10,11}Y，也共4个符号。根据无记忆信道的特性，求得二次扩展信道的转移概

率为 211()(0000)(00)(00)PPPPp

21()(0100)(00)(10)PPPPpp

31()(1000)(10)(00)PPPPpp 241()(1100)(10)(10)PPPPp

同理，可求得其他传递概率()hkP，最后得二次扩展信道的信道矩阵 1234221

222

223

224

pppppppppppppppppppppppp



P

上述二次扩展信道可用图3.6表示。 2XX2

YY

100100

201310411201310411

2p

pppp2p

图3.6 二元对称信道的二次扩展信道 此例告诉我们，离散无记忆信道的信道矩阵以及扩展的次数N是构建离散无记忆信道的N次扩展信道的数学模型的基本要素。

【例3.8】 有二个信道的信道矩阵分别为11133311022和1002103312033，它们的串联信道如图3.7所示。求证(;)(;)IXZIXY XY1a2a1bZ1c

2b2c

3b3c

1/31/31/3

1/2

1/2

12/31/31/32/3

图3.7 例3.9中的串联信道 证明：对于一般满足X、Y、Z为马氏链的串联信道，它们总的信道矩阵应等于两个串联信道矩阵的乘积。即 ()()()PzxPyxPzy 而总的信道矩阵中每个元素应满足 ()()()kijikjjPcaPbaPcb

为此，我们可求出串联信道的总的信道矩阵 100111111

21333333

()011113300122222033Pzx









可见，该串联信道满足 ()()PyxPzx （对所有,,xyz）

于是可得 (;)(;)IXZIXY 此例说明，不论输入信源X的符号如何分布，该串联噪声信道不会使信道中信息损失增加。

【例3.9】 设有两个离散二元对称信道，其组成的串联信道如图3.8所示，求该串联信道的信道容量。 二元对称信道YX二元对称信道Z

01p001111p

pp

1p

1pp

p

XYZ

图3.8 例3.10二元对称信道的串联信道 解：两个二元对称信道的信道矩阵均为

1211ppPPpp





由于X、Y、Z组成马尔可夫链，则串联信道的总信道矩阵为

122222

1111(1)2(1)2(1)(1)ppppPPpppppppppppp

P

因此，该串联信道仍然是一个二元对称信道。 1[2(1)]CHpp串

二、讨论题： 1、什么是先验概率和后验概率？ 2、什么是前向概率和后向概率？ 3、已知联合概率，如何计算前向概率和后向概率？

三、思考题： 1、信道有哪些分类？ 2、信道矩阵是如何构成的？有哪些性质？ 3、平均互信息与各类熵有什么关系？ 4、平均互信息有哪些性质？ 5、信道容量的物理意义是什么？ 6、如何计算一般离散信道的信道容量？ 7、离散无记忆扩展信道的信道容量如何计算？ 8、数据处理定理的含义是什么？ 9、“信源与信道的匹配”和“信源编码和信道编码”之间是否存在一定的联系？