3章信道容量

第3章 信道容量

习题解答

3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3

解: (1) 若12()3/4,()1/4PaPa，求(),(),(|),(|)HXHYHXYHYX和(;)IXY。

ii2i=13311H(X)=p(a)log p(a)log()log()0.8113(/)4444bit符号

111121221212222jjj=132117p(b)=p(a)p(b|a)+p(a)p(b|a)=43431231125p(b)=p(a)p(b|a)+p(a)p(b|a)=4343127755H(Y)=p(b)log(b)=log()log()0.9799(/)12121212bit符号

22ijjijiji,H(Y|X)=p(a,b)logp(b|a)p(b|a)logp(b|a)2211log()log()0.9183(/)3333ijjbit符号

I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit符号

H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit符号)

(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

二进制对称信息的信道容量

H(P)=-plog(p)-(1-p)log(1-p)1122C=1-H(P)=1+log()+log()=0.0817(bit/)3333符

BSC信道达到信道容量时，输入为等概率分布，即：{0.5，0.5}

注意单位 3-4 设BSC信道的转移概率矩阵为

112211Q

1）写出信息熵()HY和条件熵(|)HYX的关于1()H和2()H表达式，其中()log(1)log(1)H。

2）根据()H的变化曲线，定性分析信道的容道容量，并说明当12的信道容量。

第三章 信道容量-习题答案

3.1 设二元对称信道的传递矩阵为3/23/13/13/2

(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；

(2) 求该信道的信道容量及其达到信道容量时的输入概率分布；

解：

1)

symbolbitYXHXHYXIsymbolbitXYHYHXHYXHXYHYHYXHXHYXIsymbolbitypYHxypxpxypxpyxpyxpypxypxpxypxpyxpyxpypsymbolbitxypxypxpXYHsymbolbitxpXHjjijijijiii/ 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log4167.05833.0log5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log)32lg324131lg314131lg314332lg3243( )/(log)/()()/(/ 811.0)41log4143log43()()(222221212221221211112111222

2)

21)(/ 082.010log)32lg3231lg31(2loglog);(max222imixpsymbolbitHmYXIC

3.2

解：

(1)1)(,)(21xpxp

4/14/12/102/12/1P，4/)1(4/)1(2/)1(02/12/1)(jiyxP

2013年7月22日12时33分信息理论与编码1第3章信道模型和信道容量

第三章信道模型和信道容量信息理论与编码2主要内容1、信道模型与信道分类2、离散无记忆信道3、概率关系4、信道的疑义度、散布度和平均互信息5、平均互信息的性质6、信道容量C7、扩展信道及其信道容量8 信道的组合9、信道剩余度10、连续信道的信道容量11、波形信道及其信道容量

第三章信道模型和信道容量信息理论与编码31、信道模型与信道分类输入X(f)（随机过程）信道输出Y(f)（随机过程）噪声干扰Z(f)（随机过程）输入/输出统计关系

第三章信道模型和信道容量信息理论与编码4常见的分类方法有以下几种：（1）根据信号在时间和幅值上的离散或连续来划分信道时间离散信道时间离散、幅值离散信道简称离散信道（discrete channel）时间离散、幅值连续信道简称连续信道（continuous channel）时间连续信道时间连续、幅值离散信道时间连续、幅值连续信道简称波形信道（waveform channel）

第三章信道模型和信道容量信息理论与编码5（2）根据信道的记忆特性划分无记忆信道信道当前的输出只与当前的输入有关。有记忆信道信道当前的输出不但与当前的输入有关，还与当前时刻以前的输入有关。（3）根据信道的输入/输出的关系划分无噪声信道信道的输入/输出关系是确定关系。有噪声信道信道的输入/输出关系是统计依存关系。

第三章信道模型和信道容量信息理论与编码6（4）根据信道物理组成划分可分为很多类，较常见的有：有线信道、无线信道、光纤信道等（5）根据信道的用户类型划分两端（单用户）信道只有一个输入端和一个输出端的单向信道。多端（多用户）信道有多个输入端和多个输出端的单向或双向信道。

第三章信道模型和信道容量信息理论与编码72、离散无记忆信道（DMC，discrete memoryless channel）DMC的数学模型记为XY噪声干扰DMC12{,,,}raaa12{,,,}sbbb|YXP|{,,}YXXPY

1 1 第3章 信道容量

习题解答

3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3

解: (1) 若12()3/4,()1/4PaPa，求(),(),(|),(|)HXHYHXYHYX和(;)IXY。

ii2i=13311H(X)=p(a)log p(a)log()log()0.8113(/)4444bit符号

111121221212222jjj=132117p(b)=p(a)p(b|a)+p(a)p(b|a)=43431231125p(b)=p(a)p(b|a)+p(a)p(b|a)=4343127755H(Y)=p(b)log(b)=log()log()0.9799(/)12121212bit符号

22ijjijiji,H(Y|X)=p(a,b)logp(b|a)p(b|a)logp(b|a)2211log()log()0.9183(/)3333ijjbit符号

I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit符号

H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit符号)

(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

二进制对称信息的信道容量

H(P)=-plog(p)-(1-p)log(1-p)1122C=1-H(P)=1+log()+log()=0.0817(bit/)3333符

BSC信道达到信道容量时，输入为等概率分布，即：{，}

2 2 注意单位