当前位置：文档之家› 第三章信道容量习题答案

第三章信道容量习题答案

3.1 设信源???

???=??????4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为???

?????43416165，求：

(1) 信源X 中事件x 1和事件x 2分别包含的自信息量；

(2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵；

(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。

解： 1)

bit

x p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(22222121=-=-==-=-=

bit

y p x y p y x I bit

y p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04

.04

/3log )()/(log );( 263.16.04

/1log )()/(log );( 263.14.06

/1log )()/(log );( 474.06.06

/5log )()/(log );(4

.04

4.0616.0)/()()/()()(6

.041

4.0656.0)/()()/()()(22222

2221212122212221211121122212122121111===-===-=======?+?=+==?+?=+=

symbol

bit y p y p Y H symbol

bit x p x p X H j

j j i

i i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑

symbol

bit Y H X Y H X H Y X H Y X H Y H X Y H X H symbol

bit x y p x y p x p X Y H i

i j i j i / 715.0971.0715.0971.0 )()/()()/()

/()()/()(/ 715.0 10

log )4

log 434.041log 414.061log 616.065log 656.0( )

/(log )/()()/(2=-+=-+=∴+=+=??+?+?+?-=-=∑∑

symbol bit Y X H X H Y X I / 256.0715.0971.0)/()();(=-=-=

3.2 设二元对称信道的传递矩阵为???

??????32313132

(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；

解： 1)

symbol

bit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbol

bit x y p x y p x p X Y H symbol

bit x p X H j

j i

i j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()

/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167

.03

413143)/()()/()()()()(5833.031

413243)/()()/()()()()(/ 918.0 10

log )3

lg 324131lg 314131lg 314332lg 3243( )

/(log )/()()/(/ 811.0)41

log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==?+?-=-==?+?=+=+==?+?=

+=+==??+?+?+?-=-==?+?-=-=∑∑∑∑ 2)

)(/ 082.010log )3

lg 3231lg 31(2log log );(max 222=

=?++=-==i mi x p symbol

bit H m Y X I C

3.3 设有一批电阻，按阻值分70%是2K Ω，30%是5 K Ω；按瓦分64%是0.125W ，其余是0.25W 。现已知2 K Ω阻值的电阻中80%是0.125W ，问通过测量阻值可以得到的关于瓦数的平均信息量是多少？

解：

对本题建立数学模型如下：

)

;(求：2.0)/(,8.0)/(36.064.04/18/1)(瓦数 3.07.052)(阻值12112121Y X I x y p x y p y y Y P Y x x X P X ==???

??===????????????KΩ=KΩ==?????? 以下是求解过程：

()()()symbol

bit XY H Y H X H Y X I symbol

bit y x p y x p XY H symbol

bit y p Y H symbol

bit x p X H y x p y p y x p y x p y x p y p y x p y p y x p y x p y x p y p x y p x p y x p x y p x p y x p i

j i j i j

j i

i / 186.0638.1943.0881.0)()()();(/ 638.1 22.0log 22.008.0log 08.014.0log 14.056.0log 56.0 )

(log )()(/ 943.036.0log 36.064.0log 64.0)()(/ 881.03.0log 3.07.0log 7.0)()(22

.014.036.0)()()()

()()(08.056.064.0)()()()

()()(14.02.07.0)/()()(56.08.07.0)/()()(22222222212222221211112121111212111111=-+=-+==?+?+?+?-=-==?+?-=-==?+?-=-==-=-=∴+==-=-=∴+==?===?==∑∑∑∑

3.4 若X, Y, Z 是三个随机变量，试证明

(1) I(X;YZ) = I(X;Y) + I(X;Z/Y) = I(X;Z) + I(X;Y/Z)；

证明：

)

/;();( )/()/(log

)()()/(log )( )

/()()/()/(log

)( )

()/(log

)();()

/;();( )

/()/(log

)()

()/(log

)( )/()()/()/(log

)( )

()/(log

)();(Z Y X I Z X I z x p z y x p z y x p x p z x p z y x p z x p x p z x p z y x p z y x p x p z y x p z y x p YZ X I Y Z X I Y X I y x p z y x p z y x p x p y x p z y x p y x p x p y x p z y x p z y x p x p z y x p z y x p YZ X I i j k k i k j i k j i i j k i k i k j i i

k i i k i k j i k j i i

i k j i k j i i

j i k j i k j i i

i j i k j i i

j i i j i k j i k j i i

i k j i k j i +=+===+=+===∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑

(2) I(X;Y/Z) = I(Y;X/Z) = H(X/Z) – H(X/YZ)；

证明：

∑∑∑∑∑∑==i

k j k i k j k j i k j i i

k i k j i k j i z y p z x p z y p z y x p z y x p z x p z y x p z y x p Z Y X I )

()/()()/(log

)( )/()/(log

)()/;(

)

/()/( )

/()/(log )( )

/()/(log )( )/(log )()/(log )( )

/()/(log

)()/;()

/;( )

/()/(log

)( )/()()(log

)( )/()()/()(log

)( YZ X H Z X H YZ X H z x p z x p YZ X H z x p z y x p z y x p z y x p z x p z y x p z x p z y x p z y x p Z Y X I Z X Y I z y p z x y p z y x p z y p z x p z y x p z y x p z y p z x p z y x p z y x p z y p z p z x p z y x p z y x p i

k i k i i k k i j k j i i

k j i k j i i

k i k j i i

k i k j i k j i i

k j k i j k j i i

k j k i k j i k j i i

k j k k i k j i k j i -=--=-??

????-=+-=======∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑

(3) I(X;Y/Z) ≥0，当且仅当(X, Y, Z)是马氏链时等式成立。

证明：

)/;(0 log 1)/( log 1)/()( log )()/()

/()( log 1)/()/()( )

/()

/(log

)()/;()/()/(log

)()/;(2222≥∴=??

??-=?

? ??-??????=???? ??-=???

? ??-≤=-∴=∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑Z Y X I e

z x p e z x p z y p e

z y x p z y x p z x p z y x p e z y x p z x p z y x p z y x p z x p z y x p Z Y X I z x p z y x p z y x p Z Y X I i k i i k i j k k j i j k k j i i j k k j i k i k j i i j k k j i k i k j i i

k j i k i k j i i

k i k j i k j i

当

01)

/()

/(=-k j i k i z y x p z x p 时等式成立

)

/()/()/()(/)()/()/()()/()/()()()/()/()()

/()/(k j i k i k j k k j i k i k j k j i k i k j k k j k j i k i k j k j i k i z y x p z x p z y p z p z y x p z x p z y p z y x p z x p z y p z p z y p z y x p z x p z y p z y x p z x p =?=?=?=?=?

所以等式成立的条件是X, Y , Z 是马氏链

3.5若三个随机变量，有如下关系：Z = X + Y ，其中X 和Y 相互独立，试证明：

(1) I(X;Z) = H(Z) - H(Y)； (2) I(XY;Z) = H(Z)； (3) I(X;YZ) = H(X)； (4) I(Y;Z/X) = H(Y)；

(5) I(X;Y/Z) = H(X/Z) = H(Y/Z)。

解： 1)

)

()()/()();()

( )(log )()( )/(log )/()( )

/(log )()/()(

0)( )()()/(222Y H Z H X Z H Z H Z X I Y H y p y p x p x z p x z p x p x z p z x p X Z H Y x z Y

x z y p x z p x z p Y

X Z i j j j i i k i k i k i i

i k k i i k i k j i k i k -=-=∴=?

???-=???

???-=-=??

??-∈-=-=∴+=∑∑∑∑∑∑

)

(0)()/()();(0 )/(log )/()( )

/(log )()/()( 0)( 1)/(22Z H Z H XY Z H Z H Z XY I y x z p y x z p y x p y x z p z y x p XY Z H z y x z y x y x z p Y

X Z i j k j i k j i k j i i

j i k k j i k

j i k

j i j i k =-=-=∴=?

???-=-=????

?≠+=+=∴+=∑∑∑∑∑∑

)

(0)()/()();(0 )/(log )/()( )

/(log )()/( 0 1)/(22X H X H YZ X H X H YZ X I z y x p z y x p z y p z y x p z y x p YZ X H y z x y z x z y x p Y

X Z j k i k j i k j i k j i

k j i k j i j

k i j

k i k j i =-=-=∴=?

???-=-=????

?-≠-==∴+=∑∑∑∑∑∑

)

(0)()/()/()/;(0

)/(log )/()( )

/(log )()/( 0 1)/(22Y H Y H XZ Y H X Y H X Z Y I z x y p z x y p z x p z x y p z y x p XZ Y H x z y x z y z x y p Y

X Z i k j k i j k i j k i i

k i j k j i i

k j i

k j k i j =-=-=∴=?

???-=-=????

?-≠-==∴+=∑∑∑∑∑∑

)/(0)/()/()/()/;(0 )/(log )/()( )

/(log )()/( 0 1)/(22Z X H Z X H YZ X H Z X H Z Y X I z y x p z y x p z y p z y x p z y x p YZ X H y z x y z x z y x p Y

X Z j k i k j i k j i k j i

k j i k j i j

k i j

k i k j i =-=-=∴=?

???-=-=????

?-≠-==∴+=∑∑∑∑∑∑

)

/(0)/()/()/()/;(0

)/(log )/()( )

/(log )()/( 0 1)/(22Z Y H Z Y H XZ Y H Z Y H Z Y X I z x y p z x y p z x p z x y p z y x p XZ Y H x z y x z y z x y p Y

X Z i k j k i j k i j k i i

k i j k j i i

k j i k j k i j =-=-=∴=?

???-=-=????

?-≠-==∴+=∑∑∑∑∑∑

3.6 有一个二元对称信道，其信道矩阵为???

???98.002.002.098.0。设该信源以1500二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设P(0) = P(1) = 1/2，问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传递完？

解：

信道容量计算如下：

[]symbol

bit H Y H X Y H Y H Y X I C mi / 859.0 )02.0log 02.098.0log 98.0(2log )()/()(max );(max 222max =?+?+=-=-==

也就是说每输入一个信道符号，接收到的信息量是0.859比特。已知信源输入1500二元符号/秒，那么每秒钟接收到的信息量是：

s bit symbol bit s symbol I / 1288/859.0/15001=?=

现在需要传送的符号序列有140000个二元符号，并设P(0) = P(1) = 1/2，可以计算出这个符号序列的信息量是

bit

I 14000 )5.0log 5.05.0log 5.0(1400022=?+??=

要求10秒钟传完，也就是说每秒钟传输的信息量是1400bit/s ，超过了信道每秒钟传输的能力（1288 bit/s ）。所以10秒内不能将消息序列无失真的传递完。

3.7 求下列各离散信道的容量（其条件概率P(Y/X)如下：） (1) Z 信道 (2) 可抹信道 (3) 非对称信道 (4) 准对称信道

???

???-s s 101 ??????----2121212111s s s s s s s s ?

???

?????43412121 ??????????3161616131316131 解：

1) Z 信道

这个信道是个一般信道，利用一般信道的计算方法： a. 由公式

∑∑=j

j i j j

i j i j

x y p x y p x y

p β)/()/(log )/(2，求βj

?????????-=-+-==??

?-+=--+=?-s

s s s s s

s s s s s s s 1222212

12212)1(log )1(log log 10

)1()1(log )1(log 1log 1βββββ b. 由公式???

? ??=∑j j C β2log 2，求C

symbol bit s s C s s

/ )1(1log 2log 122??

????-+=????

??=-∑β

c. 由公式C

j j y p -=β2

)(，求p(y j )

s s s C s

s C s

s s

s y p s

s y p ------+-=

=-+=

=11211)1(1)1(2)()1(112)(21ββ

d. 由公式∑=i

i j

j x y

p x p y p )/()()(，求p(x i )

由方程组：

?-=+=)

1)(()()()()(22211s x p y p s

x p x p y p 解得

s s

x p s

s s

x p -----+=

-+-=

112111)1(1)()1(11)(

因为s 是条件转移概率，所以0 ≤ s ≤ 1，从而有p(x 1)，p(x 2) ≥ 0，保证了C 的存在。

2) 可抹信道

可抹信道是一个准对称信道，把信道矩阵分解成两个子矩阵如下：

()()()mi

k k k k M y p j

M y p j

k mi

k s

k k k H y p y p m C s y p m y p y p s y p y p m y p y p m y p y p s

s s x y p x p x y p x p y p s s s s x y p x p x y p x p y p s s s s x y p x p x y p x p y p H y p y p m Y X I C s s M s s s s s s M j j k

j --===

-=+=

???

??=+=+=-=--+=+=-=+--=+=--==???

???=??????----=∑∑∑∑∑=∈∈∈=)(log )(1

)

()

()(2

/12)

()()

()(2/2/)/()()/()()(2/12/)1(2/)/()()/()()(2/12/2/)1()/()()/()()()(log )();(max ,1122

132

)(21211

)(1)(111232131312122221212122121211112111221222112

[]symbol

bit s s s s s s s s s s s s s s s s s s s s / log )1(log )1(21log )1(log log )1(log )1()log 2

1log 212(222212211

21121222212211211

21+----+---=++----++-?-?

3) 非对称信道

这个信道是个一般信道，利用一般信道的计算方法 a. 由公式

∑∑=j

j i j j

i j i j

x y p x y p x y

p β)/()/(log )/(2，求βj

?-=-=??????

?+=++=+6225

.03775.1434143log 4341log 4

1212121log 2121log 212121222122ββββββ

b. 由公式???

??=∑j j C β2log 2，求C []

symbol bit C j j

/ 049.022log 2log 6225.03775.122=+=???

??=--∑β c. 由公式C

j j y p -=β2

)(，求p(y j )

628

.02

)(327.022)(049

.06225.02049.03775.1121======------C

C y p y p ββ

d. 由公式∑=i

i j

j x y

p x p y p )/()()(，求p(x i )

由方程组：

???

+=+=)

(43)(21628.0)(4

1)(21372.02121x p x p x p x p 解得

?==512

.0)(488.0)(21x p x p p(x 1)，p(x 2) ≥ 0，保证了C 的存在。

(4) 准对称信道

把信道矩阵分解成三个子矩阵如下：

symbol

bit H y p y p m C y p m y

p y p y p m y

p y p y p y p m y

p y p m y p y p x y p x p x y p x p y p x y p x p x y p x p y p x y p x p x y p x p y p x y p x p x y p x p y p H y p y p m Y X I C M M M mi

k k k k M y p j

M y p j

M y p j k mi

k s k k k j j j k

j / 041.0 61log 6

31log 3131log 31)61log 6131log 3141log 412( )(log )(6

1)()()(311)()()(41

2/41412)()()()()()(6161216121)/()()/()()(31

31213121)/()()/()()(41

31216121)/()()/()()(4161213121)/()()/()()()(log )();(max 6161,3131,3161613

2222223

)(332

)(2211

)(1)(24214142

3213132

221212212111121

2213

=??

????+++++??-=--===

??? ??+=+=

?????

???

?+?=+==?+?=+==?+?=+==?+?=+=--==????

??????=??????????=??????????=∑∑∑∑∑∑=∈∈∈∈=

3.8 已知一个高斯信道，输入信噪比（比率）为3。频带为3kHz ，求最大可能传输的消息率。

若信噪比提高到15，理论上传送同样的信息率所需的频带为多少？

解：

()()Hz

P P C W s

bit P P W C N X t N X t 1500151log 6000

1log / 600031log 30001log 22=+=?

??? ?

?+==+?=????

?+=

3.9 有二址接入信道，输入X 1, X 2和输出Y 的条件概率P(Y/X 1X 2)如下表（ε < 1/2），求容量

界限。

3.10 有一离散广播信道，其条件概率为??

???????---=223212)(32121)/(σπ

x x x y e

x x x y p 试计算其容量界限

（已知[]

3,2,1,22==l X E l l σ）。

3.11 已知离散信源?

???=?

?????4.02

.03.01.0)(432

1x x x x X P X ，某信道的信道矩阵为?????

??????2.04.02.01.03.01

.02.05.01.01.04.01.02.06.03.02.0试求： (1) “输入x 3，输出y 2”的概率； (2) “输出y 4”的概率；

(3) “收到y 3的条件下推测输入x 2”的概率。

解： 1)

04.02.02.0)/()()(32323=?==x y p x p y x p

.02.04.02.02.01.03.04.01.0 )/()()/()()/()()/()()(4443432421414=?+?+?+?=+++=x y p x p x y p x p x y p x p x y p x p y p

136

.022

.01

.03.0)()/()()/(22

.04.04.01.02.01.03.01.01.0 )/()()/()()/()()/()()(3232324343332321313=?===?+?+?+?=+++=y p x y p x p y x p x y p x p x y p x p x y p x p x y p x p y p

3.12 证明信道疑义度H(X/Y) = 0的充分条件是信道矩阵[P]中每列有一个且只有一个非零元

素。

证明：

[P]每列有一个且只有一个非零元素 =〉 H(X/Y) = 0

取[P]的第j 列，设0)/(≠k j x y p 而其他),...,2,1 ,( 0)/(n i k i x y p i j =≠=

symbol

bit y x p y x p y p y x p y x p Y X H x y p x y p y x p k i y p y p x y p x p y p y x p y x p x y p x p x y p x p x y

p x p x y p x p y p y x p y x p j i j i j i j i

j i j i i j i j j i j j i j i j j i j i k j k k j k i

i j

k j k j j k j k / 0 )/(log )/()( )

/(log )()/(0

)/( 10

)/( 0)/()( 0)

)

()

/()()

()()/(1

)

/()()/()()/()()

/()()()()/(=?

???-=-=????

?≠==∴≠==

∑∑∑∑∑

3.13 试证明：当信道每输入一个X 值，相应有几个Y 值输出，且不同的X 值所对应的Y 值不相互重合时，有H(Y) – H(X) = H(Y/X)。

证明：

信道每输入一个X 值，相应有几个Y 值输出，且不同的X 值所对应的Y 值不相互重合。这种信道描述的信道转移矩阵[P]的特点是每列有一个且只有一个非零元素。取[P]的第j 列，设

)/(≠k j x y p 而其他

)

,...,2,1 ,( 0)/(n i k i x y p i j =≠=

)

()()/()()()/()

/()()/()();(/ 0 )/(log )/()( )

/(log )()/(0

)/( 10

)/( 0)/()( 0)

)

()

/()()

()()/(1

)

/()()/()()/()()

/()()()()/(X H Y H Y X H X H Y H X Y H X Y H Y H Y X H X H Y X I symbol

bit y x p y x p y p y x p y x p Y X H x y p x y p y x p k i y p y p x y p x p y p y x p y x p x y p x p x y p x p x y

p x p x y p x p y p y x p y x p j i j i j i j i

j i j i i j i j j i j j i j i j j i j i k j k k j k i

i j

k j k j j k j k -=+-=∴-=-==?

???-=-=????

?≠==∴≠==

∑∑∑∑∑

3.14 试求以下各信道矩阵代表的信道的容量：

(1) [P] = ?????

???

???00101000000101

00 (2) [P] = ????????

?????

????

?10

010*******

001001

(3) [P] = ??

?????3.0001.0002.0004.00007.0003.00004.0003.0002.0001.0 解：

这个信道是一一对应的无干扰信道

ymbol bit n C s / 24log log 22===

这个信道是归并的无干扰信道

ymbol bit m C s / 585.13log log 22===

这个信道是扩展的无干扰信道

ymbol bit n C s / 585.13log log 22===

3.15 设二进制对称信道是无记忆信道，信道矩阵为??

???

?__p p p p

，其中：p > 0，_p < 1，p + _p = 1，_

p >> p 。试写出N = 3次扩展无记忆信道的信道矩阵[P]。

解：

[]????????????

?????????????

?=322223222

23222232

223

32232

23222

22322

23222

322223

222

111110101100011010001000 111

110 101 100 011 010 001 000 p p

p p

p p p p

p p p p p p p p p

p p

p p p p p p p p

p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p

p p p p p p p p p

p p p p p p p p P

3.16 设信源X 的N 次扩展信源X = X 1X 2…X N 通过信道{X, P(Y/X), Y}的输出序列为Y = Y 1Y 2…Y N 。

试证明：

(1) 当信源为无记忆信源时，即X 1, X 2, …, X N 之间统计独立时，有);();(1

Y X I Y X I N

k k k ≤∑=；

(2) 当信道无记忆时，有);();(1

Y X I Y X I N

k k k ≥∑=；

(3) 当信源、信道为无记忆时，有);();();(1

Y X NI Y X I Y X I N N N

k k k ==∑=；

(4) 用熵的概念解释以上三种结果。

证明： 1)

[][

]

[][

][]

[]

[]∑∑=--=-----≥∴=-≥-∴≤-=-++-+-=+++-+++=∴+++=+++=+++=-=N

k k k N

k k k k k k N k k k k k N k N

k k N k k N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N Y X I Y X I Y X I Y X H X H X X Y X H X H Y X H X X Y X H X X Y X H X H X X Y X H X H X Y X H X H Y X H X H X X Y X H X Y X H Y X H X H X H X H Y X I X X Y X H X Y X H Y X H Y X H X H X H X H X X X H X X H X H X H Y X H X H Y X I 1111111111122111112121111212111121)

;();();()/()().../()()

/().../()

.../()( ).../()(...)/()()/()( ).../(...)/()/()(...)()();()

.../(...)/()/()/()

(...)()( ).../(...)/()()()

/()();(

[][][][][]

)/().../(...)/()/()/()( )/(...)/()/().../(...)/()();()

/(...)/()/( )

/(log )......(...... ...

)

/(log )......(...... )

/().../()/(log )......(...... )

.../...(log )......(...... )

/(log )()/().../(...)/()()()

/()();(11221211122111112122111112121211

2221211

1121211

221121211

212121211

N N N N N N N N N N N N n

i m

j i j j j j i i i m

j n

i n

i m

j i j j j j i i i m j n i n

i m

j i j j j j i i i m

j n i n

i m

j i j i j i j j j j i i i m

j n i n i m

j i i i j j j j j j i i i m j n i n i

m j i j j i N

N N N N N N N N X Y H Y Y Y H X Y H Y Y H X Y H Y H X Y H X Y H X Y H Y Y Y H Y Y H Y H Y X I X Y H X Y H X Y H x y p y y y x x x p x y p y y y x x x p x y p y y y x x x p x y p x y p x y p y y y x x x p x x x y y y p y y y x x x p a b p b a p X Y H Y Y Y H Y Y H Y H Y H X Y H Y H Y X I N

N N N N N

N N N N

N N N N N N N N N N N N N N N N

-++-+-=+++-+++=∴+++=---=-=-=-=+++=-=---∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑[]

[][]∑∑=--=-≤∴=-≤-∴≤-=N

k k k N

k k k k k k k k k k k k N

k k k k k Y X I Y X I Y X I X Y H Y H X Y H Y Y Y H Y H Y Y Y H X Y H Y Y Y H 1

11111

11)

;();();()/()()/().../()

().../()/().../(

如果信源、信道都是无记忆的。上面证明的两个不等式应同时满足，即：

∑=≥N

k k k N

Y X I Y X I 1);();(

∑=≤N

k k k N

Y X I Y X I 1);();(

必然推出，∑=≡

k k k

Y X

I Y X I 1

);();(，而如果N N Y X ,是平稳分布，即X X X X N ====...21，

Y Y Y Y N ====...21，那么);();();(1

k k N

k k k N

Y X NI Y X I Y X I =≡∑=。

流经信道的信息量也是信宿收到的信息量，它等于信源信息的不确定度减去由信道干扰造成的不确定度。

当信源无记忆、信道有记忆时，对应于本题的第一种情况。信源是无记忆的，信源的不确定度等于N 倍的单符号信源不确定度，信道是有记忆的，信道干扰造成的不确定度小于N 倍单符号信道的不确定度。因此，这两部分的差值平均互信息量大于N 倍的单符号平均互信息量。

当信源有记忆、信道无记忆时，对应于本题的第二种情况。信源是有记忆的，信源的不确定度小于N 倍的单符号信源不确定度，信道是无记忆的，信道干扰造成的不确定度等于N 倍单符号信道的不确定度。因此，这两部分的差值平均互信息量小于N 倍的单符号平均互信息量。

当信源无记忆、信道无记忆时，对应于本题的第三种情况。信源是无记忆的，信源的不确定度等于N 倍的单符号信源不确定度，信道是无记忆的，信道干扰造成的不确定度等于N 倍单符号信道的不确定度。因此，这两部分的差值平均互信息量等于N 倍的单符号平均互信息量。

3.17 设高斯加性信道，输入、输出和噪声随机变量X, Y, N 之间的关系为Y = X + N ，且E[N 2]

= σ2。试证明：当信源X 是均值E[X] = 0，方差为2X σ的高斯随机变量时，信道容量达其容量

C ，且???

??+=2

21log 21

σσX C 。证明：

[])

()();(max )

( )(log )( )(log )()( 1

)

(log )( )/(log )()/()

()/()()()/()()

()(11011,,,,,),()()/()(max );(max max ,,n H Y H Y X I C n H dn

n p n p dn

n p n p dx x p dxdn J

n p J xn p dxdy

x y p xy p X Y H n p x y p n p x p x y p x p xn p xy p Y

n Y

X n

X X

Y X n X J X Y n X X Y X n X J x y n x p xy p X Y H Y H Y X I C n

X Y

X -==∴=-=-=-=-==∴=∴=∴=-=????????=

??? ??∴-==?

??-==-==???????

根据概率论中的结论：n 是正态分布，X 是正态分布，则Y = X + n 也是正态分布，而且2

22n X Y σσσ+=。

所以2

max 2log 2

1)(Y

e Y H σπ=

，前提是2Y σ取最大值，也就是说2X σ取最大值。因为当X 是均值为零的正态分布时，2max 2log 21)(X e X H σπ=，所以这是满足2

max 2log 2

1)(Y e Y H σπ=的前提条件。

()

???? ?

?+=-+=-=-==∴222

2222max 1log 21 2log 2

12log 21 2log 212log 21 )

()( );(max n X n

n X n

Y e e e e n H Y H Y X I C σσσπσσπσπσπ

3.18 设加性高斯白噪声信道中，信道带宽3kHz ，又设{(信号功率+噪声功率)/噪声功

率}=10dB 。试计算该信道的最大信息传输速率C t 。

解：

s bit P P W C P P P P P W C N X t N

X N X t / 996610log 30001log 101log 2=?=????

?+==+????

?+=

3.19 在图片传输中，每帧约有2.25 106个像素，为了能很好地重现图像，能分16个亮度电

平，并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽（信噪功率比为30dB ）。

解：

bit t I C bit NH I symbol bit n H t / 101.560

10910

10941025.2/ 416log log 56

6622?=?===?=??=====

15049)10001(log 105.11log 1log 25

H P P C W P P W C N X t N X t =+?=???? ?

?+=?

??? ?

?+= 3.20 设电话信号的信息率5.6 104比特/秒，在一个噪声功率谱为N 0= 5 10-6 mW/Hz 、限频

F 、限输入功率P 的高斯信道中传送，若F=4kHz ，问无差错传输所需的最小功率P 是多少瓦？若F →∞，则P 是多少瓦？

解：

e N C P e

N P

C F W WN P WN P W C t X X t W C X X t t 1094.171828

.2log 105106.5log log 328.0121054000121log 429

42020

4000106.59004

--?-?=???===∞→=?

? ??-???=???? ??-=?

???

?+=

信息论与编码理论-第3章信道容量-习题解答

第3章信道容量习题解答 3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3?? ???? 解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和 (;)I X Y 。 i i 2 i=1 3311 H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-?-=∑符号 111121********* j j j=1 32117 p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125 p(b )=p(a )p(b |a )+p(a )p(b |a )=434312 7755 H(Y)=p(b )log(b )=log()log()0.9799(/) 12121212bit ?+?= ?+?= ---=∑符号 22 i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a ) 2211 log()log()0.9183(/) 3333 i j j bit -=-=-?-?=∑∑符号 I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号) (2)求该信道的信道容量及其达到信道容量时的输入概率分布。二进制对称信息的信道容量 H(P)=-plog(p)-(1-p)log(1-p) 1122 C =1-H(P)=1+log()+log()=0.0817(bit/) 3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，} 注意单位

信息论与编码[第三章离散信道及其信道容量]山东大学期末考试知识点复习

第三章离散信道及其信道容量 3．1．1 信道的分类在信息论中，信道是传输信息的通道，是信息传输系统的重要组成部分之一。信道的分类有：按照信道输入端或输出端的个数可分为单用户信道和多用户信道。按照信道输出端有无信号反馈到输入端可分为有反馈信道和无反馈信道。按照信道的统计参数是否随时间变化可分为时变参数信道和固定参数信道。按照信道输入／输出信号取值幅度集合以及取值时间集合的离散性和连续性可分为离散信道(数字信道)和波形信道(模拟信道)。按照信道输入/输出信号取值幅度集合的离散性和连续性(取值时间是离散的)可分为离散信道和连续信道。按照信道输入/输出信号在取值时刻上是否有依赖关系可分为有记忆信道和无记忆信道。按照信道输入信号与输出信号之间是否统计依赖关系可分为有噪信道和无噪(无干扰)信道。 3．1．2 离散信道的数字模型 1．一般离散信道(多维离散信道) 一般离散信道输入/输出信号取值幅度和取值时刻都是离散的平稳随机矢量。其数学模型可用离散型概率空间[X，P(y|x)，Y]来描述。其中X=(X1X2…X N)为输入信号，Y= (Y1Y2…Y N)为输出信号。X中X i∈A={a1，a2，…，a r}，Y中Y i∈B={b1，b2，…，b s}。又P(y|x)(x∈X，y∈Y)是信道的传递概率(转移概率)，反映输入和输出信号之间统计依赖关系，并满足

概率空间[X，P(y|x)，Y]也可用图来描述。 2．基本离散信道(单符号离散信道) 单符号离散信道是离散信道中最基本的信道，其信道输入/输出信号都是取值离散的单个随机变量。数学模型是概率空间[X，P(y|x)，Y]，(或[X，P(b j|a i)，Y])，其中X∈A={a1，a2，…，a r}，Y∈B={b1，b2，…，b s)，P(y|x)=P(b j|a i)(i=1，2，…，r；j=1，2，…，s)并满足概率空间[X，P(y|x)，Y]也可用图来描述，如图3．1所示。若将传递概率排列成矩阵形式，则称其为传递矩阵(或称信道矩阵)P，即 3．无噪(无干扰信道) 若离散信道[X，P(y|x)，Y]满足

信息论与编码理论_第3章信道容量_习题解答_071102

.. .. ... . . 第3章信道容量习题解答 3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3?? ???? 解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和 (;)I X Y 。 i i 2 i=1 3311 H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-?-=∑符号 111121********* j j j=1 32117 p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125 p(b )=p(a )p(b |a )+p(a )p(b |a )=434312 7755 H(Y)=p(b )log(b )=log()log()0.9799(/) 12121212bit ?+?= ?+?= ---=∑符号 22 i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a ) 2211 log()log()0.9183(/) 3333 i j j bit -=-=-?-?=∑∑符号 I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号) (2)求该信道的信道容量及其达到信道容量时的输入概率分布。二进制对称信息的信道容量 H(P)=-plog(p)-(1-p)log(1-p) 1122 C =1-H(P)=1+log()+log()=0.0817(bit/) 3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位

第三章信道容量-1,2,6,7习题答案

3.1 设信源??? ???=??????4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为??? ? ? ?????43416165，求： (1) 信源X 中事件x 1和事件x 2分别包含的自信息量； (2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。解： 1) bit x p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(22222121=-=-==-=-= 2) bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04 .04 /3log )()/(log );( 263.16.04 /1log )()/(log );( 263.14.06 /1log )()/(log );( 474.06.06 /5log )()/(log );(4 .04 3 4.0616.0)/()()/()()(6 .041 4.0656.0)/()()/()()(22222 2221212122212221211121122212122121111===-===-=======?+?=+==?+?=+= 3) sym bol bit y p y p Y H sym bol bit x p x p X H j j j i i i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑ 4) sym bol bit Y H X Y H X H Y X H Y X H Y H X Y H X H sym bol bit x y p x y p x p X Y H i j i j i j i / 715.0971.0715.0971.0 )()/()()/()/()()/()(/ 715.0 10 log )4 3 log 434.041log 414.061log 616.065log 656.0( ) /(log )/()()/(2=-+=-+=∴+=+=??+?+?+?-=-=∑∑

第三章信与信道容量

第三章信道与信道容量主要内容：（1）信道的分类和表示参数；（2）离散单个符号信道及其容量；（3）离散序列信道及其容量；（4）连续信道及其容量。重点：离散单个符号信道及其容量。难点：连续信道及其容量。说明：信道是构成信息流通系统的重要部分，其任务是以信号形式传输和存储信息。在物理信道一定的情况下，人们总是希望传输的信息越多越好。这不仅与物理信道本身的特性有关，还与载荷信息的信号形式和信源输出信号的统计特性有关。本章主要讨论在什么条件下，通过信道的信息量最大，即所谓的信道容量问题。本章概念和定理也较多，较为抽象，课堂教学时考虑多讲述一些例题，着重阐明定理和公式的物理意义，对较为繁琐的推倒过程做了部分省略。作业：3．1，3．2。课时分配：4课时。板书及讲解要点：本章首先讨论信道的分类及表示信道的参数，然后讨论各种信道的容量和计算方法。 3．1 信道的分类和表示参数信道中存在的干扰使输出信号与输入信号之间没有固定的函数关系，只有统计依赖的关系。因此可以通过研究分析输入输出信号的统计特性来研究信道。首先来看下一般信道的数学模型，这里我们采用了一种“黑箱”法来操作。通信系统模型，在信道编码器和信道解码器之间相隔着许多其他部件，如调制解调、放大、滤波、均衡等器件,以及各种物理信道。信道遭受各类噪声的干扰，使有用信息遭受损伤。从信道编码的角度，我们对信号在信道中具体如何传输的物理过程并不感兴趣，而仅对传输的结果感兴趣：送人什么信号,得到什么信号，如何从得到的信号中恢复出送入的信号，差错概率是多少。故将中间部分全部用信道来抽象。可得到下图表示的一般信道模型。 3．1． 1 信道的分类图3－1 信道模型

第三章信道容量习题答案.doc

3.1 设信源??? ???=? ?????4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为??? ? ??????43416165，求： (1) 信源X 中事件x 1和事件x 2分别包含的自信息量； (2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。解： 1) bit x p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(22222121=-=-==-=-= 2) bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04 .04 /3log )()/(log );( 263.16.04 /1log )()/(log );( 263.14.06 /1log )()/(log );( 474.06.06 /5log )()/(log );(4 .04 3 4.0616.0)/()()/()()(6 .041 4.0656.0)/()()/()()(22222 2221212122212221211121122212122121111===-===-=======?+?=+==?+?=+= 3) symbol bit y p y p Y H symbol bit x p x p X H j j j i i i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑ 4) symbol bit Y H X Y H X H Y X H Y X H Y H X Y H X H symbol bit x y p x y p x p X Y H i j i j i j i / 715.0971.0715.0971.0 )()/()()/() /()()/()(/ 715.0 10 log )4 3 log 434.041log 414.061log 616.065log 656.0( ) /(log )/()()/(2=-+=-+=∴+=+=??+?+?+?-=-=∑∑

第三章信道容量练习题

一1. 2.3.4.5. 一、填信道是传输无线的，并噪声和干扰信息的传输通常用信道随机特性。. 信道容量信道最大述信道特. 对一个给容量就是的平均互态。因而信道的信. 信息传递要知道传系为t C = 如果信道矩排的；如果矩阵是列可对称信道。第三章填空题输信息的通并有多种传扰，而这些输。由于噪声道的转移概量 C 是信道大信息“通行特性的信道转给定的信道是定值。当信互信息量在量而，计算匹配信道容量。递速率C t 描传输一个符C t ，单矩阵P 的每果转移概率可排的；如如果信道章信题通道。在通信传输媒介。信些噪声和干扰声和干扰具概率矩阵/前道的最大信息行”能力的转移概率有，描述信道信源为匹配量值上等于配信源分布描述的是信道号所需的时单位为比特/秒每一行都是第率矩阵P 的每果信道矩阵道矩阵P 仅满信道容信系统中，信息在信道扰会叠加到具有随机特性向概率矩阵息传输率（的标志，因有关。道特性的信配信源（信于信道容量布时，流经道在单位时时间t ，则信秒。第一行诸元每一列都是阵P 同时满满足行可排容量练实际信道可道的传输过程到信息的载体性，从而使信阵这一概率（单位：比特此它与信源道转移概率源概率取最，即信道处信道的平均时间内平均传信息传递速元素的不同排是第一列诸元满足行可排和排不满足列可练习题可以是有线程中，不可体——信号信道也具有模型来描述特/符号）。源的概率分率就一定了最佳分布）处于最大信均互信息量传递信息多率C t 与信道排列，则称元素的不同和列可排，可排，则称线的，也可以可避免地会引号上，从而影有随机特性述信道的这信道容量分布无关，只，因而其信时，通过信信息“通行”量，就可以求多少的能力道容量C 的称该矩阵是行同排列，则称则称该信道称该信道为准以是引入影响性，一C 是只描信道信道”状求出，只的关行可称该道为准对

信息论与编码理论第3章信道容量习题解答071102

第3章信道容量习题解答 3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3?? ???? 解: (1) 若12()3/4,()1/4P a P a ==,求(),(),(|),(|)H X H Y H X Y H Y X 与 (;)I X Y 。 i i 2 i=1 3311 H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-?-=∑符号 111121********* j j j=1 32117 p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125 p(b )=p(a )p(b |a )+p(a )p(b |a )=434312 7755 H(Y)=p(b )log(b )=log()log()0.9799(/) 12121212bit ?+?= ?+?= ---=∑符号 22 i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a ) 2211 log()log()0.9183(/) 3333 i j j bit -=-=-?-?=∑∑符号 I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号) (2)求该信道的信道容量及其达到信道容量时的输入概率分布。二进制对称信息的信道容量 H(P)=-plog(p)-(1-p)log(1-p) 1122 C =1-H(P)=1+log()+log()=0.0817(bit/) 3333符 BSC 信道达到信道容量时,输入为等概率分布,即:{0、5,0、5} 注意单位

文档之家

第三章信道容量习题答案

信息论与编码理论-第3章信道容量-习题解答

最新第三章-信道容量-习题答案

信息论与编码[第三章离散信道及其信道容量]山东大学期末考试知识点复习

信息论与编码理论_第3章信道容量_习题解答_071102

第三章 信道容量-1,2,6,7习题答案

第三章 信与信道容量

第三章 信道容量习题答案.doc

第三章 信道容量练习题

信息论与编码理论第3章信道容量习题解答071102

第三章信道容量-1,2,6,7习题答案

第三章信与信道容量

第三章信道容量习题答案.doc

第三章信道容量练习题