当前位置：文档之家› 信息论与编码第二章答案

信息论与编码第二章答案

2-1、一阶马尔可夫链信源有3个符号

{}123,,u u u ，转移概率为：1

112

()u p u

=，

2112()u p u =，31()0u p u =，1213()u p u = ，22()0u p u =，3223()u p u =，1313()u p u =，2323()u p u =，33()0u p u =。画出状态图并求出各符号稳态概率。

解：由题可得状态概率矩阵为：

1/21/2

0[(|)]1/302/31/32/30j i p s s ????=??

????

状态转换图为：

令各状态的稳态分布概率为1W ，2W ，3W ，则： 1W =

121W +132W +133W ， 2W =121W +233W , 3W =2

2W 且：1W +2W +3W =1 ∴稳态分布概率为：

1W =25，2W =925，3W = 6

2-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：

P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。解：状态转移概率矩阵为：

令各状态的稳态分布概率为1w 、2w 、3w 、4w ，利用（2-1-17）可得方程组。

111122133144113

211222233244213

311322333344324411422433444424

0.80.50.20.50.50.20.50.8w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w =+++=+??=+++=+??

=+++=+??=+++=+? 且12341w w w w +++=；

0.8 0.2 0 00 0 0.5 0.5()0.5 0.5 0 00 0 0.2 0.8j i p s s ????

?=?????

解方程组得：12345141717514w w w w ?=???=???=???=? 即：5(00)141(01)71(10)75(11)14

p p p p ?=???=??

?=???=?

2-3、同时掷两个正常的骰子，也就是各面呈现的概率都是16

，求：

（1）、“3和5同时出现”事件的自信息量；

（2）、“两个1同时出现”事件的自信息量；（3）、两个点数的各种组合的熵或平均信息量；（4）、两个点数之和的熵；（5）、两个点数中至少有一个是1的自信息量。

解：（1）3和5同时出现的概率为：1111

p(x )=

26618

??= 11

I (x )=-l b

4.17

bit ∴= （2）两个1同时出现的概率为：2111

p(x )=6636

?= 21

I(x )=-lb

5.1736

bit ∴= （3）两个点数的各种组合（无序对）为： (1,1),(1,2),(1,3),(1,4),(1,5),(1,6) (2,2),(2,3),(2,4),(2,5),(2,6) (3,3), (3,4),(3,5),(3,6) (4,4),(4,5),(4,6) (5,5),(5,6) (6,6) 其中，(1,1), (2,2), (3,3), (4,4), (5,5), (6,6)的概率为1/36，其余的概率均为1/18 所以，1111

()156 4.33718183636

H X lb lb bit ∴=-?

-?=事件（4）两个点数之和概率分布为：

4678102

3591112

653

124

42136363636

3636

36x p

信息为熵为：12

()1() 3.27i

i H p x bp x bit ==-

=∑

（5）两个点数之中至少有一个是1的概率为：311

()36

p x = 311

I(x )=-lb

1.1736

bit ∴= 2-4.设在一只布袋中装有100个用手触摸感觉完全相同的木球，每个球上涂有一种颜色。100

个球的颜色有下列三种情况：（1）红色球和白色球各50个；（2）红色球99个，白色球1个；（3）红、黄、蓝、白色球各25个。

分别求出从布袋中随意取出一个球时，猜测其颜色所需要的信息量。解：（1）设取出的红色球为1x ，白色球为2x ；有11()2p x =，21

()2

p x = 则有：1

111

()()2222

H X lb

lb =-+=1bit/事件 (2) 1()0.99p x =,2()0.01p x =;

则有：()(0.990.990.010.01)H X lb lb =-+=0.081（bit/事件）

(3)设取出红、黄、蓝、白球各为1x 、2x 、3x 、4x ，有1234

()()()()4

px px px ====

则有：11()4()244

H X lb bit =-=/事件

2-5、居住某地区的女孩中有25%是大学生，在女大学生中有75%身高为1.6M 以上，而女孩中身高1.6M 以上的占总数一半。假如得知“身高1.6M 以上的某女孩是大学生”的消息，问获得多少信息量？

解：设女孩是大学生为事件A ，女孩中身高1.6m 以上为事件B ，则p(A)=1/4, p (B)=1/2，

p (B|A)=3/4，则 P(A|B)=

()()(|)()()

p AB p A P B A p B P B ==

0.250.753

0.58?= I （A|B ）＝log （1/p(A/B)）=1.42bit

2-6.掷两颗，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？

解：（1）小圆点数之和为3时有（1,2）和（2,1），而总的组合数为36，即概率为1

(3)18

p x ==，则

(3)(3) 4.1718

I x lbp x lb

bit ==-==-= （2）小园点数之和为7的情况有（1,6），（6,1）（2,5）（5,2）（3,4）（4,3），则概率为

1(7)6p x ==

，则有 1

(7) 2.5856

I x lb bit ==-= 2-7、设有一离散无记忆信源，其概率空间为1234013338141418X x x x x P ====????

=????????

（1）、求每个符号的自信息量；

（2）、信源发出一消息符号序列为

{}

202120130213001203210110321010021032011223210，求该消息序列的自信息量及平均每个符号携带的信息量。

解：（1）1x 的自信息量为：13

I(x )=-lb

1.4158bit = 2x 的自信息量为：21

I(x )=-lb 24bit =

3x 的自信息量为：31

I(x )=-lb 24bit =

4x 的自信息量为：41

I(x )=-lb 38

bit =

（2）在该消息符号序列中，1x 出现14次，2x 出现13次，3x 出现12，4x 出现6次，所以，该消息序列的自信息量为：

I （i x ）=14 I （1x ）+13 I （2x ）+12 I （3x ）+6 I （4x ）

19.8126241887.81bit bit bit bit bit

=+++=

平均每个符号携带的信息量为：

11223344()()log ()()log ()()log ()()log ()H X p x p x p x p x p x p x p x p x =+++

31111.415223

84481.906b i t

?+?+?+?=

2-8．试问四进制、八进制脉冲所含的信息量是二进制脉冲的多少倍？

解;设二进制、四进制、八进制脉冲的信息量为

21()12I X lb

bit =-= 41()24I X lb bit == 81

()38

I X lb bit == 所以，四进制、八进制脉冲信息量分别是二进制脉冲信息量的2倍、3倍。

2-10 在一个袋中放5个黑球、10个白球，以摸一个球为实验，摸出的球不再放进去。求：（1）一次实验中包含的不确定度；

（2）第一次实验X 摸出是黑球，第二次实验Y 给出的不确定度；（3）第一次实验X 摸出是白球，第二次实验Y 给出的不确定度；（4）第二次实验包含的不确定度。

解：（1）一次实验的结果可能摸到的是黑球1x 或白球2x ，它们的概率分别是11

()3

p x =

，22

()3

p x =

。所以一次实验的不确定度为 12112

()(,)(l o g l o g )0.5280.3900.91833333

H X H b i t ==-+=+=

(2)当第一次实验摸出是黑球，则第二次实验Y 的结果可能是摸到黑球1x 或白球2x ，它们的

287.81/45 1.95I =≈ 比特/符号

概率分别是 112()7p y x =

、215()7

p y x =。所以该事件的不确定度为

1112

255()()l o g ()

(

l o g l o g )

777

i i i

H Y x p y x p y x =-=-+∑ 0.5160.3470.863bit =+=/符号

(3)当第一次实验摸出是白球，则第二次实验Y 的结果可能是摸到黑球1y 或白球2y ，它们的概率分别是 125()14p y x =

、229

()14

p y x =。所以该事件的不确定度为

2225599

()()log ()(log log )14141414i i i

H Y x p y x p y x =-=-+∑

0.5300.4100.940bit =+=/符号

（4）

11220

(|)()(|)=()()()() =0.91bit /i i i H Y X p x H Y x p x H Y x p x H Y x ==-+∑符号

二次实验B 出现结果的概率分布是p(x,y)=p(黑，黑)= 221，p(x,y)=p(黑，白)= 5

，p(x,y)=p(白，黑)=

521，p(x,y)=p(白，白)= 9

所以二次实验的不确定度为 H(B)= -

221log 221-521log

521-521log 521-921log 9

=0.91bit/符号

2-11有一个可旋转的圆盘，盘面上被均匀地分成38份，用1，2，、、、，38数字标示，其中有2份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。（1）若仅对颜色感兴趣，则计算平均不确定度；

（2）若对颜色和数字都感兴趣，则计算平均不确定度；（3）如果颜色已知时，则计算条件熵。

解：令X 表示指针指向某一数字，则X={1,2, (38)

Y 表示指针指向某一种颜色，则Y={绿色，红色，黑色} Y 是X 的函数，由题意可知()()i j i p x y p x = （1）仅对颜色感兴趣，则 H(c)=—

322log 322—2?3218?log 32

18 =0.2236+1.0213 =1.245bit (2)对颜色和数字都感兴趣，则

H(n,c)=H(n)=38?(-

381)log 38

1 =-3010.05798

.1- =5.249bit

(3)如果颜色已知时，则

H （n|c ）=H(n,c)-H(h)=5.249-1.245=4.004bit

2-12、两个实验X 和Y ，123{,,}X x x x =，123{,,}Y y y y =，联合概率(,)i j ij r x y r =为

1112132122

2331

337/241/2401/241/41/2401/247/24r r r r r r r r r ????

????=????????????

（1）如果有人告诉你X 和Y 的结果，你得到的平均信息量是多少？

（2）如果有人告诉你Y 的结果，你得到的平均信息量是多少？

（3）在已知Y 的实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少？解：（1）、33

(,)(,)log (,)i

i j i j H X Y p x y

p x y ===-

∑∑

771111

2log 4log log 2424242444

=-?

-?- 2.3bit /=符号（2）、1231

()()()3

py py py =

== 3

11111

()()log ()(,,)3log 1.58bit/33333i i i H Y p y p y H ==-==-?=∑符号

（3）、(|)(,)()2.31.580.72b i t /HX Y HXY HY =-=

-=符号

()(,)log ()i j i j ij

H X Y p x y p x y =-∑

(,)(,)log

()

171124244(2log 4log log )1112424433

0.1120.50.1040.716i j i j ij

j p x y p x y p y bit

=-=-?

+?+=++=∑ 2-13有两个二元随机变量X 和Y ，它们的联合概率如右图所示。并定义另一随机变量Z=XY （一

般乘积）

。

试计算：

（1） ()H X ，()H Y ，()H Z ，(,)H X Z ，(,)H Y Z ，(,,)H X Y Z

（2） H(X Y)，H(Y )X ，()H X Z ，()H Z X ，()H Y Z ，()H Z Y ，

(,)H X Y Z ，(,)H Y X Z ，(,)H Z X Y

（3） (;)I X Y ，(;)I X Z ，(;)I Y Z ，(;)I X Y Z ，(;)I Y Z X ，(;)I X Z Y

解：（1）1）31

82+=111121p(x )=p(x y )+p(x y )=

8 11

+=221223p(x )=p(x y )+p(x y )=8

()()l o g ()1/i

i i

H X p x

p x bit symbol =-

=∑

82+=111211p(y )=p(x y )+p(x y )=

8 11

+=212223p(y )=p(x y )+p(x y )=8

()()log ()1/j j j

H Y p y p y bit symbol =-=∑

120171()88z z Z P Z ==??

????

=????

???

7711

()()(log log )0.544/8888k k

H Z p Z bit symbol =-=-+=∑

11112()()()p x p x z p x z =+ 111()()0.

5p x z p x == 12()0p x z = 11121()()()p z p x z p x z =+ 21111

()()()0.588

p x z p z p x z =-=-= 21222()()()p z p x z p x z =+ 2221()()8

p x z p z ==

()()log ()

131113311

(,0,,)(log log log ) 1.406/288228888

i k i k i

H XZ p x z p x z H bit symbol

=-==-++=∑∑

同理：

113311

()()log ()(log log log ) 1.406/228888j k j k j k

H YZ p y z p y z bit symbol =-=-++=∑∑

Pxyx(000)=1/8, Pxyz(010)=3/8, pxyz(100)=3/8, P(111)=1/8

Pxyz(110)=Pxyz(001)=Pxyz(101)=Pxyz(011)=0

21331

()()log ()(,,,)

888811333311

(log log log log ) 1.811/88888888

i j k i j k i j k

H XYZ p x y z p x y z H bit symbol

=-==-+++=∑∑∑

（2）1

133

(,)2(log

log ) 1.818888

H X Y bit =-?+= 由于(,)()()()()H X Y H X H Y X H Y H X Y =+=+所以：

()H X Y (,)()H X Y H Y =-；()(,)()H Y X H X Y H X =-则， () 1.8110.81H X Y bit =-= ()H Y X 1.8110.81bit =-=

()(,)()H X Z H X Z H Z =- 1.410.540.87bit =-= ()(,)()H Z X H X Z H X =- 1.4110.41bit =-= ()(,)()H Y Z H Y Z H Z =- 1.410.540.87bit =-= ()(,)() H Z Y H Y Z H Y =- 1.4110.41bit =-=

(,)(,,)(,)H X Y Z H X Y Z H Y Z =- 1.81 1.410.4bit =-= (,)(,,)(,) 1.81 1.410.4H Y X Z H X Y Z H X Z bit =-=-= (,)(,,)(,) 1.81 1.810H Z X Y H X Y Z H X Y bit =-=-=

Pxz=Px*Pz|x=Pz*Px|z

（3）(;)()()10.810.19I X Y H X H X Y bit =-=-= (;)()

()10.870.13I X Z H X H X Z b i t

=-=-= (;)()()10.870.13I Y Z H Y H Y Z bit =-=-=

由于(;,)(;)(;)I X Y Z I X Z I X Y Z =+则

(;)(;,)(;)()(,)()()I X Y Z I X Y Z I X Z H X H X Y Z H X H X Z =-=--?-???

()(,)H X Z H X Y Z =-0.870.40.47bit =-=

同理有： (;)()(,)0.810.40.41I Y Z X H Y X H Y X Z bit =-=-=

(;)()(,)0.810.40.41I X Z Y H X Y H X Y Z b i t

=-=-= 2.16 黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。

（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图（2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。

（3）比较两种信源熵的大小，并说明原因。解：（1）221010

()0.3log 0.7log 0.881337

H X =+=bit/符号 P(黑|白)=P(黑)

P(白|白)＝P(白)

P(黑|黑)＝P(黑) P(白|黑)＝P(白)

（2）根据题意，此一阶马尔可夫链是平稳的（P(白)＝0.7不随时间变化，P(黑)＝0.3不随时间变化）

212

2222

1()(|)(,)log (,)

111

0.91430.7log 0.08570.7log 0.20.3log 0.91430.08570.2

10.80.3log 0.8

i j i j ij

H X H X X p x y p x y ∞===?+?+?+?∑

＝0.512bit/符号

2.20 给定语音信号样值X 的概率密度为1()2

p x e λλ-=,x -∞<<+∞,求H c (X)，并证明它小于同样方差的正态变量的连续熵。

解：

201()()log ()()log 2111()log ()()log log log ()22211

1log log ()log

()222

11log 2log 22x

c x x x x

x x x x

H X p x p x dx p x e dx

p x dx p x x edx e e x dx

e e x dx e x dx e xe λλλλλλλλλλλλλλλλ+∞+∞

--∞-∞

+∞

--∞-∞-∞+∞

--∞

+∞-=-=-=---=-+=-+?-+=-+???????

112log log (1)log log log 22x x e dx e x e e λλλλλλ+∞

-??=--+=-+=??2

()0,()E X D X λ==

,221214()log 2log ()22e H X e H X ππλλ===>=

2-23 连续随机变量X和Y的联合概率密度为

{[(1)2]}

(,)

x xy y

N S

p x y-+-+

求()

H X,()

H Y,()

H Y X,(;)

I X Y

解：()(,)

P x p x y dy

∞

-∞

?22

{[(1)2]}

x xy y

N S dy

∞

-+-+

2222

111

{[()]}[()]

222

x y x x x y

N S S N

dy dy ∞∞

--+---==

{[(1)2]}

()(,)

x xy y

N S

P y p x y dx dx

∞∞

-+-+

-∞

{[()]}

2()

)]

2()

S N S SN

x y y

NS S N S N

y x y

S N S N

S N

∞--+

∞

随机变量X的概率密度分布为()

=，呈标准正态分布。其中数学期望为0，

方差为S；随机变量Y的概率密度分布为()

P y

2()

S N

=，也呈标准正态分布。其中数学期望为0，方差为（S+N）。

()()log()x x

S S

c X X

H X P x P x dx dx

∞∞

-∞

=-=-

)log2log()

log2log log2

222

x x

E S e E x

S e eS

ππ

=-=+

=+=

2()2() ()()log()y y

S N S N

c Y Y

H Y P y P Y dy dy

∞∞--

++ -∞

=-=-

2()

(l o)l o g2()l o g()

22()

log2()log log2()

22()2

S N

y Y

E S N e E y

S N

S N e e S N

S N

ππ

=-=++

=++=+

(,)(,)log(,)

H X Y P x y P X Y dxdy

∞

-∞

=-?

2222

{[(1)2]}{[(1)2]}

N N

x xy y x xy y

N S N S dxdy

∞

-+-+-+-+

=-?

{[(1)2]}

x xy y

N S

E-+-+

log2log([(1)2)

2xy

e E x xy y

N S

=+-+

log2log

log2π

()(,)()

c c c

H Y X H X Y H X

log2log2log2

eS eN

πππ

(;)()()

c c

I X Y H Y H Y X

111

log2()log2log(1)

222

e S N eN

ππ

=+-=+

2-25 某一无记忆信源的符号集为{0，1}，已知

（1）求符号的平均熵。

（2）由100 个构成的序列，求某一特定序列（例如有m个0和100-m个1）的自由信息量

的表达式。

（3）计算（2）中的序列的熵。

解：（1）

1133

()log log0.50.310.81

4444

H X bit

=--=+=

（2）100

()log()()200(100)log3 1.5941

m m

I X m m

=-=--=+

（3）100

()100()81

H X H X bit

()

()2(1/100)log3

100

I X

H X m

==--

2-26 一个信源发出二重符号序列消息（

X，

X），其中第一个符号

X可以是A，B，C

中的任一个，第二个符号

X可以是D，E，F，G中的任一个。已知各个

()

p x为

()

p A=,

()

p B=,

()

p C=；各个

()

j i

p x x值列成如下。求这个信源的熵（联合熵）12

(,)

H X X.

解：12121(,)()()H X X H X H X X =+ 1111

1()[

l o g l o g l o g ]0.50.5280.431 1.459

223366

H X b i t =-++=++= 21()H X X

111111133111111

[4log 2log 2log 3log log ]24435531010666622

=-??+??+??+??+?

10.30940.34720.21530.0833 1.955bit =++++=

12(,) 1.459 1.955 3.414/H X X bit =+=序列

2.29 有一个一阶平稳马尔可夫链1,2,,,r X X X ,各X r 取值于集合{}1,2,3A a a a =,已知起始概率P(X r )为1231/2,1/4p p p ===，转移概率如下图所示

(1) 求123(,,)X X X 的联合熵和平均符号熵 (2) 求这个链的极限平均符号熵

(3) 求012,,H H H 和它们说对应的冗余度解：（1）

12312132,112132(,,)()(|)(|)

()(|)(|)

H X X X H X H X X H X X X H X H X X H X X =++=++

1111111

()log log log 1.5/224444

H X bit =---=符号

，X 的联合概率分布为

212()()j i j i

p x p x x =∑

X 2的概率分布为

那么

21111131131

(|)log 4log 4log 4log log3log log348862126212

H X X =

++++++ =1.209bit/符号

X 2X 3

那么

32771535535

(|)log 2log 4log 4log log 3log log 3244883627236272

H X X =

++++++ =1.26bit/符号

123(,,) 1.5 1.209 1.26 3.969H X X X bit =++=/符号

所以平均符号熵3123 3.969

(,,) 1.3233

H X X X bit =

=／符号（2）设a 1,a 2,a 3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为1112442

10332103

P ?? ? ?

?= ? ? ? ???

由1i WP W W =???=??∑ 得到 123132123122123311431W W W W W W W W W ?++=???+=??++=???计算得到12347314314W W W ?=??

?=??

又满足不可约性和非周期性

4111321

()(|)(,,)2(,,0) 1.2572441433i i i H X W H X W H H bit ∞===+?=∑ /符号

(3)0log3 1.58H bit ==/符号 1 1.5

H b i t =/符号 2 1.5 1.209

1.3552

H b i t +==/符号 00 1.25110.211.58γη=-=-=11 1.25110.6171.5γη=-=-= 22 1.25

110.0781.355

γη=-=-=

图2-13

2.32 一阶马尔可夫信源的状态图如图2－13所示，信源X 的符号集为（0，1，2）。（1）求信源平稳后的概率分布P(0),P(1),P(2) （2）求此信源的熵

（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并与H ∞进行比较

解:根据香农线图,列出转移概率距阵1/2/2/21/2/2/21p p p P p p p p p p -????=-????-??

令状态0,1,2平稳后的概率分布分别为W1,W2,W3

i i WP W W ==???

=??∑ 得到 1231

1232123(1)2

(1)221p p p W W W W p p W p W W W W W W ?

-++=??

?+-+=??++=???

计算得到131313W W W ?=??

=??

?=??

由齐次遍历可得

112

()(|)3(1,,)(1)log log 3221i i i

p p H X W H X W H p p p p p ∞==?-=-+-∑

,()log3 1.58/H X bit ==符号由最大熵定理可知()H X ∞

存在极大值

或者也可以通过下面的方法得出存在极大值:

()121log(1)(1)log log

1222(1)H X p p p

p p p p p p ∞???-=---+-++??=-???--?

112(1)22(1)p p p =-+-- 又01p ≤≤所以

[]0,2(1)p p ∈+∞-当p=2/3时12(1)

p =- 0?- 2/3

H X p

p p ∞?=-

所以当p=2/3时()H X ∞

存在极大值,且max () 1.58/H X bit ∞= 符号.所以,()()H X H X ∞≤

答案~信息论与编码练习

1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。下面计算该二元对称信道能传输的最大的信息传输速率：信道传递矩阵为：信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为：试求这两个信道的信道容量，并问这两个信道是否有噪声？ 3 、已知随即变量X 和Y 的联合分布如下所示： 01 100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ????????????==????????????11 222 2111 2222 2 log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。(2)为对称信道，输入为等概率分布时达到信道容量无噪声

信息论与编码理论习题答案

信息论与编码理论习题答案 LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】

第二章信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log = bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log = bit 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =! 521 信息量=) (1 log a p =!52log = bit (b) ? ??????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和， Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。

信息论与编码课后习题答案

1．有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为用费诺编码方法代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为用霍夫曼编码方法代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3

信息论与编码试题集与答案(2014)

一填空题 1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。平均互信息表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大,最大熵值为。 3、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 4、只要，当N 足够长时，一定存在一种无失真编码。 5、当R ＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 6、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 7.人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 8.信息的可度量性是建立信息论的基础。 9.统计度量是信息度量最常用的方法。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ）。

信息论与编码习题参考答案

bit/s 104.98310661.130)/)(()/(R bit/frame 10661.1322.3105)(H 105)(H bit/pels 322.310log )(log )()(H 76650510 10?=??=?=∴?=??=??====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性：由于亮度电平等概出现 . 5.2,,5.25.2477.210 log 300log )(H )(H pels /bit 300log )(log )()(H bit 3001030,10,,3001300 11倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=?∑=x x b p b p x i i i 个汉字最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量556 6 5 5 10322.6/10322.61 .0log 101.2)()()()(,log H(c):1.010000 1000 symble /bit 101.2128log 103)(103)(: ?∴?=-?=≥ ≤-=∴== ?=??=??=frame c H X H n c nH X H n p p x H X H ),...,,(21n p p p n m ≤≤0∑=-=m i i m p q 1 1)log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤ ∑∑+==- -=>-=<-=''-=''∴>- =''-=''>-=n m i i i m i i i n p p p p p p p H x x x x f x e x x x f x x e x x x f x x x x f 1 121log log ),...,,( )0(log )( 0log )log ()(0 log )log ()()0(log )( 又为凸函数。即又为凸函数，如下：先证明时等式成立。当且仅当时等式成立。当且仅当即可得：的算术平均值的函数，函数的平均值小于变量由凸函数的性质，变量n m m m m m n m m m i i i m m m m m m i i i n m i i i m i i i n n m m m m m n m i i i m m n m i i n m i i n m i i n m i i n m i i i p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p p p p p p p p H p p p m n q q q p p m n q q m n p m n p m n m n p f m n m n p f m n p p ===-+≤--=-+--≤- -=∴===-+-≤- --=----=---≤---=- ++==+==+++=+=+=+=+=+=∑∑∑∑∑∑∑∑∑ ∑...)log(),,...,,(),...,,(log log ),,...,,() log(log log log log ),...,,(...) log(log log log log )()()() ()(log 2121211 211 1 1 21211 1111 1 X n

信息论与编码习题参考答案(全)

信息论与编码习题参考答案第一章单符号离散信源同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。解： bit P a I N n P bit P a I N n P c c N 17.536log log )(36 1 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： * (3)信源空间： bit x H 32.436log 36 16236log 36215)(=??+?? =∴

bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴== ? 如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。（1）若仅有质点A ，求A 落入任一方格的平均信息量；（2）若已知A 已落入，求B 落入的平均信息量；（3）若A ，B 是可辨认的，求A ，B 落入的平均信息量。解：！ bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量平均每个回答中各含有多少信息量如果你问一位女士，则她的答案中含有多少平均信息量解：

信息论与编码理论课后习题答案高等教育出版社

信息论与编码理论习题解第二章-信息量和熵解: 平均每个符号长为:154 4.0312.032= ?+?秒每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号所以信息速率为444.34 15 9183.0=?比特/秒解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特；所以信息速率为600010006=?比特/秒解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以

比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得

信息论与编码试卷及答案

一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？平均自信息为：表示信源的平均不确定度，表示平均每个信源消息所提供的信息量。平均互信息：表示从Y获得的关于每个X的平均信息量；表示发X前后Y的平均不确定性减少的量；表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。最大熵值为 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，。说明经数据处理后，一般只会增加信息的损失。

5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。由得，则 6.解释无失真变长信源编码定理。只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求： 1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；

信息论与编码课后答案

一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。解：状态图如下状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态的稳态概率。解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==

信息论与编码理论习题答案

第二章信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit

(完整版)信息论与编码概念总结

第一章 1.通信系统的基本模型: 2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等第二章１.自信息量：一个随机事件发生某一结果所带的信息量。２.平均互信息量：两个离散随机事件集合X 和Y ，若其任意两件的互信息量为 I （Xi;Yj ），则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I （X;Y ）表示３.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信源的剩余度。信源熵的相对率(信源效率)：实际熵与最大熵的比值信源冗余度： 0H H ∞=ηη ζ-=1

意义：针对最大熵而言，无用信息在其中所占的比例。３.极限熵：平均符号熵的N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。４. ５.离散信源和连续信源的最大熵定理。离散无记忆信源，等概率分布时熵最大。连续信源，峰值功率受限时，均匀分布的熵最大。平均功率受限时，高斯分布的熵最大。均值受限时，指数分布的熵最大６.限平均功率的连续信源的最大熵功率：称为平均符号熵。定义：即无记忆有记忆N X H H X H N X H X NH X H X H X H N N N N N N )() ()()()()()(=≤∴≤≤

若一个连续信源输出信号的平均功率被限定为p ，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为 1log 22 ep π.对于N 维连续平稳信源来说，若其输出的N 维随机序列的协方差矩阵C 被限定，则N 维随机矢量为正态分布时信源的熵最大，也就是N 维高斯信源的熵最大，其值为1log ||log 222N C e π+ 7.离散信源的无失真定长编码定理：离散信源无失真编码的基本原理原理图说明：（1）信源发出的消息：是多符号离散信源消息，长度为L,可以用L 次扩展信源表示为： X L =(X 1X 2……X L ) 其中，每一位X i 都取自同一个原始信源符号集合（n 种符号）： X={x 1，x 2，…x n } 则最多可以对应n L 条消息。（2）信源编码后，编成的码序列长度为k,可以用k 次扩展信宿符号表示为： Y k =(Y 1Y 2……Y k ) 称为码字/码组其中，每一位Y i 都取自同一个原始信宿符号集合： Y={y 1，y 2，…y m } 又叫信道基本符号集合（称为码元，且是m 进制的）则最多可编成m k 个码序列，对应m k 条消息定长编码：信源消息编成的码字长度k 是固定的。对应的编码定理称为定长信源编码定理。变长编码：信源消息编成的码字长度k 是可变的。 8.离散信源的最佳变长编码定理最佳变长编码定理：若信源有n 条消息，第i 条消息出现的概率为p i ，且 p 1>=p 2>=…>=p n ，且第i 条消息对应的码长为k i ，并有k 1<=k 2<=…<=k n

信息论与编码第一章答案

第一章信息论与基础 1.1信息与消息的概念有何区别？信息存在于任何事物之中,有物质的地方就有信息，信息本身是看不见、摸不着的，它必须依附于一定的物质形式。一切物质都有可能成为信息的载体，信息充满着整个物质世界。信息是物质和能量在空间和时间中分布的不均匀程度。信息是表征事物的状态和运动形式。在通信系统中其传输的形式是消息。但消息传递过程的一个最基本、最普遍却又十分引人注意的特点是：收信者在收到消息以前是不知道具体内容的；在收到消息之前，收信者无法判断发送者将发来描述何种事物运动状态的具体消息；再者，即使收到消息，由于信道干扰的存在，也不能断定得到的消息是否正确和可靠。在通信系统中形式上传输的是消息,但实质上传输的是信息。消息只是表达信息的工具，载荷信息的载体。显然在通信中被利用的（亦即携带信息的）实际客体是不重要的，而重要的是信息。信息载荷在消息之中，同一信息可以由不同形式的消息来载荷；同一个消息可能包含非常丰富的信息，也可能只包含很少的信息。可见，信息与消息既有区别又有联系的。 1.2 简述信息传输系统五个组成部分的作用。信源：产生消息和消息序列的源。消息是随机发生的，也就是说在未收到这些消息之前不可能确切地知道它们的内容。信源研究主要内容是消息的统计特性和信源产生信息的速率。信宿：信息传送过程中的接受者，亦即接受消息的人和物。编码器：将信源发出的消息变换成适于信道传送的信号的设备。它包含下述三个部分：(1)信源编码器：在一定的准则下，信源编码器对信源输出的消息进行适当的变换和处理，其目的在于提高信息传输的效率。(2)纠错编码器：纠错编码器是对信源编码器的输出进行变换，用以提高对于信道干扰的抗击能力，也就是说提高信息传输的可靠性。(3)调制器：调制器是将纠错编码器的输出变换适合于信道传输要求的信号形式。纠错编码器和调制器的组合又称为信道编码器。信道：把载荷消息的信号从发射端传到接受端的媒质或通道，包括收发设备在内的物理设施。信道除了传送信号外，还存储信号的作用。译码器：编码的逆变换。它要从受干扰的信号中最大限度地提取出有关信源输出消息的信息，并尽可能地复现信源的输出。 1.3 同时掷一对骰子，要得知面朝上点数之和，描述这一信源的数学模型。解：设该信源符号集合为X

信息论与编码理论习题答案全解

信息论与编码理论第二章习题答案

I (X ;Y=1)= P(x/Y 1)I(x;Y 1) x P(x/Y 1)log P(x/Y 1) P(x) = P(X 0/Y 1)log P(X 0/Y 1) P(X 0) P(X 1/Y 1)log P(X 1/Y 1) P(X 1) 部分答案，仅供参考。信息速率是指平均每秒传输的信息量点和划出现的信息量分别为log3Jog3， 2’ 一秒钟点和划出现的次数平均为 1 15 2 1 ~4 0.20.4 - 3 3 一秒钟点和划分别出现的次数平均为巴5 4 4 那么根据两者出现的次数，可以计算一秒钟其信息量平均为10 log 3 5 竺 5 4 2 4 4 2 解： ⑻骰子A和B，掷出7点有以下6种可能： A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量 -log(1/6)=1+log3 ~ bit (b)骰子A和B,掷出12点只有1种可能： A=6,B=6 概率为1/36，所以信息量 -log(1/36)=2+log9 ~ bit 解：出现各点数的概率和信息量： 1 点：1/21 , log21 ?bit ; 2 点：2/21 , log21-1 ?bit ; 3 点：1/7 , log7 4 点：4/21 , log21-2 5 点：5/21 , log (21/5 )~; 6 点：2/ 7 , log(7/2)? 平均信息量： (1/21) X +(2/21) X +(1/7) X +(4/21) X +(5/21) X +(2/7) 解： X=1:考生被录取；X=0考生未被录取； Y=1：考生来自本市；Y=0考生来自外地； Z=1:考生学过英语；z=o：考生未学过英语 P(X=1)=1/4, P( X=q=3/4; P( Y=1/ X=1)=1/2 ；P( Y=1/ X=0)=1/10 ；P(Z=1/ Y=1 )=1, P( Z=1/ X=0, Y=0 )=, P( Z=1/ X=1, Y=0 )=, P(Z=1/Y=0)= (a)P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)= P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)= P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=

信息论与编码习题参考答案(全)

信息论与编码习题参考答案第一章单符号离散信源 1.1同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： (3)信源空间： bit x H 32.436log 36 62log 3615)(=??+?? =∴ (4)信源空间： bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.11136 log log )(3611333==-=∴==

1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。（1）若仅有质点A ，求A 落入任一方格的平均信息量；（2）若已知A 已落入，求B 落入的平均信息量；（3）若A ，B 是可辨认的，求A ，B 落入的平均信息量。解： bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率 1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？解： bit w P w P w P w P m m P m I w P w I bit m P m P m P m P m bit m P m I bit m P m I n n y y n n y y n n y y n n y y 0454.0log99.5%99.5%-log0.5%-0.5% )(log )()(log )()(H % 5.99log )(log )(%5.0log )(log )(36 6.0log93%93%-log7%-7% )(log )()(log )()(H 105.0%93log )(log )(84.3%7log )(log )(: =??=?-?-=-=-=-=-==??=?-?-==-=-==-=-=平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于女：平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于男士

信息论与编码试题集与答案(新)

一填空题（本题20分，每小题2分） 1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。

6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。按照信息的地位，可以把信息分成客观信息和主观信息。人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。信息的可度量性是建立信息论的基础。统计度量是信息度量最常用的方法。熵是香农信息论最基本最重要的概念。事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对

数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ）。 21、平均功率为P 的高斯分布的连续信源，其信源熵，Hc （X ）=eP π2log 21 2。 22、对于限峰值功率的N 维连续信源，当概率密度均匀分布时连续信源熵具有最大值。 23、对于限平均功率的一维连续信源，当概率密度高斯分布时，信源熵有最大值。 24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功率P 之比。

信息论与编码课后习题答案

1．有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=符号 2．设有一个无记忆信源发出符号A 和B ，已知4 3 41)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。解：①∑- =X i i x p x p X H )(log )()( = bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 1614141)(=?=AA p 1634341 )(=?=AB p 1634143)(=?=BA p 1694343)(=?=BB p 用费诺编码方法代码组 b i BB 0 1 BA 10 2 AB 110 3