信息论与编码姜丹第三版规范标准答案

信息论与编码习题参考答案

第一章单符号离散信源

信息论与编码作业是74页，1.1的(1)(5)，1.3,1.4,1.6,1.13,1.14 还有证明熵函数的连续性、扩展性、可加性

1.1同时掷一对均匀的子，试求：

(1) “ 2和6同时出现”这一事件的自信息量；

(2) “两个5同时出现”这一事件的自信息量；

(3) 两个点数的各种组合的熵；

⑷两个点数之和的熵；

(5) “两个点数中至少有一个是 1 ”的自信息量。

解：

样本空间：N c6c6 6 6 36

(1) P n1— I (a) logR Iog18 4.17bit

N 36

n2 1

(2) F2 2I (a) log F2 log36 5.17bit

N 36

(3) 信源空间：

2 36 1

H(x) 15 log 6 log 36 4.32bit

36 2 36

（4

2 ,“ 4 ,36 6 , 36 8 ,36

H(x) log 36+log —log log -

36 36 2 36 3 36 4

10 ,36 6 ,36

log +log - 3.71bit

36 5 36 6

⑸P3 n3 11

I(a) log R 1.17bit

N 36 11

1.2如有6行、8列的棋型方格，若有两个质点A和B,分别以等概落入任一方格内，且它们的坐标分别为（Xa，Ya）, （Xb，Yb），但A，B不能同时落入同一方格内。

（1）若仅有质点A，求A落入任一方格的平均信息量；

（2）若已知A已落入，求B落入的平均信息量;

(3) 若A , B是可辨认的，求A, B落入的平均信息量。

解：

1

(1) A落入任一格的概率：P(aJ I (aj log P(aJ log 48

48

48

H(a) P(a i)log P(a i) log 48 5.58bit

i 1

1

(2) 在已知A落入任一格的情况下,B落入任一格的概率是：P(bJ —

47

I(b) logP(b i) log 47

48

H (b) P(b i)log P(b i) log 47 5.55bit

i 1

1 1

(3) AB同时落入某两格的概率是P(AB i) - —

748 47

I(AB i) log P(AB i)

48 47

H (AB i) P(AB i)log P(ABJ log(48 47) 11.14bit

i 1

1.3从大量统计资料知道，男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量?

解:

对于男士：

回答“是”的信息量：I (m y) log P(m y) log 7% 3.84bit

回答“不是”的信息量平均每个回答信息量：:I (m n) log P(m n) log 93% 0.105bit H(m) P(m y) logP(m y) P(m n) log P(m n) -7% log7% - 93% log93% 0.366bit

对于女:

回答“是”的信息量：l(w y) log P(w y) log 0.5%

回答“不是”的信息量平均每个回答信息量：:I (m n) log P(m n) log 99.5%

H(m) P(W y) log P(W y) P(W n) log P(W n)

-0.5% log0.5% - 99.5% log99.5% 0.0454bit

1.4某一无记忆信源的符号集为｛ 1 2

0,1 },已知 p o - , p i 一。

3 3

(1) 求符号的平均信息量; (2) 由1000个符号构成的序列，求某一特定序列(例如有

m 个“ 0 ” , (1000-m )个

1”)的自信量的表达式; (3) 计算(2)中序列的熵。 解： P 0 log p 0 P 1 log p 1 3 log-- 3 3 log

3

0.918 bit /symble mlog P 0 (1000 m)log p .1 m log - y

3 (1000 m) log -bit 3

1000H (X) 1000 0.918 918 bit/sequenee (1) H(x) ⑵ 1(A) (3) H(A) 1 1 2 2

1000 m

H(A) P 0 log P 0 i 1 P 1 log P 1 i 1 m 1 2(1000 m) 2

log log -

3 3 3 3

1.5设信源X 的信源空间为: X : a 1 [

x?P ]： p(X) 0.17 a 3 a 4 a s

a 6

0.18 0.16 0.18

0.3

a 2

0.19 求信源熵，并解释为什么 H(X)>log6 ，不满足信源熵的极值性。 解：

6

i i

0.17log0.17 0.19 log 0.19

2 0.18log0.18

0.16 log 0.16 0.3log 0.3 2.725 bit/symble

可见H(X) 2.725 log6 2.585不满足信源熵的极值性

，

r

这是因为信源熵的最大

值是在

p i 1的约束条件下求得的，

但是本题中

i 1

6

p i 1.18不满足信源熵最大值成 立的约束条件，所以 H(X) log6。

i 1

1.6为了使电视图象获得良好的清晰度和规定的对比度，

需要用5 X 105个像素和10个不同

的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。 求传输此图象所需要的信息率(bit/s )。 解：

由于亮度电平等概出现，由熵的极值性：

10

每个像素的熵是：H(x 0) p(a i )logp(a i ) log 10 3.322 bit/pels

i 1

每帧图像的熵是：H(X) 5 105 H(x o ) 5 105 3.322 1.661 106 bit/frame

所需信息速率为： R r (frame/s) H (X )(bit / frame) 30 1.661 106 4.983 1 07 bit/s

1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有 H(X)

p(ajlog p(aj 30个不同的色彩

6

度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大 2.5倍左右。

i 1 i m 1

增加30个不同色彩度,在满足黑白电视系统要 求下，每个色彩度需要10个亮度, 所以每个像素需要用 30 10 300bit 量化

每个像素的熵是： H(xJ

300

p(b i )log p(b) log 300bit / pels

i 1

H(xJ log 300 2.477 2.5 H(x °) log 10

彩色电视系统每个像素 信息量比黑白电视系统 大2.5倍作用,所以传输相同的 图形,彩色电视系统信息率要 比黑白电视系统高2.5倍左右.

1.8每帧电视图像可以认为是由

3 X 105个像素组成，所以像素均是独立变化，

且每像素又取

128个不同的亮度电平，并设亮度电平是等概出现。 问每帧图像含有多少信息量？若现在有 一个广播员，在约 10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描

述此图像，广播员在口述中至少需要多少汉字?

6

10 log 128 2.1 10 bit/symble 1000

0.1 10000

每个汉字所包含信息量：H(c) log p 描述一帧图像需要汉字 数n,H(X) nH(c) n 迪 2±^ 6.322 105/frame

H(c) log 0.1

最少需要6.322 105个汉字

m

1.9给定一个概率分布(p 1,p 2,...,p n )和一个整数m ,0 m n 。定义cm 1 p ，证明:

i 1

证：

先证明f (x) x log x(x 0)为凸函数，如下:

f (x) ( x lo

g x) f (x) ( xlog x)

loge x

m

又 H(P 1, P 2,...,P n ) P i log P i

0即f (x) xlogx(x 0)为凸函数。

n

p i log P i

每帧图象所含信息量： 5

H(X) 3 10 H(x)

每个汉字所出现概率p

H (P 1, P 2,..., P n )

Hg, p 2,..., p m ，C m )

C m log( n m)。并说明等式何时成立?

由凸函数的性质, 变量函数的平均值小于变量的算术平均值的函数，可得：

i 1

i 1

n

P i log P i i m 1 n

即 P i log P i i m 1 当且仅当P m 1 n f (P i ) (n m) -------------- (n n m q m logq m q m log(n i m 1 m)f (——

n m)

n P i -) m (n n

P i

m 1

m) -------- l og

n m n n

P i

i m 1

m

q m log

q m

n m

P n 时等式成立。 n

P i log P i i m 1 P m 2 . m P i log P i i 1 m P i log P i q m log q m i 1

H (P 1, P 2,…，P n ) H(P 1, P 2，..., P m ，q m ) Q m lOg5

当且仅当 P m 1 p m 2 ... P n 时等式成立。

H (P i , P 2,…，P n ) H (P i , P 2,…，P m2m ) 1.10找出两种特殊分布 P i log P i

1 m) q m log q m q m log(n m)

P 1 刊2邛3》…初,P 1 >P 2 >P 3》…书 m ,使 H(p 1,p 2,p 3,…,p n )=H(p 1 ,p 2 ,p 3,…,p m )。 n

m

解：H (P 1, p 2,...,P n )

P i log P i H©,q 2,...,q m )

q logq

1.15两个离散随机变量X和Y,其和为Z = X + Y,若X和Y统计独立，求证:

⑴ H(X) WH(Z), H(Y) W H(Z)

(2) H(XY) >H(Z) 证明：

第二章单符号离散信道

试求:

(1)信源X 中的符号 1和2分别含有的自信息量；

⑵ 收到消息Y = b 1, Y = b 2后，获得关于

1、 2的互交信息量：1(

1

；b 1)、1( 1；

b 2)、

I( 2；b 1)、I(

2

；b 2)；

(3) 信源X 和信宿Y 的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X);

(5) 接收到消息Y 后获得的平均互交信息量

l(X;Y)。

设X 、Y 的信源空间为:

X

[X ?P]:

a

1

a

2

P(X) P 1 P 2

又X, 丫统计独立 t

pZ k log pZ k k 1

t 又 H(Z) = pz k log pZ k

k 1 r s

(p iog( p i

i 1 j 1 r s

q j iog(p

i 1 j 1

H(Z) a r P r

[Y ?P] : Y

b i P(Y) q i

s

P (a i b j )logp(q b j ) j 1

s s

q j )) q j )

P i q j ) iog(

j 1 i 1

r s

q j iog(p

i 1 j 1 s

q j iog(q j )

P i q j ) j 1

q j )

b 2 ... b s

q 2 ... q s

r s

(P i q j )log(P i q j ) H(XY)

i 1 j 1

b 1 b s a 1 5/6 1/6

[P] 一 3/4

a 2 1/4

Y:{b 「b 2}，信道的矩阵:

2.1设信源[X ?P]： X 厲

P(X) 0.7 9

2

通过一信道，信道的输出随机变量

0.3

Y 的符号集

(1)l(aJ log p(aj

log0.7 0.5415 bit log 0.3 1.737 bit

5/6 I (a ?) logp@21)

l ,P (b®) log — P (G ,p(b 2 &1) log

(2) g;b i ) log

0.7 5/6 0.3 1/4

0.34 bit I(a i

；b 2)

1/6

P (b 2) log 心 a 2)

log

0.7 1/6 0.3 3/4 1.036 bit I®®) P (bJ ,P(b 2 a ?) log

P (b 2

) 1/4

log 0.7 5/6 0.3 1/4

0.766 bit 3/4

log

0.7 1/6 0.3 3/4 1.134 bit

(3)由上：p(b)

P (b 2)

P (a

i )P (b 1a

i )

120

P (a i )

P (b 2a i ) 110 2

H(X) i 1 2 p(a 」log p(a) (0.7log0.7 0.3log0.3) 0.881 bit/symble H(Y) j p(b j )log p(b j ) 1 2 2 / 79 | 79 (log 120 120

2 2

dog 空)0.926 bit/symble

120 120 (4)H(YX) 又 I(X;Y) H(XY) (5) I(X;Y) P(ab j )log p(b j a i ) j 1 i 1 H(Y) H(YX) H(X)

H(X) H(YX) H(Y)

H(Y) H(YX) 0.926

p(a i )p(b j a i )log p(b j a i ) 0.698 bit/symble j 1 i 1 H(XY) 0.881 0.698 0.926 0.653 bit/symble

0.698 0.228 bit/symble

2.2某二进制对称信道，其信道矩阵是: 0 0.98 [P] 1 0.02

0.02

0.98 设该信道以1500个二进制符号/秒的速度传输输入符号。 现有一消息序列共有 14000个二 进制符号，并设在这消息中 p(0)= p(1)=0.5 。问从消息传输的角度来考虑， 10秒钟内能否 将这消息序列无失真的传送完。

由于二进制对称信道输入等概信源

l(X;Y) C 1 H( ) 1 log (1 )log(1 )

1 0.02log0.0

2 0.98log0.98 0.859 bit/symble

信道在10秒钟内传送14000个二进制符号最大码率为:

C t C 14000symble/10s 1201.98 bit/s

而输入信源码率为1500bit/s,超过了信道所能提供的最大码率，故不可能无失真传输2.3有两个二元随机变量X和Y,它们的联合概率为P[X=0,Y=0]=1/8 , P[X=0,Y=1]=3/8

，

P[X=1,Y=1]=1/8 ，P[X=1,Y=0]=3/8 。定义另一随机变量Z=XY，试计算:

(1) H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ);

H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),H(Z/XY);

I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X),I(X;Z/Y)

(1)由题意：X的分布：p(X

Y的分布：

p(Y

3

8

3

8

1;P(X

1;P(Y

且p(X 0,Z p(Y 0,Z H(X)

H(Y)

H(Z)

H(XZ)

由上面

X、

丄

2.

1

2.

fp(Z 1)

3

8

3

8

3

8

1)1

1) 1

1 3

8 8

1

8.

1,Z 0) f ;p(X 1,Z

8

0) P(Y 0) ;p(Y 0,Z 1) 0; p(Y 1,Z 0) -;p(Y 1,Z 1)

2 8

XY的分布

为

:X的分布: p(Z 0)

1

0) P(X 0)〒P(X

............ ..... 1，…

0,Z 1) 0; p(X 1)

1

8;

‘ -- -2 ' '

1111

(log log?) 1 bit/symble;

1111

(log log-) 1 bit/symble

2 2 2 2

7 7 11

(log log-) 0.544 bit/symble

8 8 8 8

2 2

p(X i Z<)log p(X i Z<)

i 1 k 1

(P xz(00)log P xz(00) P xz(10)log p/10)P xz(01)log P xz(01)

P xz(11)log P xz(11))

1 3 1 3 3 3 1 1

( )log( ) log 0 log 1.406bit/symble

8 8 8 8 8 8 8 8

Y、Z的概率分布：H(YZ) H(XZ) 1.406bit/symble

(2)p(X 0Y 0) P xy (00)

P xy (00) P y (0) 1/8 1/2 1

4；P xy (10)

P xy (10) 3/8 3

P y (0) 1/2 4 P xy (01) P xy (01) P y (1)

3/8 3 证 4；P xy (11)

P xy (11) P y (1) 1/8 1 12 4

2 2

H(X Y)

P(^y j )log p(X i y j ) i 1 j 1

P xy (00) log P xy (00) P xy (01)log P xy (01) P xy (10)log P xy (10) P xy (11)切 P xy (11) 1 3 一 4

og

3 1 一0811bit/symble I(X;Y) H(YX)

同理

：

H(X) H(X Y) H(Y) H(YX)且H

(X) H (Y) H(X Y) 0.811bit/symble 2 p(xz)og P"：：) k 1 P (

zQ

P xz (00)log P

xz (00) P xz (01) log P xz (01) P xz (10)log P xz (10) P xz (11)log P xz (11) 1 1/2 3 3/8 1 1/8 (—log 0 log log ) 0862 bit/symble 2 7/8 8 7/8 8 1/8 2 2 2 2 p(zM )

log 呼： k 1 i 1 k 1 i 1 P (

X j )

P zx (00)log P zx (00) P zx (01)log P zx (01) P zx (10)log P zx (10) P zx (11)log P zx (11) 1 1/2 3 3/8 1 1/8 (log 0 log log ) 0.406 bit/symble 2 1/2 8 1/2 8 1/2 由 X 、Y 、Z 的概率:H(YZ) H(XZ) 0862

H(ZY) H(ZX) 0406 P xyz (001) P xyz (101) P xyz (011) P xyz (110)

2 2 2

H(XZ) H(ZX)

2 2 p(xZ k )log p(X i Z k ) i 1 k 1 pSJIog p(Z k x i ) bit/symble bit/symble 0 2 H (X YZ) p(xy j Z k )log p(x i y Z k ) i 1 j 1 k 1 i P xyz (000) P xyz (010) (P xyz (000) log —— P xyz (010)log ------ P yz (00) P yz (10) 1 1/8

3 3/8 3 3/8 1 1/8 (log log log log )

(

8 1/2 8 3/8 8 1/2 8 1/8 H (YXZ) H (X YZ) 0.406 bit/symble

2 2 2 ’ “ p(xy j Z k )

p(X i y j ZQlog — j 1 k 1 p(y j Z k ) P xyz (100)

P xyz (111)、 P xyz (100)log — P xyz (111)log — )

P yz (00) P yz (11) 0.406 bit/symble H (Z XY) p(X i y j z k )logp(Z k 为比) i 1 j 1 k 1 i P xyz (000) P xyz (010) (P xyz (000) log 一 P xyz (010)log 一 P xy (00) P xy (01) J , 1/8 3 3/8 3 3/8 1 , 1/8、c (log

log log log ) 0 p (^y j z k ) p(X i y j z k )log j 1 k 1 p(xy j ) P xyz (100) P xyz (111)、 P xyz (100)log 一 P xyz (111)log 一 ) P xy (10) P xy (11) bit/symble

H(X) H(XY) 1 0.811 0.189 bit/symble

I(X;Z)

I (Y;Z) H(Y) H(YZ)

I(X;YZ) H(X Z) I(Y;Z X) H(YX) I(X;Z Y) H(XY) 2.4已知信源X 的信源空间为

某信道的信道矩阵为:

b 1 b 2 b 3 b 4

a 1 0.2 0.3 0.1 0.4 a 2 0.6 0.2 0.1 0.1 a 3 0.5

0.2 0.1 0.2 a 4 0.1

0.3 0.4 0.2

试求:

(3)由上:I (X;Y )

H (X) H(X Z) 1 0.862

0.138 bit /symble H(X YZ) 0.862 0.406 0.456 bit /

symble

H(Y XZ)

0.811 0.406 0.405 bit /symble H(X YZ)

0.811 0.406

0.405 bit /symble

[X ?P]:

a 1

P(X): 0.1 a 2 0.3 0.2 a 3 a 4 0.4

(1) “输入

3，输出 b 2的概率”

解:

“输出

“收到 b 4的概率” b 3条件下推测输入 2 ”的概率。

(1) p(a 3；b 2) 4

(2) p(b 4)

i 1 4

(3) p(b 3)

i 1

p(a 3)p(b 2 a 3 )0.2 0.2

0.04

4

P(ad)

i 1

p(ajp(b 4 aj 0.1 0.4 0.3 0.1 0.2 0.2 0.4 0.2 0.19 4

P

(a i b 3)

p(a i )p(b s a i )

0.1 0.1 0.3 0.1 0.2 0.1 0.4 0.4 0.22

p(a 2 b 3)

pOpGla z )

0.3 0.1 0.136

0.22

P4)

2.5已知从符号B 中获取关于符号 A 的信息量是1比特，当符号 A 的先验概率P(A)为下列

1 0.862

0.138 bit /symble

i 1

各值时，分别计算收到B后测A的后验概率应是多少。

⑴ P(A)=10 -2;

(2) P(A)=1/32 ;

(3) P(A)=0.5 。

解：

由题意l(A;B) log P(A B) 1 p(AB) 2p(A) P(A)

p(A) 10 1 2时,p(AB) 2 10 2

p(A) 1 32时,p(AB) 1 16

p(A) 0.5时,p(AB) 1

1 在W4= 011中，接到第一个码字“ 0 ”后获得关于a4的信息量l（a4；0）；

2 在收到“ 0 ”的前提下，从第二个码字符号“ 1 ”中获取关于a4的信息量l（a4；1/0）;

⑶在收到“ 01 ”的前提下，从第三个码字符号“ 1 ”中获取关于a4的信息量l（a4；1/01）；

⑷从码字W4 = 011中获取关于a4的信息量l（a4；011）。

解:

(1)I(a4；

0)

log響

P

（a4）

log

(1/8)心/4 1/4 1/8 1/8)

1/8

log40.415 bit

3

⑵ 1@4；

10)

⑶ 1@4；

101)

⑷ 1@4；

011)

P(a4 01)

log------ \—log ------------------------------------------- log 3

p(a40) (1/8)/(1/4 1/4 1/8 1/8)

P(a4 011) 1

log ------ ----- log -------------------------- log 2 1 bit

p(a4 01) (1/8)/(1/8 1/8)

P(a4 011) 1

log - log log 8 3 bit

'' 1/8

(1/8)/(1/8 1/8)

1.585 bit

P@4)

2.13把n个二进制对称信道串接起来，每个二进制对称信道的错误传输概率为P（0

试证明：整个串接信道的错误传输概率p n=0.5[1-（1-2p）n]。再证明：n is时，liml（X 0；X n）

=0 。

信道串接如下图所示:

解

：

i 1 j 1

用数学归纳法证明：

当n 2时由：

巴］ P 2 1 p p ? 1 p 1 p ' 2 1 2p 2p 2 尹

(1 2p)2] 假设n [P kl ]

P

k 1

故P n 2[1 2[1 2p 2p 2 1 2p 2p 2

(1 2p)k ] ![1 (1 2p)k

] 2

? (1 2p)k ] 1[1 (1 2p)k

] (1 2p)k1] 1[1 (1 2p)k1]

(1 2p)k1] 2[1

(1

2p)k1]

(1 2p)k1]

1 p p k 时公式成立，

则 (1 n i 2p)] 1 limp lim —[1 (1 2p)n

]

2

设输入信源空间X o : p(X o 1 2p 1 1 2 0) a, p(X o 1) 则输出信源X : p(X 0) P(X o O)?p(X

p(X p(x X o ) p(x )(X o 、 2 2

1

2

x 取 O 或

1) 1)

p(X oi X j )log P(:X X 、Oi ) p(X

j ) lim l(X o ；X n ) n i 1 j 1

2 2

p(X oi X j )log1 0

1 2p 2p

2 2p 2p 2

a(其中0 a 1) OX o

0) P(X o O)?p(X 0X o 1)

2

p(X oi X j )log p (:X X 、Oi )

j 1 p(X j )

2.18试求下列各信道矩阵代表的信道的信道容量:

a1

b1 b2 b s b4 0 0 1 0

a? 1 0 0 0

[R]

a s 0 0 0 1

a4 0 1 0 0

b1 b2 b

a1 1 0 0

a2 1 0 0

a30 1 0

[P2] 3

a4 0 1 0

a5 0 0 1

a6 0 0 1

b1 b2 b3 b4 b5 b6 b y b8 b9 b

10

a1 0.1 0.2 0.3 0.4 0 0 0 0 0 0 [P3] a2 0 0 0 0 0.3 0.7 0 0 0 0

a3 0 0 0 0 0 0 0.4 0.2 0.1 0.3 解：

(1) -------------- 信道为对应确定关系的无噪信道

C log r log 4 2 bit/symble

(2) 信道为归并性无噪信道

C log s log 3 1.585 bit/symble

(3) 信道为扩张性无噪信道:

C log r log 3 1.585 bit/symble

2.19设二进制对称信道的信道矩阵为:

0 1

0 3/4 1/4 [P]

1 1/4 3/4

⑴ 若 p(0)=2/3 , p ⑴=1/3 ，求 H(X) , H(X/Y) , H(Y/X)和 l(X;Y);

(2)求该信道的信道容量及其达到的输入概率分布。

解：

p(X i )p(y j x )log p(y j xj

j 1

1 113 3 log log — ) 0.8113 bit/symble

4

4 3 4

4

(1)H(X)

2

p(x)log p(X i ) i 1

(f

log*) 0.9183 bit/symble P y (0) p(x)p(y 0x) 7 12 P y ⑴ 1X i )

H(Y)

p(X i )p(y

1 2

p(y j )log p(y j )

j 1

2

log —

12 2 5 12

5

12 2

log —) 0.9799 bit/symble

12

H (YX) p(X i y j )log p(y j x) j 1 3, 311,

1 log

log —

信息论与编码课后答案

2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =， ()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =， ()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2， (1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。 画出状态图，并计算各状态的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01) (10|01)p p == (0|11)(10|11)0.2p p == (0|10)(00|10)p p == (1|00)(01|00)0.2p p == (1|01)(11|01)p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==

信息论与编码第三版答案

信息论与编码第三版答案 《信息论与编码》是一本非常经典的书籍，已经成为了信息科 学领域中的经典教材。本书的第三版已经出版，相比于前两版， 第三版的变化不小，主要是增加了一些新内容，同时也对一些旧 内容做了修改和完善。 作为一本教材，上面的题目和习题都是非常重要的，它们可以 帮助读者更好地理解书中的相关概念和知识点，同时也可以帮助 读者更好地掌握理论和技术。因此，本文将介绍《信息论与编码》第三版中部分习题的答案，方便读者快速查阅和学习。 第一章：信息量和熵 1.1 习题1.1 Q：两个随机变量的独立性和无关性有什么区别？ A：独立性和无关性是两个不同的概念。两个随机变量是独立的，当且仅当它们的联合概率分布等于乘积形式的边缘概率分布。两个随机变量是无关的，当且仅当它们的协方差等于0。

1.2 习题1.7 Q：什么样的随机变量的熵等于0？ A：当随机变量的概率分布是确定的（即只有一个概率为1，其余全为0），其熵等于0。 第二章：数据压缩 2.5 习题2.9 Q：为什么霍夫曼编码比熵编码更加高效？ A：霍夫曼编码能够更好地利用信源的统计特征，将出现频率高的符号用较短的二进制编码表示，出现频率低的符号用较长的二进制编码表示。这样一来，在编码过程中出现频率高的符号会占用较少的比特数，从而能够更加高效地表示信息。而熵编码则是针对每个符号分别进行编码，没有考虑符号之间的相关性，因此相比于霍夫曼编码更加低效。

第四章：信道编码 4.2 习题4.5 Q：在线性块码中，什么是生成矩阵？ A：在线性块码中，生成矩阵是一个包含所有二元线性组合系 数的矩阵。它可以用来生成码字，即任意输入信息序列可以通过 生成矩阵与编码器进行矩阵乘法得到相应的编码输出序列。 4.3 习题4.12 Q：简述CRC校验的原理。 A：CRC校验是一种基于循环冗余校验的方法，用于检测在数 字通信中的数据传输错误。其基本思想是将发送数据看作多项式 系数，通过对这个多项式进行除法运算，得到余数，将余数添加 到数据尾部，发送给接收方。接收方将收到的带有余数的数据看 做多项式，使用同样的多项式除以一个预先定义好的生成多项式，

信息论与编码课后习题答案

1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=符号 2．设有一个无记忆信源发出符号A 和B ，已知4 3 41)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( = bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 1614141)(=?=AA p 1634341 )(=?=AB p 1634143)(=?=BA p 1694343)(=?=BB p 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3

信息论与编码试题集与答案(新)

一填空题（本题20分，每小题2分） 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 按照信息的地位，可以把信息分成客观信息和主观信息。 人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 信息的可度量性是建立信息论的基础。 统计度量是信息度量最常用的方法。 熵是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。 21、平均功率为P 的高斯分布的连续信源，其信源熵，Hc （X ）=eP π2log 21 2。 22、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。 23、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。 24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功率P 之比 。 25、若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 26、m 元长度为ki ，i=1，2，···n 的异前置码存在的充要条件是：∑=-≤n i k i m 11 。 27、若把掷骰子的结果作为一离散信源，则其信源熵为 log26 。 28、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 log218（1+2 log23）。 29、若一维随即变量X 的取值区间是[0，∞]，其概率密度函数为m x e m x p -=1)(，其中：0≥x ，m 是X 的 数学期望，则X 的信源熵=)(X H C me 2log 。 30、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为 52log 2 。 31、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续 信道。 32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 无记忆 信道。

《信息论与编码》习题解答-第三章

第三章 信道容量-习题答案 3.1 设二元对称信道的传递矩阵为? ? ? ???3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1) symbol bit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbol bit x y p x y p x p X Y H symbol bit x p X H j j i j i j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/() /()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167 .03 2 413143)/()()/()()()()(5833.031 413243)/()()/()()()()(/ 918.0 10 log )3 2 lg 324131lg 314131lg 314332lg 3243( ) /(log )/()()/(/ 811.0)41 log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==?+?-=-==?+?=+=+==?+?= +=+==??+?+?+?-=-==?+?-=-=∑∑∑∑ 2) 2 1 )(/ 082.010log )3 2 lg 3231lg 31(2log log );(max 222= =?++=-==i mi x p symbol bit H m Y X I C 3.2 解： (1)αα-==1)(,)(21x p x p ??????=4/14/12/102/12/1P ，?? ? ???---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p 接收端的不确定度： ))1(41 log()1(41)4141log()4141()2log(21)(αααα---++-=Y H )1log(41)1log(4123αααα---++-= (2)

《信息论与编码》课后习题解答

*** 1 《信息论与编码》课后习题解答 2.2假设一副充分洗乱了的扑克牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52张牌共有52！种排列方式，任一特定的排序方式是等概率出现的，则所给出的信息量是： ! 521)(=i x p bit x p x I i i 581.225!52log )(log )(==-= (2) 52张牌共有4种花色、13种点数，从中抽取13张点数不同的牌的概率如下： bit C x p x I C x p i i i 208.134log )(log )(4)(1352131352 13 =-=-== 2.3 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设随机变量X 代表女孩子学历，则是大学生的概率为P(x)1=0.25，不是大学生的概率为P(x)2=0.75。 设随机变量Y 代表女孩子身高,则身高大于160cm 和小于160cm 的概率分别为P(y 1)=0.5、P(y 2)=0.5 又有已知：在女大学生中有75%是身高160厘米以上的， 即：bit x y p 75.0)/(11= 所以身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15 .075.025.0log )()/()(log )/(log )/(11111111=?-=-=-= 2.4 设离散无记忆信源? ?????=====??????8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？ 解： (1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是： 6 2514814183?? ? ?????? ?????? ??=p 此消息的信息量是：bit p I 811.87log =-= (2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/== 2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？

信息论与编码课后习题答案

信息论与编码课后习题答案 第二章 2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解： (1) bit x p x I x p i i i 170.418 1 log )(log )(18 1 61616161)(=-=-== ?+?= (2) bit x p x I x p i i i 170.536 1 log )(log )(36 1 6161)(=-=-== ?= (3) 两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 共有21种组合： 其中11，22，33，44，55，66的概率是36 16161=? 其他15个组合的概率是18 1 61612=? ? symbol bit x p x p X H i i i / 337.4181log 18115361log 3616)(log )()(=??? ?? ?+?-=-=∑

参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下： symbol bit x p x p X H X P X i i i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 36 12 ) (log )()(36112181111211091936586173656915121418133612)(=? ?? ?? +?+?+?+?+?-=-=??????????=? ?????∑(5) bit x p x I x p i i i 710.136 11 log )(log )(3611116161)(=-=-== ??= 2.4 2.12 两个实验X 和Y ，X={x 1 x 2 x 3},Y={y 1 y 2 y 3},l 联合概率(),i j ij r x y r =为 1112132122233132 337/241/2401/241/41/2401/247/24r r r r r r r r r ???? ? ?= ? ? ? ????? （1） 如果有人告诉你X 和Y 的实验结果，你得到的平均信息量是多少？ （2） 如果有人告诉你Y 的实验结果，你得到的平均信息量是多少？ （3） 在已知Y 实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少？

信息论与编码姜丹第三版规范标准答案

信息论与编码习题参考答案 第一章单符号离散信源 信息论与编码作业是74页，1.1的(1)(5)，1.3,1.4,1.6,1.13,1.14 还有证明熵函数的连续性、扩展性、可加性 1.1同时掷一对均匀的子，试求： (1) “ 2和6同时出现”这一事件的自信息量； (2) “两个5同时出现”这一事件的自信息量； (3) 两个点数的各种组合的熵； ⑷两个点数之和的熵； (5) “两个点数中至少有一个是 1 ”的自信息量。 解： 样本空间：N c6c6 6 6 36 (1) P n1— I (a) logR Iog18 4.17bit N 36 n2 1 (2) F2 2I (a) log F2 log36 5.17bit N 36 (3) 信源空间：

2 36 1 H(x) 15 log 6 log 36 4.32bit 36 2 36 （4 2 ,“ 4 ,36 6 , 36 8 ,36 H(x) log 36+log —log log - 36 36 2 36 3 36 4 10 ,36 6 ,36 log +log - 3.71bit 36 5 36 6 ⑸P3 n3 11 I(a) log R 1.17bit N 36 11 1.2如有6行、8列的棋型方格，若有两个质点A和B,分别以等概落入任一方格内，且它们的坐标分别为（Xa，Ya）, （Xb，Yb），但A，B不能同时落入同一方格内。 （1）若仅有质点A，求A落入任一方格的平均信息量； （2）若已知A已落入，求B落入的平均信息量;

(3) 若A , B是可辨认的，求A, B落入的平均信息量。 解： 1 (1) A落入任一格的概率：P(aJ I (aj log P(aJ log 48 48 48 H(a) P(a i)log P(a i) log 48 5.58bit i 1 1 (2) 在已知A落入任一格的情况下,B落入任一格的概率是：P(bJ — 47 I(b) logP(b i) log 47 48 H (b) P(b i)log P(b i) log 47 5.55bit i 1 1 1 (3) AB同时落入某两格的概率是P(AB i) - — 748 47 I(AB i) log P(AB i) 48 47 H (AB i) P(AB i)log P(ABJ log(48 47) 11.14bit i 1 1.3从大量统计资料知道，男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量? 解: 对于男士： 回答“是”的信息量：I (m y) log P(m y) log 7% 3.84bit 回答“不是”的信息量平均每个回答信息量：:I (m n) log P(m n) log 93% 0.105bit H(m) P(m y) logP(m y) P(m n) log P(m n) -7% log7% - 93% log93% 0.366bit 对于女: 回答“是”的信息量：l(w y) log P(w y) log 0.5% 回答“不是”的信息量平均每个回答信息量：:I (m n) log P(m n) log 99.5% H(m) P(W y) log P(W y) P(W n) log P(W n) -0.5% log0.5% - 99.5% log99.5% 0.0454bit

信息论与编码_杭州电子科技大学中国大学mooc课后章节答案期末考试题库2023年

信息论与编码_杭州电子科技大学中国大学mooc课后章节答案期末考试题库2023年 1.【图片】该信道的信道容量是（）bit/符号。 参考答案: log4-H(1/3,1/3,1/6,1/6); 2.对于离散无记忆平稳信源的N次扩展信源，其熵为扩展前信源熵的N倍。 参考答案: 正确 3.对应对称的DMC信道，当输入呈什么分布时，信道到达信道容量。 参考答案: 等概率分布 4.在X-Y-Z的信息传递中，信息不增性原理表示为I(X;Z)>=I(Y;Z)。 参考答案: 错误 5.信道容量随信源输出的概率分布的变化而变化。 参考答案: 错误 6.已知8个码组为（000000）、（001110）、（010101）、（011011）、 （100011）、（101101）、（110110）、（111000），若只用于检错，可检测出（）位错码。

参考答案: 2 7.突发差错始终以相等的概率独立发生于各码字、各码元、各比特。 参考答案: 错误 8.(7,3)码的监督矩阵有3行，生成矩阵有4行。 参考答案: 错误 9.根据香农容量公式可知，通过增大带宽可以无限的提高信道容量，只是提高 的速度会变慢 参考答案: 错误 10.二进制对称信道中，当信道转移概率中正确、错误的概率相等时，此信道不 能传递信息。 参考答案: 正确 11.某信道输入熵为H(X)，输出熵为H(Y)，若信道为无噪有损信道，其容量为 H(X)。 参考答案: 正确

12.连续信源限峰值条件下正态分布具有最大熵。 参考答案: 错误 13.关于信息熵在通信系统中的描述，以下错误的是（）。 参考答案: 条件熵H(X|Y)可以看作是信道上的干扰和噪声使接收端获得Y之后对X还有的平均不确定度，又称为噪声熵。 14.必然事件和不可能事件的自信息量都是0 。 参考答案: 错误 15.通常所说的符号差错概率（误码元率）是指信号差错概率，而误比特率是指 信息差错概率。 参考答案: 正确 16.当离散信源输出服从（）分布时，其熵为最大 参考答案: 等概率分布 17.信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造 的是最佳码。

信息论与编码习题解答

信息论与编码习题解答 第一章 1.一位朋友很不赞成“通信的目的是传送信息”及“消息中未知的成分才算是信息”这些说法。他举例说：我多遍地欣赏梅兰芳大师的同一段表演，百看不厌，大师正在唱的正在表演的使我愉快，将要唱的和表演的我都知道，照你们的说法电视里没给我任何信息，怎么能让我接受呢？请从信息论的角度对此做出解释。（主要从狭义信息论与广义信息论研究的内容去理解和解释） 答：从狭义信息论角度，虽然将要表演的内容观众已知，但是每一次演出不可能完全相同。而观众在欣赏的同时也在接受着新的感官和视听享受。从这一角度来说，观众还是可以得到新的信息的。另一种解释可以从广义信息论的角度来分析，它涉及了信息的社会性、实用性等主观因素，同时受知识水平、文化素质的影响。京剧朋友们在欣赏京剧时也因为主观因素而获得了享受，因此属于广义信息论的范畴。 2．利用下图（图1.2）所示的通信系统分别传送同样时间（例如十分钟）的重大新闻公告和轻音乐，它们在接收端各方框的输入中所含的信息是否相同，为什么？ 图1.2 通信系统的一般框图 答：重大新闻是语言，频率为300~3400Hz，而轻音乐的频率为20~20000Hz。同样的时间内轻音乐的采样编码的数据要比语音的数据量大，按码元熵值，音乐的信息量要比新闻大。但是在信宿端，按信息的不确定度，信息量就应分别对待，对于新闻与音乐的信息量大小在广义上说，因人而异。

第二章 1．一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。（1）一人随手取出3颗，经测量恰好找出了假珠，问这一事件大约给出了多少比特的信息量；（2）不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，问后一事件给出多少信息量；（3）对上述结果作出解释。 解：（1）从240颗珍珠中取3颗，其中恰好有1颗假珠的概率为： 2 2393240 239! 2!237!240!3!237! 11/80240/3 C P C ??= == = 所以，此事件给出的信息量为：I = – log 2P = log 280=6.32 (bit) （2）240颗中含1颗假珠，用天平等分法最多6次即可找到假珠，这是一个必然事件，因此信息量为0。 （3）按照Shannon 对信息量的定义，只在事件含有不确定成分，才有信息量，并且不确定成分越大，信息量也越大，必然事件则没有信息量。但是从广义信息论的角度，如果那个人不知道用天平二分法找假珠，另一个告诉他这个方法，使他由不知道到知道，也应该含有一定的信息量。 2．每帧电视图像可以认为是由3?105个象素组成，所有象素均独立变化，且每一象素又取128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量？如果一个广播员在约10000个汉字的字汇中选取1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，且彼此独立）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？ 解：由于每一象素取128个不同的亮度电平，各个亮度电平等概率出现。因此每个亮度电平包含的信息量为 I (X ) = – lb(1/128)=lb128=7 bit/像素 每帧图像中像素均是独立变化的，因此每帧图像信源就是离散亮度电平信源的无记忆N 次扩展。由此，每帧图像包含的信息量为 I (X N ) = NI (X )= 3?105?7 =2.1?106 bit/帧 广播员在约10000个汉字中选取字汇来口述此电视图像，各个汉字等概分布，因此每个汉字包含的信息量为 I (Y) = – lb(1/10000)=lb1000=13.29 bit/字 广播员述电视图像是从这个汉字字汇信源中独立地选取1000个字进行描述，因此广播员描述此图像所广播的信息量是 I (Y N ) = NI (Y )= 1000?13.29 =1.329 ?104 bit/字 由于口述一个汉字所包含的信息量为I (Y)，而一帧电视图像包含的信息量是I (X N )，因此广播员要恰当地描述此图像，需要的汉字数量为： 65() 2.110 1.5810() 13.29 N I X I Y ?= =?字 3．已知 X ： 1, 0 P (X )： p , 1 – p （1）求证：H (X ) = H (p )

信息论与编码试卷及答案

一、（11’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信 源的信源熵H（X） 等于，对信源进行 等长的无失真二进 制编码，则编码长 度至少为 3 。 （6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。 （8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关 二、（9'）判断题 （1）信息就是一种消息。（⨯） （2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（√） （3）概率大的事件自信息量大。（⨯） （4）互信息量可正、可负亦可为零。（√） （5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。 （⨯） （6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（√）

（7） 非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。 （ ⨯ ） （8） 信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。 （ √ ） （9）信息率失真函数R(D)是关于平均失真度D 的上凸函数. ( ⨯ ) 三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的， 而女孩中身高1.6米以上的占总数的一半。 假如我们得知“”的消息，问获得多少信息量？ 解：设A 表示“大学生”这一事件，B 表示“”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分） 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分） 四、（5'）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明： ()()() () ()()()() ()() Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i X Y i j i j i -=⎥⎦⎤ ⎢⎣⎡---==∑∑∑∑∑∑log log log ; （2分） 同理 ()()() X Y H Y H Y X I -=; （1分） 则 () ()()Y X I Y H X Y H ;-=

信息论与编码试卷及答案2

篇一：信息论与编码期末题(全套) 〔一〕 7、某二元信源 一、判断题共 10 小题，总分值 20 分. 1. 当随机变量X和Y相互独立时，条件熵H(X|Y)等于信源熵H(X). 〔〕 2. 由于构成同一空间的基底不是唯一的，所以不同的基 1X0 P(X)1/21/2，其失真矩阵 0a ，那么该信源的Dmax= Da0 三、此题共 4 小题，总分值 50 分. 1、某信源发送端有2种符号xi(i1,2),p(x1)a；接收端 底或生成矩阵有可能生成同一码集.符号 y( j 1 ,2) ，转移概率矩阵为有3 种,3〔〕 3.一般情况下，用变长编码得到的平均码长比定长编码大得多. 〔〕 4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通 信 〔〕 5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. 〔〕 6. 连续信源和离散信源的熵都具有非负性. 〔〕 7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小. 8. 汉明码是一种线性分组码. 〔〕 9. 率失真函数的最小值是0 . 〔〕 10.必然事件和不可能事件的自信息量都是0. 〔〕 二、填空题共 6 小题，总分值 20 分. 1 、 码

的 检 、 纠 错 能 力 取 决 于 . 2、信源编码的目的是的目的是 . 3、把信息组原封不动地搬到码字前k位的(n,k)码就叫做 . 4、香农信息论中的三大极限定理 是、、. 5、设信道的输入与输出随机序列分别为X和Y，那么 I(XN,YN)NI(X,Y)成立的 条件 6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 . iP1/21/20 1/21/41/4. 〔1〕计算接收端的平均不确 定度H(Y)；〔2〕计算由于噪声产生的不 确定度H(Y|X)；〔3〕计算信道容量以及最正确入口分布. 2、一阶马尔可夫信源的状态转移 图2-13 图如右图所示，信源X的符号集为{0,1,2}. 〔1〕求信源平稳后的概率分布； 〔2〕求此信源的熵； 〔 3 〕近似地认为此信源为无记忆时，符号的概率分布为平 X )

信息论与编码试题集与答案考试必看

信息论与编码试题集与答案考试必看 信息论与编码试题集与答案考试必看在无失真的信源中，信源输出由H(X)来度量； 在有失真的信源中，信源输出由R(D)来度量。 1.要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后_____加密____编码，再______信道 _____编码，最后送入信道。 2.带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是； 当归一化信道容量C/W趋近于零时，也即信道完全丧失了通信能力，此时Eb/N0为-1.6dB，我们将它称作香农限，是一切编码方式所能达到的理论极限。 3.保密系统的密钥量越小，密钥熵H(K)就越小，其密文中含有的关于明文的信息量I(M； C)就越大。 4.已知n＝7的循环码，则信息位长度k为3，校验多项式h(x)=。 5.设输入符号表为X＝{0，1}，输出符号表为Y＝{0，1}。输入信号的概率分布为p＝(1/2，1/2)，失真函数为d(0，0)=d(1，1)=0，d(0，1)=2，d(1，0)=1，则Dmin＝0，R(Dmin)＝1bit/symbol，相应的编码器转移概率矩阵[p(y/x)]＝； Dmax＝0.5，R(Dmax)＝0，相应的编码器转移概率矩阵

[p(y/x)]＝。 6.已知用户A的RSA公开密钥(e,n)=(3,55)，,则40，他的秘密密钥(d,n)＝(27,55)。若用户B向用户A发送m=2的加密消息，则该加密后的消息为8。 二、判断题1.可以用克劳夫特不等式作为唯一可译码存在的判据。 （Ö） 2.线性码一定包含全零码。 （Ö） 3.算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4.某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 5.离散平稳有记忆信源符号序列的平均符号熵随着序列长度L的增大而增大。 （×） 6.限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X，当它是正态分布时具有最大熵。 （Ö） 7.循环码的码集中的任何一个码字的循环移位仍是码

信息论第三版课后答案

信息论第三版课后答案 【篇一：西电邓家先版信息论与编码第3章课后习题解 答】 6 x1 1/6 y1 3/4 1/4 x2 图3.1 二元信道 y2 ?x??x1x2???=?0.60.4?通过一干扰信道，接收符号y=?y1y2?,信 道传递概率如p(x)????图3.33所示。求： （1）信源x中事件x1,和x2分别含有的自信息。 （2）收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量。（3）信源x和信源y的信息熵。 （4）信道疑义度h（x|y）和噪声熵h（y|x）。（5）接收到消息 y后获得的平均互信息。 解：（1）由定义得：i（x1）= －log0.6=0.74bit i（x2）= －log0.4=1.32bit i（xi；xj）= i（xi）－i（xi|yj）=log[p（xi|yj）/p（xi）] = log[p（yj|xi）/p（yj）] 则 i（x1；y1）= log[p（y1|x1）/p（y1）]=log5/6/0.8=0.059bit i （x1；y2）= log[p（y2|x2）/p（y2）]=log1/6/0.2=-0.263biti（x2；y1）= log[p（y1|x2）/p（y1）]=log3/4/0.8=-0.093bit i（x2；y2） = log[p（y2|x2）/p（y2）]=log1/4/0.2=0.322bit （3）由定义显然 h（x）=0.97095bit/符号 h（y）=0.72193bit/符号 （4）h（y|x）= ? 2 2 p（xy）log[1/p（y|x）] =

?? i?1j?1 p（xi）p（yj|xi）log[1/p（yj|xi）] h（x|y）= h（x）+h（y|x）－h（y）=0.9635bit/符号 (5) i（x；y）= h（x）－h（x|y）=0.00745 bit/符号 3.2设8个等概率分布的消息通过传递概率为p的bsc进行传送。 八个消息相应编成下述码字： m1=0000, m2=0101, m3=0110, m4=0011, m5=1001, m6=1010, m7=1100, m8=1111, 试问 (1) 接受到第一个数字0与m之间的互 信息。 (2) 接受到第二个数字也是0时，得到多少关与m的附加互信息。 (3) 接受到第三个数字仍是0时，又增加多少关与m的互信息。(4) 接受到第四个数字还是0时，再增加了多少关与m的互信息。 解： (1 ) i(0;m1)= log[ p(0|m1)/p(0)]=1 bit (2 ) i(00;m1)= log[ 1/p(00)]=2 bit2－1=1 bit(3 ) i(000;m1)=3 bit 3－2=1 bit(4 ) i(0000;m1)=4 bit4－3=1 bit 3.3 设二元对称信道的传递矩阵为 ?2?3??1??3 1?3?? 2??3? （1）若p(0)?3/4,p(1)?1/4，求h(x),h(x|y),h(y|x)和i(x;y)；（2）求该信道的信道容量及其达到信道容量时的输入概率分布。 解：（1）已知二元对称信道的传递矩阵，又已知输入的概率分布 p(0)?3/4,p(1)?1/4, 可以求得输出y的概率分别和后验概率。 p(y?0)??p(x)p(y?0|x) x ?p(x?0)p(y?0|x?0)?p(x?1)p(y?0|x?1) 32117?????434312p(y?1)??p(x)p(y?1|x) x ?p(x?0)p(y?1|x?0)?p(x?1)p(y?1|x?1) 31125?????434312 所以p(x?0|y?0)? p(x?0)p(y?0|x?0)6 ? p(x)p(y?0|x)7x p(x?1|y?0)? p(x?1)p(y?0|x?1)1 ? p(x)p(y?0|x)7x

信息论与编码试题集与答案

1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤ ⎢⎥⎣⎦ ；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤ ⎢ ⎥⎣⎦ 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 四、计算题 1.已知(),X Y 的联合概率(),p x y 为： 求()H X ，()H Y ，(),H X Y ，();I X Y 解: (0)2/3p x == (1)1/3p x == (0)1/3p y == (1)2/3 p y == ()()(1/3,2/3)H X H Y H ===0.918 bit/symbol (),(1/3,1/3,1/3)H X Y H ==1.585 bit/symbol ();()()(,)I X Y H X H Y H X Y =+-=0.251 bit/symbol 2.某系统（7，4）码 )()(01201230123456c c c m m m m c c c c c c c ==c 其三位校验 位与信息位的关系为： 2310 13210 210c m m m c m m m c m m m =++⎧⎪ =++⎨⎪=++⎩ 01 X Y 011/31/30 1/3

信息论与编码考试题(附答案版)

1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源） 2.连续信源的熵是（无穷大），不再具有熵的物理含义。 3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性 3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。 4.数据处理过程中信息具有（不增性）。 5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。 6.单符号连续信道的信道容量取决于（信噪比）。 7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。 8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。 9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。 10.立即码指的是（接收端收到一个完整的码字后可立即译码）。 11.算术编码是（非）分组码。 12.游程编码是（无）失真信源编码。 13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。 14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。 15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。 16.卷积码的自由距离决定了其（检错和纠错能力）。 （对）1、信息是指各个事物运动的状态及状态变化的方式。

（对）2、信息就是信息，既不是物质也不是能量。 （错）3、马尔可夫信源是离散无记忆信源。 （错）4、不可约的马尔可夫链一定是遍历的。 （对）5、单符号连续信源的绝对熵为无穷大。 （错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。 （对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。（对）8、信源X,经过处理后，输出为Y，H(Y)小于H(X),说明信息不增。 （对）9、如果一个消息包含的符号比表达这个消息所需要的符号多，那么该消息存在冗余度。 （错）10、有噪无损离散信道的输入为X,输出为Y，那么其信道容量Ｃ＝ｍａｘＨ（Ｙ）。（错）11、非高斯噪声信道的信道容量比高斯噪声信道的信道容量小。 （对）12、信息率失真函数具有单调递减性。 （错）13、异前缀码不能及时可译。 （对）14、用码树构造的一定是及时码。 （对）15、香农编码压缩了符号相关造成的冗余。 （对）16、有失真信源编码指的是保真度准则下的信源编码。 （对）17、变长无失真信源编码比定长编码的编码效率高。 （错）18、香农编码是最佳编码。 （对）19、卷积、交织都可以达到差错随机化的目的。。 （错）20、卷积码的序列距离决定了其检错和纠错能力。 信息、消息、信号的定义是什么？三者的关系是什么？ 答：定义：信息是指各个事物运动的状态及状态变化的方式。 消息是指包含信息的语言、文字和图像。 信号是消息的物理体现。