信息论第二章课后习题解答.ppt

格式：ppt
大小：1.40 MB
文档页数：15

下载文档原格式

信息论第二章(2)

5 联合自信息量：
若有两个消息xi，yj 同时出现，它们所带有的信息量，称为联合自信息量
I ( xi y j ) log p( xi y j ) (bit)
6 条件自信息量：
事件xi在事件yj给定的条件下的自信息量，称为条件自信息量
I ( xi y j ) log p( x｜y j ) （bit）｜ i

i

j
1 H (( X ))＝(p( xy) log p( xy) H XY H X | Y ) X ,Y
平均互信息与各类熵之间关系的集合图（维拉图）表示：
I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) = H(X)+H(Y)-H(XY) 图中，左边的圆代表 H(XY)= H(X)+H(Y)- I(X;Y) 随机变量X的熵，右边的圆代表随机变量 Y的熵，两个圆重叠 H(X|Y) 部分是平均互信息 H(Y|X) I(X;Y)。每个圆减去 =H(X)-I(X;Y) =H(Y)-I(X;Y) I(X;Y)后剩余的部分代表两个条件熵。 I(X;Y)
i 1 i
n
★定义自信息的数学期望为平均自信息量H
n 1 H ( X ) E log p ( xi ) log p ( xi ) (bit/符号) p ( xi ) i 1
(X)，称为信息熵：
★熵的含义：
① 熵是从整个集合的统计特性来考虑的，它从平均意义上来表征信源的总体特征。 ② 在信源输出后，信息熵H(X)表示每个消息提供的平均信息量；
复习
3 离散信源的数学模型：
x2 x3 ... ... xn X x1 P ( x) P ( x ) P ( x ) P ( x ) ... ... P( x ) 1 2 3 n 要满足的条件： P ( xi ) 0,

《信息论与编码》课件1第2章

I(ai)是一个随机变量并不难理解。因为ai发生可以使收信者获得大小为I(ai)的自信息，然而在信源未发出消息之前，收信者不仅对ai是否发生具有不确定性，而且对于能够获得多少自信息也是不确定的。因此，伴随着X=ai的随机发生而发生的自信息I(ai)是一个随机变量，并且与随机变量X具有相同的概率分布, 即自信息I(ai)是一个发生概率为P(X=ai)
如果消息ai已发生，则该消息发生所含有的自信息定义为
1
1
I (ai ) log P(ai ) log pi
(2.4)
第2章离散无记忆信源与信息熵
可以很容易地证明, 自信息的定义满足上面提出的四个
(1) 此自信息的定义是根据消息发生的概率建立的一个工程定义，而不是根据这个消息对人的实际意义而建立的定义。这一纯粹技术性的定义仅仅抓住了“信息”一词在
(2) 自信息I(ai) 在消息ai发生之前，自信息I(ai)表示ai发生的不确定性; 在消息ai发生以后，自信息I(ai)表示ai所含有的（或提
第2章离散无记忆信源与信息熵
(3) 在式(2.4)中关于对数的底未作明确规定。这是因为对数的底仅仅影响到度量的单位，实际中可根据
如果取对数的底为2，则所得信息量的单位为比特（bit， binary unit），此时logx用lbx
第2章离散无记忆信源与信息熵
第2章离散无记忆信源与信息熵
2.1 离散无记忆信源 2.2 自信息和熵 2.3 熵函数的性质 2.4 联合事件的熵及其关系 2.5 连续信源的信息测度习题2
第2章离散无记忆信源与信息熵
信息理论的研究对象是以各类信息的获取、表示、传输和处理为目的的信息系统。图2-1给出了一个典型的通信系统物理模型。在这样的通信系统中，一个贯穿始终的、最基本的问题便是信息，即信源输出的是信息，在系统中传输的是信息，接收者获得的也是信息。可见，在信息理论的学习和研究中，首先需要对

信息论与编码(第二版)陈运主编课件第二章 (5)

信息论与编码
Information Theory and coding
内蒙古工业大学电子信息工程系宋丽丽
Email: songlili@
有记忆的特点：
1
2 3
有限记忆长度；信源输出不仅与符号集有关，而且与状态有限的相关符号组构成的序列

?
冗余度与传输效率冗余度与传输可靠性冗余度与英语学习
对英语信源：信息变差：
I 0 H 0 H
对离散信源，信源符号等概率分布时熵最大，其平均自信息量记为: H0＝log q 由于信源符号间的依赖关系使信源的熵减小，使下式成立：

log q H 0 H1 H 2 ... H m1 ... H
信源符号之间依赖关系越强，每个符导提供的平均信息量越小。为此，引入信源的冗余度来衡量信源的相关程度(有时也称为多余度)。
H 3 0.801(bit sign )
ej
1
H 并非在任何情况下都存在，对n元 m阶马尔可夫信源
1
平稳信源（如果不平稳则先把其变成分段平
稳的）。
2
p(e j )存在，j 1, 2, , n
m
2
m阶马尔可夫与一般记忆长度为m的有记忆信源的区别：
马尔可夫信源发出一个个符号，有限长度有记忆 1 信源发出一组组符号；
N

k N m 1 n k N 1
n
p ( ak ak
N m
ak
N m 1
ak a k
N m
)}
N 1

k1 1 k m1 1
n
n
p (ak ak ) log p(

第二章-信息论基本概念（3）

H ( X m1 / X1 X 2 X m )
这表明：m阶马尔可夫信源的极限熵H 就等于m阶条件熵，记为H m 1
akm )
设状态 Ei (ak1 ak2 akm ),信源处于状态Ei时，再发出下一个符号akm1
此时，符号序列 (ak2 ak3 a ) km1 就组成了新的信源状态
Ej (ak2 ak3 a ) km1 ，这时信源所处的状态由 Ei 转移到 Ej
状态转移图(香农线图)
0:0.5 E1
1:0.5 E3
1
0:0.6
E2
1:0.4
【注】E1、E2、E3是三种状态，箭头是指从一个状态转移到另
一个状态，旁边的数字代表发出的某符号和条件概率p(ak/Ei) 。这就是香农提出的马尔可夫状态转移图，也叫香农线图。
二、马尔可夫信源
若信源输出的符号和信源所处的状态满足以下两个条件，则称为马尔可夫信源：
a1 a2
p(sl
E2
/ xl
a3
sl1 E1 ) 0 sl1 E1 ) 1 sl1 E1 ) 1 sl1 E1 ) 0
可求得状态的一步转移概率：
1
2
1 4
0
1 4
0
0
1 2
1 2
0
0
p(E j
/
Ei
)
0
3
1
0
0
44
0
0
0
0
1
0
0
0
3 4
1 4
此信源满足马尔可夫的两个条件，所以是马尔可夫信源，并且是齐次马尔可夫信源。
对于这个随机序列，若有：
p(xn Sin | xn1 Sin1 ,..., x1 Si1 ) p(xn Sin | xn1 S ) in1

信息论第2章(2010)

ai 后所获得的信息量。
自信息量的性质：
1）非负性。 2) 单调递减性。 3) 可加性。
I xi ,y j log pxi ,y j
若两个符号x i , y j同时出现，可用联合概率px i , y j 来表示这时的自信息量为 I y j I xi | y j
例题：二元信源，每个符号发生的概率分别为p(x1)=p，p(x2)=1-p. 试计算信源熵，并画出熵函数H(p)和p的曲线图。
① 等概时（p=0.5)：随机变量具有最大的不确定性
② p=0或1时：随机变量的不确定性消失。
信息熵的物理意义
1）表示了信源输出前，信源的平均不确定性。 2）表示了信源输出后，每个消息或符号所提供的平均信息量。 3）信息熵反映了变量X的随机性。
平均自信息量H (X ) 表示信源输出消息中的每个符号所含信息量的统计平均值，其表达式为 q
H ( X ) EI ( xi ) P( xi ) log P( xi )
i 1
式中， E 表示统计平均，
I ( xi ) 表示符号 x i 包含的自信息量。
平均信息量可以表示为：
任何一个物理量的定义都应当符合客观规律和逻辑上的合理性，信息的度量也不例外。直观经验告诉我们： ① 消息中的信息量与消息发生的概率密切相关：出现消息出现的可能性越小，则消息携带的信息量就越大。 ② 如果事件发生是必然的（概率为1），则它含有的信息量应为零。如果一个几乎不可能事件发生了（概率趋于0），则它含有巨大的信息量。 ③ 如果我们得到不是由一个事件而是由若干个独立事件构成的消息，那么我们得到的信息量就是若干个独立事件的信息量的总和。
② 联合信源中平均每个符号对所包含的信息量？

第二章-信息论基本概念(2)(1)

(四）平均互信息（平均交互信息熵/交互熵）四平均互信息（平均交互信息熵交互熵）交互熵
前面所述熵为单符号信源情况，前面所述熵为单符号信源情况，是最简单的离散信源。事务是普遍联系的，两个随机变量，之间信源。事务是普遍联系的，两个随机变量X，Y之间也是相互联系的，比如：在某种程度上也是相互联系的，比如：
1、离散无记忆信源扩展信源、离散无记忆信源(扩展信源扩展信源) 概率空间：（1）定义：若单符号离散信源概率空间：）定义：若单符号离散信源X概率空间
X a1 , a2 , L , ai , L , aq P( X ) = p(a ), p(a ),L , p(a ),L , p(a ) , ∑ p(ai ) = 1 i 2 i q 1
0( p )
q
X
[例] 二进制对称信道例
1( p )
q q
q
0
Y
1
H ( X ) = H ( p) = − p log p − p log p
I(X;Y)
H (Y / X ) = H (q) = −q log q − q log q
H (Y ) = H ( pq + pq)
0
1-H(q) 0.5 I(X;Y) H(p) 1 p
5. 数据处理定理 I(X;Z) ≤ I(X;Y) I(X;Z) ≤ I(Y;Z) [意义信息不增原理意义] 信息不增原理原理—— 意义处理，每经一次处理，可能丢失一部分信息 X Y P(Z/;Y) = H(X) – H(X/Y) = H(Y) – H(Y/X) H(XY) = H(X) + H(Y/X) = H(Y) + H(X/Y) I(X;Y) = H(X) + H(Y)－ H(XY) －

信息论课后习题PPT

4 4
h=
2
H (S ) H (S ) + e
? e
0.0338
s (S ) =
å
2
N ?
s 2 (S ) e2d
i= 1
pi (log pi )2 - H (S )2 = 0.471
4.221 ? 107
4.6 设离散无记忆信源的概率空间为：
轾 s1 轾犏 S 犏 = 犏 3 犏犏 P ( s ) 犏犏臌 4 臌 s2 1 4
4.2 离散无记忆信源的概率空间为：
轾 s1 轾S 犏犏 = 犏 3 犏犏 P ( s ) 犏犏臌 4 臌 s2 1 4
若对信源采取等长二元编码，要求编码效 - 5 率 h = 0.96 ，允许译码错误概率 d £ 10 ，试计算需要的心愿序列长度N为多少？解： H (S ) = H ( 3 , 1) = 0.8113
ห้องสมุดไป่ตู้
计算得：
1 所以： P (0) P (1) P (2) 3 （2）根据一阶马尔可夫信源的熵得：
H H 2 Q( Ei ) P( X | Ei )
i 1 3
1 Q (0) Q (1) Q (2) 3
1 p p 1 p p 1 p p H ( p , , ) H ( , p, ) H ( , , p ) 3 2 2 3 2 2 3 2 2 p log p p log p p bit / 符号
2.17(续) （3）此马尔可夫信源的熵：
H H 2 Q ( si ) P (ak | si ) log P (ak | si )
i 1 k 1
3
3
Q ( si ) H (ak | si )

《信息论与编码理论》(王育民李晖梁传甲)课后习题问题详解高等教育出版社

信息论与编码理论习题解第二章-信息量和熵2.1解: 平均每个符号长为:1544.0312.032=⨯+⨯秒每个符号的熵为9183.03log 3123log 32=⨯+⨯比特/符号所以信息速率为444.34159183.0=⨯比特/秒2.2 解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特；所以信息速率为600010006=⨯比特/秒2.3 解:(a)一对骰子总点数为7的概率是366 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是361 所以得到的信息量为 17.5361log 2= 比特 2.4 解: (a)任一特定排列的概率为!521,所以给出的信息量为 58.225!521log 2=- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为13521313521344!13C A =⨯所以得到的信息量为 21.134log 1313522=C 比特.2.5 解:易证每次出现i 点的概率为21i,所以比特比特比特比特比特比特比特398.221log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21log )(2612=-==============-==∑=i i X H x I x I x I x I x I x I i ii x I i2.6 解: 可能有的排列总数为27720!5!4!3!12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y图中X 表示白杨或白桦，它有⎪⎪⎭⎫⎝⎛37种排法，Y 表示梧桐树可以栽种的位置，它有⎪⎪⎭⎫⎝⎛58种排法，所以共有⎪⎪⎭⎫ ⎝⎛58*⎪⎪⎭⎫⎝⎛37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-=3.822 比特 2.7 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地；Z=0表示学过英语，Z=1表示未学过英语，由此得比特比特比特)01(log )01()0()00(log )00()0()(8113.04log 4134log 43)()(02698.04110435log 104354310469log 10469)1()01(log )01()0()00(log )00()0;(104352513/41)522121()0(/)1())11()1,10()10()1,00(()01(104692513/43)104109101()0(/)0())01()0,10()00()0,00(()00()(4512.04185log 854383log 83)1()01(log )01()0()00(log )00()0;(8551/4121)0(/)1()10()01(8351/43101)0(/)0()00()00()(,251225131)1(,2513100405451)10()1()00()0()0(,54511)1(,51101432141)10()1()00()0()0(,41)1(,43)0(222222222222+=====+=======+==+======+========⨯⨯+========+=========⨯⨯+========+=========+======+========⨯=========⨯=========-===⨯+====+======-===⨯+⨯====+=========x y p x y p x p x y p x y p x p X Y H X H c x p z x p z x p x p z x p z x p z X I z p x p x y p x y z p x y p x y z p z x p z p x p x y p x y z p x y p x y z p z x p b x p y x p y x p x p y x p y x p y X I y p x p x y p y x p y p x p x y p y x p a z p y z p y p y z p y p z p y p x y p x p x y p x p y p x p x p2.8 解:令{}{}R F T Y B A X ,,,,==，则比特得令同理03645.0)()(5.0,02.03.0)2.05.0(log 2.0)()2.05.0(log )2.05.0()2.03.0(log )2.03.0(5.0log 5.03.0log 3.0)5log )1(2.02log )1(5.0log )1(3.05log 2.0log 3.02log 5.0(2.0log 2.0)2.05.0(log )2.05.0()2.03.0(log )2.03.0()()();()(2.0)(,2.05.0)(2.03.0)1(3.05.0)()()()()(5.0max 2'2222223102231022222==∴==+-=---++-+=-+-+-+++-----++-=-===-=+=-⨯+=+==p p I p I p pp p I p p p p p p p p p p p p p p X Y H Y H Y X I p I R P p F P pp p B P B T P A P A T P T P2.9 & 2.12解:令X=X 1,Y=X 1+X 2,Z=X 1+X 2+X 3, H(X 1)=H(X 2)=H(X 3)= 6log 2 比特 H(X)= H(X 1) = 6log 2 =2.585比特 H(Y)= H(X 2+X 3)=6log 61)536log 365436log 364336log 363236log 36236log 361(2222222+++++ = 3.2744比特 H(Z)= H(X 1+X 2+X 3)=)27216log 2162725216log 2162521216log 2162115216log 2161510216log 216106216log 21663216log 2163216log 2161(222222222++++++= 3.5993比特所以H(Z/Y)= H(X 3)= 2.585 比特 H(Z/X) = H(X 2+X 3)= 3.2744比特 H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955比特H(Z/XY)=H(Z/Y)= 2.585比特 H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805比特 I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X 3)= 3.5993-2.585 =1.0143比特 I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744 =0.3249比特 I(XY ;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y)=1.0143比特 I(Y;Z/X)=H(Z/X)-H(Z/XY) = H(X 2+X 3)-H(X 3) =3.2744-2.585 =0.6894比特 I(X;Z/Y)=H(Z/Y)-H(Z/XY) =H(Z/Y)-H(Z/Y) =02.10 解:设系统输出10个数字X 等概,接收数字为Y,显然101)(101)()()(919===∑∑==i j p i j p i Q j w i iH(Y)=log10比特奇奇奇奇偶18log 81101452log 211015)(log)()()(log )()(0)(log ),()(log ),()(22,2222=⨯⨯⨯⨯+⨯⨯⨯=--=--=∑∑∑∑∑∑∑≠====x y p x y p x p x x p x x p x p x y p y x p x y p y x p X Y H x y x i y x y x所以I(X;Y)= 3219.2110log 2=-比特2.11 解:（a ）接收前一个数字为0的概率 2180)0()()0(==∑=i i i u p u q wbits p pw u p u I )1(log 11log )0()0(log )0;(2212121-+=-==（b ）同理 418)00()()00(==∑=ii iu p u q wbits p p w u p u I )1(log 22)1(log )00()00(log )00;(24122121-+=-== （c ）同理 818)000()()000(==∑=ii iu p u q wbits p p w u p u I )1(log 33)1(log )000()000(log )000;(28132121-+=-== （d ）同理 ))1(6)1(()0000()()0000(4226818p p p p u p u q w ii i+-+-==∑=bitsp p p p p p p p p p w u p u I 42264242268142121)1(6)1()1(8log ))1(6)1(()1(log )0000()0000(log )0000;(+-+--=+-+--==2.12 解:见2.9 2.13 解: (b))/()/()/(1log)()/(1log)()/()/(1log)()/(1log)()/(XY Z H X Y H xy z p xyz p x y p xyz p xy z p x y p xyz p x yz p xyz p X YZ H x y z xyzxyzxyz+=+===∑∑∑∑∑∑∑∑∑∑∑∑(c))/()/(1log)/()()/(1log)/()()/(X Z H x z p xy z p xy p xy z p xy z p xy p XY Z H xyzxyz=≤=∑∑∑∑∑∑（由第二基本不等式）或)1)/()/((log )/()()/()/(log)/()()/(1log)/()()/(1log)/()()/()/(=-⨯≤=-=-∑∑∑∑∑∑∑∑∑∑∑∑xy z p x z p e xy z p xy p xy z p x z p xy z p xy p x z p xy z p xy p xy z p xy z p xy p X Z H XY Z H xyzxyzxyzxyz（由第一基本不等式）所以)/()/(X Z H XY Z H ≤(a))/()/()/()/()/(X YZ H XY Z H X Y H X Z H X Y H =+≥+等号成立的条件为)/()/(x z p xy z p =,对所有Z z Y y X x ∈∈∈,,,即在给定X 条件下Y 与Z 相互独立。

《信息论、编码与密码学》课后习题答案资料

《信息论、编码与密码学》课后习题答案第1章信源编码1.1考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS 。

求信源熵H （X ）。

解：信源熵 ∑=-=512)(log )(k k k p p X HH(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]=[0.521+0.5+0.464+0.411+0.332] =2.228(bit)故得其信源熵H(X)为2.228bit1.2 证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。

解：若二元离散信源的统计特性为P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)] 对H(X)求导求极值，由dH(X)/d(P)=0可得211101log ==-=-p ppp p可知当概率P=Q=1/2时，有信源熵)(1)(max bit X H =对于三元离散信源，当概率3/1321===P P P 时，信源熵)(585.1)(m ax bit X H =，此结论可以推广到N 元的离散信源。

1.3 证明不等式ln 1x x ≤-。

画出曲线1ln y x =和21y x =-的平面图以表明上述不等式的正确性。

证明：max ()ln 1(0)1()()01001()0()0ln 11ln 1ln 1f x x x x f x xf x x x x f x f x f x x x x x x x =-+>'=''==>∴<≤>≤=≤-≥≤-≤-令，又有时此时也即当时同理可得此时综上可得证毕绘制图形说明如下可以很明确说明上述不等式的正确性。

1.4 证明(;)0I X Y ≥。

在什么条件下等号成立？1111(,)(,)(,)(,)log()()n mi j i j i j n mi j i j i j i j I P x y I x y P x y P x y P x P y =====∑∑∑∑（X ；Y ）=当和相互独立时等号成立。

第二章_离散信源与信息熵的关系

给出，为了书写方便以后写成：和
y1 , y2 , Y q1 , q2 , ym qm
xn Y y1, y2 , Q q( y ), q( y ), p( xn ) ； 1 2
ym q ( ym )
一. Definition of the self-mutual information:
«信息论基础 »
第二章：信息的度量与信息熵
( The measure of Information &Entropy) §2. 1 自信息与条件自信息
( self—information & conditional self— information) §2. 2 自互信息与条件自互信息 (self—mutual
p ( x ) 则表达当收端已收到某种消息后, 再统计发端的发送率： y 概率，所以此条件概率称为后验概率(Posterior Probability) 。
§2. 1 自信息与条件自信息因此我们说事件 xi 以及它所对应的先验概率P( x )而定
i
义出的自信息 I [ p( xi )] ，所表达的不论事件是否有人接收这个事件它所固有的不确定度，或者说它所能带来的信息 xi p ( ) 量。而消息事件 y j xi nk 它所对应的条件概率 yj 是在收端接收到已干扰的消息后的后验概率,如果当它为1 xi p ( ) 则属于透明传输；若 y j <1，则属于有扰传输。而当 xi p ( ) 后验概率大于先验概率是 y j > P( xi )，说明事件 y j 发生之后多少也解除了事件 xi 的部分不定度，即得到了事件 X xi 的部分信息。由于概率越大，不定度越小。从客观上讲，条件自信息一定不会大于无条件的自信息。同时也反映出要得知一些条件，原事件的不定度一定会减少，最坏的情况也不过保持不变，即条件与事件无关。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。