[课件]信息论第2章课后习题PPT

格式：ppt
大小：427.50 KB
文档页数：54

下载文档原格式

信息论第二章(2)

5 联合自信息量：
若有两个消息xi，yj 同时出现，它们所带有的信息量，称为联合自信息量
I ( xi y j ) log p( xi y j ) (bit)
6 条件自信息量：
事件xi在事件yj给定的条件下的自信息量，称为条件自信息量
I ( xi y j ) log p( x｜y j ) （bit）｜ i

i

j
1 H (( X ))＝(p( xy) log p( xy) H XY H X | Y ) X ,Y
平均互信息与各类熵之间关系的集合图（维拉图）表示：
I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) = H(X)+H(Y)-H(XY) 图中，左边的圆代表 H(XY)= H(X)+H(Y)- I(X;Y) 随机变量X的熵，右边的圆代表随机变量 Y的熵，两个圆重叠 H(X|Y) 部分是平均互信息 H(Y|X) I(X;Y)。每个圆减去 =H(X)-I(X;Y) =H(Y)-I(X;Y) I(X;Y)后剩余的部分代表两个条件熵。 I(X;Y)
i 1 i
n
★定义自信息的数学期望为平均自信息量H
n 1 H ( X ) E log p ( xi ) log p ( xi ) (bit/符号) p ( xi ) i 1
(X)，称为信息熵：
★熵的含义：
① 熵是从整个集合的统计特性来考虑的，它从平均意义上来表征信源的总体特征。 ② 在信源输出后，信息熵H(X)表示每个消息提供的平均信息量；
复习
3 离散信源的数学模型：
x2 x3 ... ... xn X x1 P ( x) P ( x ) P ( x ) P ( x ) ... ... P( x ) 1 2 3 n 要满足的条件： P ( xi ) 0,

《信息论与编码》课件1第2章

I(ai)是一个随机变量并不难理解。因为ai发生可以使收信者获得大小为I(ai)的自信息，然而在信源未发出消息之前，收信者不仅对ai是否发生具有不确定性，而且对于能够获得多少自信息也是不确定的。因此，伴随着X=ai的随机发生而发生的自信息I(ai)是一个随机变量，并且与随机变量X具有相同的概率分布, 即自信息I(ai)是一个发生概率为P(X=ai)
如果消息ai已发生，则该消息发生所含有的自信息定义为
1
1
I (ai ) log P(ai ) log pi
(2.4)
第2章离散无记忆信源与信息熵
可以很容易地证明, 自信息的定义满足上面提出的四个
(1) 此自信息的定义是根据消息发生的概率建立的一个工程定义，而不是根据这个消息对人的实际意义而建立的定义。这一纯粹技术性的定义仅仅抓住了“信息”一词在
(2) 自信息I(ai) 在消息ai发生之前，自信息I(ai)表示ai发生的不确定性; 在消息ai发生以后，自信息I(ai)表示ai所含有的（或提
第2章离散无记忆信源与信息熵
(3) 在式(2.4)中关于对数的底未作明确规定。这是因为对数的底仅仅影响到度量的单位，实际中可根据
如果取对数的底为2，则所得信息量的单位为比特（bit， binary unit），此时logx用lbx
第2章离散无记忆信源与信息熵
第2章离散无记忆信源与信息熵
2.1 离散无记忆信源 2.2 自信息和熵 2.3 熵函数的性质 2.4 联合事件的熵及其关系 2.5 连续信源的信息测度习题2
第2章离散无记忆信源与信息熵
信息理论的研究对象是以各类信息的获取、表示、传输和处理为目的的信息系统。图2-1给出了一个典型的通信系统物理模型。在这样的通信系统中，一个贯穿始终的、最基本的问题便是信息，即信源输出的是信息，在系统中传输的是信息，接收者获得的也是信息。可见，在信息理论的学习和研究中，首先需要对

信息论与编码,曹雪虹,课件第2章-2

信息论与编码
第二章
信源与信息熵
内容
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度
3
信源的分类
• 离散信源
– 指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。
{ 离散
{ { 信源
W1
W2
W3
W4
• 稳态分布概率
W1
3 35
,
W2
6 35
,
W3
6 35
,
W4
4 7
• 稳态后的符号概率分布
p(a1)
i
p(a1
|
si
)
p(siΒιβλιοθήκη )1 23 35
1 3
6 35
1 4
6 35
1 5
4 7
9 35
p(a2 )
i
p(a2
|
si )
p(si )
1 2
3 35
2 3
6 35
(1)1/2
s2 01
00 s1
(0)1/4
(0)1/3 (1)3/4
10 s3
(1)2/3
s4 0 2 / 3 0 4 / 5
11 (0)1/5
s4
(1)4/5
8
Wi pij W j
i
1 2
W1
1 2
W1
W1 W2 W3 W4 1
1 3
W2
2 3 W2
1 2
W3
3 4
W3
1 5
W4
4 5 W4
3 4
6 35

信息论第2章(2010)

ai 后所获得的信息量。
自信息量的性质：
1）非负性。 2) 单调递减性。 3) 可加性。
I xi ,y j log pxi ,y j
若两个符号x i , y j同时出现，可用联合概率px i , y j 来表示这时的自信息量为 I y j I xi | y j
例题：二元信源，每个符号发生的概率分别为p(x1)=p，p(x2)=1-p. 试计算信源熵，并画出熵函数H(p)和p的曲线图。
① 等概时（p=0.5)：随机变量具有最大的不确定性
② p=0或1时：随机变量的不确定性消失。
信息熵的物理意义
1）表示了信源输出前，信源的平均不确定性。 2）表示了信源输出后，每个消息或符号所提供的平均信息量。 3）信息熵反映了变量X的随机性。
平均自信息量H (X ) 表示信源输出消息中的每个符号所含信息量的统计平均值，其表达式为 q
H ( X ) EI ( xi ) P( xi ) log P( xi )
i 1
式中， E 表示统计平均，
I ( xi ) 表示符号 x i 包含的自信息量。
平均信息量可以表示为：
任何一个物理量的定义都应当符合客观规律和逻辑上的合理性，信息的度量也不例外。直观经验告诉我们： ① 消息中的信息量与消息发生的概率密切相关：出现消息出现的可能性越小，则消息携带的信息量就越大。 ② 如果事件发生是必然的（概率为1），则它含有的信息量应为零。如果一个几乎不可能事件发生了（概率趋于0），则它含有巨大的信息量。 ③ 如果我们得到不是由一个事件而是由若干个独立事件构成的消息，那么我们得到的信息量就是若干个独立事件的信息量的总和。
② 联合信源中平均每个符号对所包含的信息量？

信息论基础第2章离散信源及其信息度量[83页]

④ 一般情况下，如果以 r 为底 r 1，则
I (ai ) logr P(ai ) (r进制单位）
通常采用“比特”作为信息量的实用单位。在本书中，且为了书写简洁，底数 2 通常省略不写。
【例】假设有这样一种彩票，中奖概率为 0.0001，不中奖概率为 0.9999。现有一个人买了一注彩票。试计算
定义: 设信源的概率空间为
X
P( x)
a1 P(a1
)
a2 P(a2 )
aq
P(aq )
则自信息量的数学期望定义为信源的平均自信息量，即
q
H ( X ) E[I (ai )] P(ai ) log2 P(ai ) （bit/符号） i 1
简记为
H ( X ) P(x) log2 P(x) xX
（1）事件“彩票中奖”的不确定性；（2）事件“彩票不中奖”的不确定性；（3）事件“彩票中奖”和事件“彩票不中奖”相
比较，哪个提供的信息量较大？
【例】对于 2n 进制的数字序列, 假设每一符号的出现相互独立且概率相等，求任一符号的自信息量。
解：
根据题意， P(ai ) =1/2n，所以 I (ai ) log P(ai ) log（1/ 2n ) n(bit)
一般的多符号离散信源输出的随机序列的统计特性比较复杂，分析起来也比较困难。将在第 3 章中详细讨论。
《信息论基础》
2.3 离散随机变量的信息度量
一、自信息量I(xi)和信息熵H(X)
定义: 随机事件的自信息量定义为该事件发生概率的
对数的负值。设集合 X 中的事件 x ai 发生概率为 P(ai ) ，
按输出符号之间依赖关系分类，多符号离散信源可分为无记忆信源和有记忆信源。

信息论课后习题PPT

4 4
h=
2
H (S ) H (S ) + e
? e
0.0338
s (S ) =
å
2
N ?
s 2 (S ) e2d
i= 1
pi (log pi )2 - H (S )2 = 0.471
4.221 ? 107
4.6 设离散无记忆信源的概率空间为：
轾 s1 轾犏 S 犏 = 犏 3 犏犏 P ( s ) 犏犏臌 4 臌 s2 1 4
4.2 离散无记忆信源的概率空间为：
轾 s1 轾S 犏犏 = 犏 3 犏犏 P ( s ) 犏犏臌 4 臌 s2 1 4
若对信源采取等长二元编码，要求编码效 - 5 率 h = 0.96 ，允许译码错误概率 d £ 10 ，试计算需要的心愿序列长度N为多少？解： H (S ) = H ( 3 , 1) = 0.8113
ห้องสมุดไป่ตู้
计算得：
1 所以： P (0) P (1) P (2) 3 （2）根据一阶马尔可夫信源的熵得：
H H 2 Q( Ei ) P( X | Ei )
i 1 3
1 Q (0) Q (1) Q (2) 3
1 p p 1 p p 1 p p H ( p , , ) H ( , p, ) H ( , , p ) 3 2 2 3 2 2 3 2 2 p log p p log p p bit / 符号
2.17(续) （3）此马尔可夫信源的熵：
H H 2 Q ( si ) P (ak | si ) log P (ak | si )
i 1 k 1
3
3
Q ( si ) H (ak | si )

信息论课件 2-1.3马尔科夫信源

1：0.75
：
：
1 0.5 0 0.25
0：0.5
12
• 例3 设有一个二元二阶马尔科夫信源，其信源符号集X={0,1}，信源输出符号的条件概率为
P(0|00)=p(1|11)=0.8, p(1|00)=0.2
p(0|01)=p(0|10)=p(1|01)=p(1|10)=0.5 求状态转移概率矩阵，画出状态转移图
p(x2|x1)
x2
x1
0
1
0
0.3
0.4
1
0.7
0.6
再下一单位时间：输出随机变量X3与X2X1有依赖关系
p(x3|x1x2) x3
00
x1 x2 01 10
11
0 0.4 0.2 0.3 0.4
1 0.6 0.8 0.7 0.6
23
• 从第四单位时间开始，随机变量Xi只与前面二个单位时间的随机变量Xi-2Xi-1有依赖关系:
–齐次马尔可夫链可以用其
0/0.4
状态转移图(香农线图)表示
–每个圆圈代表一种状态
so
s1
–状态之间的有向线代表某 1/0.6
一状态向另一状态的转移
0/0.3
1/0.2
1/0.7
–有向线一侧的符号和数字
分别代表发出的符号和条
s2
件概率
0/0.8
11
• 例2 设一个二元一阶马尔科夫信源，信源符号集X={0,1}，信源输出符号的条件概率为
• 由 p(s3 ) 0.4 p(s3 ) 0.3 p(s5 )
Wj=p(sj) p(s4 ) 0.6 p(s3 ) 0.7 p(s5 ) p(s5 ) 0.2 p(s4 ) 0.4 p(s6 )

信息论基础课件2[1][1].1.1- 2

r i 1
a2
…
ar p(ar)
p(a2) …
0 p(a i ) 1i 1,2, r
p(a i ) 1
信息论与编码-信源熵
需要注意的是，大写字母X,Y,Z代表随机变量，指的是信源整体，带下标的小写字母代表随机事件的某一结果或信源的某个元素。两者不可混淆。
信息论与编码-信源熵
(4) 如p(xi)=1，则I(xi) =0 ;(必然事件不含有任何不确定性，所以不含有任何信息量）
(5) 自信息量也是一个随机变量，它没有确定的值。
信息论与编码-信源熵
例2、设有12枚同值硬币，其中有一枚为假币，且只知道假币
的重量与真币的重量不同，但不知究竟是轻是重。现采用天平比较两边轻重的方法来测量（因无法码）。问至少需要称多少次才能称出假币？解：用天平每称一次能获得一定的信息量，能消除部分的不确定性。测量若干次后，能消除全部不确定性，获得全部信息，也就能确定出假币。设“在12枚同值硬币中，某一枚为假币”该事件为a, p(a ) 1 / 12 则 p 又设“假币是重、或是轻”该事件为b，则(b) 1 / 2
(5)当X与Y相互独立时，
p( y j / xi ) p( y j ), p( xi / y j ) p( xi ), p( xi y j ) p( xi ) p( y j )
( 6) p( x i / y j ) p( x i y j )
p( x i y j )
i 1
n
p( y j / xi )
i 1 n j 1 i 1 j 1 i 1
n
m
n
m
n
p( xi y j ) p( y j ), p( xi y j ) p( xi )

信息论基础课件第2章离散信源

)
a1 0.8
a2 0.2
如果被告知摸出的是红球，那么获得的信息量是：
I (a1) ＝－log p(a1) ＝－log0.8= 0.32 （比特）如被告知摸出来的是白球，所获得的信息量应为：
I (a2) ＝－log p(a2) ＝－log0.2 = 2.32 （比特）平均摸取一次所能获得的信息量为：
q
H (Y | X ai ) P(bj | ai ) log P(bj | ai ) j 1
当信源X发生的条件下，信源Y的不确定性，即条件熵为：
q
qq
H (Y | X ) P(ai )H (Y | X ai )
P(ai )P(bj | ai ) log P(bj | ai )
i 1
X P(x)
a1 p(a1)
a2 p(a2
)
... ...
aq p(aq
)
并且满足
q
p(ai ) 1
i1
其中样本空间为
， a1, a2 ,..., aq
qI
，I为正整数集；
符号ai出现的概率为p(ai)。信源的概率空间是一个完
备集。
连续信源：
信源输出的是单个符号或代码的消息，但信源符号集的取值是连续的，可以用一维连续型随机变量来描述。相应的信源的数学模型就是连续型随机变量的概率空间，表示为：
H(X ) Hr(X) = log r
信源的信息熵H是从整个信源的统计特性来考虑的，是从平均意义上来表征信源的总体信息测度，是信源的平均不确定程度的大小。
例：熵的计算
有一布袋内放100个球，其中80个球是红色的， 20个球是白色的。随机摸出一个球，猜测是什么颜色，那么其概率空间为：

信息论与编码_曹雪虹_PPT第二章

信源描述与分类离散信源的信息熵和互信息离散序列信源的熵连续信源的熵与互信息冗余度
引言
有效性和可靠性是通信系统中研究的中心问题，信息论是在信息可度量基础上，研究有效地和可靠地传递信息的科学。因此，概率论、随机过程是信息论研究的基础和工具。
信源的数学模型正如绪论中所述，在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的，所以可用随机变量或随机矢量来描述信源输出的消息。或者说，用概率空间来描述信源。离散信源的数学模型就是离散型的概率空间：
信息量与不确定性：信息是事物运动状态或存在方式的不确定性的描述。那么 , 根据香农信息的定义，信息该如何度量呢？当人们收到一封E_Mail，或看了电视，到底得到多少信息量呢？显然，信息量与不确定性消除的程度有关。消除多少不确定性，就获得多少信息量。那么，不确定性的大小能度量吗？用数学的语言来讲，不确定性就是随机性，具有不确定性的事件就是随机事件。因此，可以应用研究随机事件的数学工具 —— 概率论来度量不确定性的大小。简单地说，不确定性的大小可以直观地看成是猜测某随机事件是否发生的难易程度。
连续参数马尔可夫链
马尔可夫过程
有限维概率分布(簇) 转移概率
绝对概率
极限分布
平稳分布
状态空间的性质
补1 马尔可夫过程的概念
补1.1 有关定义
随机过程马尔可夫性：（物理描述）
当随机过程在时刻 ti 所处的状态为已知的条件下，过程在时刻 t(>ti)所处的状态，与过程在ti时刻以前的状态无关，而仅与在ti时刻的状态有关。这种已知“现在”状态的条件下，“将来”状态与“过去”状态无关的性质，称为马尔可夫性或无后效性。具有马尔可夫性或无后效性的随机过程，即是马尔可夫过程。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

2018/12/3
6
[2.7的解答] (a)是求事件“来自本市”与随机变量“是否被录取”的半平均互信息量。 (b)是求事件“学过英语” 与随机变量“是否被录取”的半平均互信息量。
以x表示是否被录取（0表示被录取，1表示未被录取），y表示是否为本市学生（0表示本市学生，1表示非本市学生），z表示是否学过英语（0表示学过英语，1表示未学过英语），则 P(xyz=000)=(1/4)×(50%)×1=12.5%； P(xyz=001)=(1/4)×(50%)×0=0； P(xyz=010)=(1/4)×(50%)×(40%)=5%； P(xyz=011)=(1/4)×(50%)×(60%)=7.5%； P(xyz=100)=(3/4)×(10%)×1=7.5%； P(xyz=101)=(3/4)×(10%)×0=0； P(xyz=110)=(3/4)×(90%)×(40%)=27%； P(xyz=111)=(3/4)×(90%)×(60%)=40.5%。
2018/12/3 2
习题课
2.6 园丁植树一行，若有3棵白杨、4棵白桦和5棵梧桐。设这12 棵树可随机地排列，且每一种排列都是等可能的。若告诉你没有两棵梧桐树相邻时，你得到了多少关于树的排列的信息? [2.6的解答] 共有12！种不同的排列。满足“没有两棵梧桐树相邻”的排列个数为 8×1+7×2+6×3+5×4+4×5+3×6+2×7+1×8=120（为什么？）记X=“树的排列情况”， Y=“梧桐树有无相邻位置”。则本题要求半平均互信息量
I ( x ; z 0 ) P ( xz 00 ) P ( xz 00 ) P ( xz 10 ) P ( xz 10 ) log log P ( z 0 ) P ( x 0 ) P ( z 0 ) P ( z 0 ) P ( x 1 ) P ( z 0 ) 35 35 69 23 log log 0 . 143 104 26 104 26
习题课
P ( X x | Y 无) I (Y 无; X ) P ( X x | Y 无 ) log P( X x) x P ( X x | Y 无) P ( X x | Y 无 ) log P ( X x) x跑遍那些使得“ Y 无”的排列 1 (1 / 120 ) log (1 / 12!) x跑遍那些使得“ Y 无”的排列 120 1 (1 / 120 ) log 1 120 (1 / 12!) x跑遍那些使得“ Y 无”的排列 120 (1 / 120 ) log 120 (1 / 12!) 2018/12/3 21 .92296 (bits )
2018/12/3
8
习题课
I ( x ; y 0 ) P ( xy 00 ) P ( xy 00 ) P ( xy 10 ) P ( xy 10 ) log log P ( y 0 ) P ( x 0 ) P ( y 0 ) P ( y 0 ) P ( x 1 ) P ( y 0 ) 5 log 5 1 0 . 4583 8
信息论第2章课后习题
习题课
2.4 经过充分洗牌后的一付扑克(含52张牌)，试问： (a) 任何一种特定排列所给出的信息量是多少? (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量? [2.4的解答] 这是求事件的自信息量。 (a) 任一特定排列的概率都是(1/52!)，所以自信息量为log2(52!)； 13 (b) 从52张牌中抽取13张牌，共有 C 52 种抽取方法。而使得所给出的点数都不相同的抽取方法有 413 种。 13 所以事件“点数都不相同”的概率为，自信息量为 413 / C 52 13 13 log ( C /4 ) 。 2 52
P ( X x | Y 无 ) I ( Y 无 ; X ) P ( X x | Y 无 ) log P ( X x ) x
2018/12/3 3
习题课
X有12！个不同的事件x，每个事件x的概率为1/(12！)。 Y有2个不同的事件，“Y=无”的概率为120/(12！)，“Y=有”的概率为(12！-120)/(12！)。以下要计算：在“Y=无”的条件下， X= x（ x为某个特定排列）的条件概率P(X=x|Y=无)。若在x这个特定排列中，梧桐树有相邻位置，则P(X=x|Y=无)=0；若在x这个特定排列中，梧桐树无相邻位置，则 1 1 12 ! P (X x| Y 无 ) 120 120 ! 12 2018/12/3 4
5ห้องสมุดไป่ตู้
习题课
2.7 某校入学考试中有1/4考生被录取，3/4考生未被录取。被录取的考生中有50%来自本市，而落榜考生中有10％来自本市。所有本市的考生都学过英语，而外地落榜考生中以及被录取的外地考生中都有40%学过英语。 (a) 当己知考生来自本市时，给出多少关于考生是否被录取的信息? (b) 当已知考生学过英语时，给出多少有关考生是否被录取的信息? (c) 以x表示是否被录取，y表示是否为本市学生，z表示是否学过英语，x、y和z取值为0或1。试求H(x)，H(y|x)，H(z|y)。
2018/12/3 7
各个边际分布
(xy)联合分布 P(xy=00)=12.5%； P(xy=01)=12.5%； P(xy=10)=7.5%； P(xy=11)=67.5%。 x概率分布 P(x=0)=25%； P(x=1)=75%。 (xz)联合分布 P(xz=00)=17.5%； P(xz=01)=7.5%； P(xz=10)=34.5%； P(xz=11)=40.5%。 y概率分布 P(y=0)=20%； P(y=1)=80%。 (yz)联合分布 P(yz=00)=20%； P(yz=01)=0； P(yz=10)=32%； P(yz=11)=48%。 z概率分布 P(z=0)=52%； P(z=1)=48%。