下载文档原格式
第二章 信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。
2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。
2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：k k k xi q xi q X H ilog 1log 1)(log )()(=-=-=∑2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。
答：)|;();();(Y Z X I Y X I YZ X I +=2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告)()|(log );(xi q yj xi Q y x I =知的是xi 出现的可能性更小了。
从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。
2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。
答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201======s x p s x p s x p s x p s x p s x p 即：得：114)(113)(114)(210===s p s p s p 0.25（bit/符号）=+-+-+-=)]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 2.8一个马尔可夫信源，已知：试画出它的0)2|2(,1)2|1(,31)1|2(,32)1|1(====x x p x x p x x p x x p 香农线图，并求出信源熵。
第1章 概论1. 信号(适合信道传输的物理量）、信息（抽象的意识/知识，是系统传输、转换、处理的对象）和消息(信息的载体)定义；相互关系：(1信号携带消息，是消息的运载工具(2信号携带信息但不是信息本身(3同一信息可用不同的信号来表示(4同一信号也可表示不同的信息。
2. 通信的系统模型及目的:提高信息系统可靠性、有效性和安全性，以达到系统最优化.第2章 信源及信息量1. 单符号离散信源数学模型2. 自信息量定义：一随机事件发生某一结果时带来的信息量I(xi)=- log2P(xi)、单位：bit 、物理意义：确定事件信息量为0；0概率事件发生信息量巨大、性质：I(xi)非负；P(xi)=1时I(xi)=0；P(xi)=0时I(xi)无穷；I(xi)单调递减；I(xi)是随机变量。
3. 联合自信息量：I(xiyi)=- log2P(xiyj) 物理意义：两独立事件同时发生的信息量=各自发生的信息量的和、条件自信息量：I(xi/yi)=- log2P(xi/yj)；物理意义：特定条件下(yj 已定)随机事件xi 所带来的信息量。
三者关系：I(xi/yi)= I(xi)+ I(yi/xi)= I(yi)+ I(xi/yi)4. 熵：定义(信源中离散消息自信息量的数学期望)、单位(比特/符号)、物理意义(输出消息后每个离散消息提供的平均信息量；输出消息前信源的平均不确定度；变量的随机性)、计算:(H(X)=-∑P(xi)log2 P(xi)) 1)连续熵和离散的区别：离散熵是非负的2)离散信源当且仅当各消息P 相等时信息熵最大H (X )=log 2 n 。
3)连续信源的最大熵:定义域内的极值.5.条件熵H(Y/X) = -∑∑P(xiyj) log2P(yj/xi)，H (X /Y )= -∑∑P(xiyj) log2P(xi/yj) 、物理意义：信道疑义度H(X/Y)：信宿收到Y 后，信源X 仍存在的不确定度，有噪信道传输引起信息量的损失，也称损失熵。
2-1、一阶马尔可夫链信源有3个符号，转移概率为：，，，，，，，，。
画出状态图并求出各符号稳态概率。
解：由题可得状态概率矩阵为：状态转换图为：令各状态的稳态分布概率为，，，那么：， , =且： 1 稳态分布概率为：=，=，=2-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：P(0|00)=0.8(0|11)=0.2(1|00)=0.2(1|11)=0.8(0|01)=0.5(0|1 0)=0.5(1|01)=0.5(1|10)=0.5画出状态图，并计算各符号稳态概率。
解：状态转移概率矩阵为：令各状态的稳态分布概率为、、、，利用〔2-1-17〕可得方程组。
且；解方程组得：即：2-3、同时掷两个正常的骰子，也就是各面呈现的概率都是，求：〔1〕、“3和5同时出现〞事件的自信息量；〔2〕、“两个1同时出现〞事件的自信息量；〔3〕、两个点数的各种组合的熵或平均信息量；〔4〕、两个点数之和的熵；〔5〕、两个点数中至少有一个是1的自信息量。
解：〔1〕3和5同时出现的概率为：〔2〕两个1同时出现的概率为：〔3〕两个点数的各种组合〔无序对〕为：(1,1),(1,2),(1,3),(1,4),(1,5),(1,6)(2,2),(2,3),(2,4),(2,5),(2,6)(3,3), (3,4),(3,5),(3,6)(4,4),(4,5),(4,6)(5,5),(5,6)(6,6)其中，(1,1), (2,2), (3,3), (4,4), (5,5), (6,6)的概率为1/36，其余的概率均为1/18所以，事件〔4〕两个点数之和概率分布为：信息为熵为：〔5〕两个点数之中至少有一个是1的概率为：2-4.设在一只布袋中装有100个用手触摸感觉完全一样的木球，每个球上涂有一种颜色。
100个球的颜色有以下三种情况：〔1〕红色球和白色球各50个；〔2〕红色球99个，白色球1个；〔3〕红、黄、蓝、白色球各25个。
《信息论和编码技术》复习提纲复习题《信息论与编码技术》复习提纲复习题纲第0章绪论题纲：I.什么是信息？II.什么是信息论？III.什么是信息的通信模型？IV.什么是信息的测度？V.自信息量的定义、含义、性质需掌握的问题：1.信息的定义是什么？（广义信息、狭义信息——Shannon信息、概率信息）2.Shannon信息论中信息的三要素是什么？3.通信系统模型图是什么？每一部分的作用的是什么？4.什么是信息测度？5.什么是样本空间、概率空间、先验概率、自信息、后验概率、互信息？6.自信息的大小如何计算？单位是什么？含义是什么（是对什么量的度量）？第1章信息论基础㈠《离散信源》题纲：I.信源的定义、分类II.离散信源的数学模型III.熵的定义、含义、性质，联合熵、条件熵IV.离散无记忆信源的特性、熵V.离散有记忆信源的熵、平均符号熵、极限熵VI.马尔科夫信源的定义、状态转移图VII.信源的相对信息率和冗余度需掌握的问题：1.信源的定义、分类是什么？2.离散信源的数学模型是什么？3.信息熵的表达式是什么？信息熵的单位是什么？信息熵的含义是什么？信息熵的性质是什么？4.单符号离散信源最大熵是多少？信源概率如何分布时能达到？5.信源的码率和信息率是什么，如何计算？6.什么是离散无记忆信源？什么是离散有记忆信源？7.离散无记忆信源的数学模型如何描述？信息熵、平均符号熵如何计算？8.离散有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵（N阶熵）的计算、关系和性质是什么？9.什么是马尔科夫信源？马尔科夫信源的数学模型是什么？马尔科夫信源满足的2个条件是什么？10.马尔科夫信源的状态、状态转移是什么？如何绘制马尔科夫信源状态转移图？11.马尔科夫信源的稳态概率、稳态符号概率、稳态信息熵如何计算？12.信源的相对信息率和冗余度是什么？如何计算？㈡《离散信道》题纲：I.信道的数学模型及分类II.典型离散信道的数学模型III.先验熵和后验熵IV.互信息的定义、性质V.平均互信息的定义、含义、性质、维拉图VI.信道容量的定义VII.特殊离散信道的信道容量需掌握的问题：1.信道的定义是什么？信道如何分类？信道的数学模型是2.二元对称信道和二元删除信道的信道传输概率矩阵是什么？3.对称信道的信道传输概率矩阵有什么特点？4.根据信道的转移特性图，写出信道传输概率矩阵。
1第1章 概论1. 信号(适合信道传输的物理量）、信息（抽象的意识/知识，是系统传输、转换、处理的对象）和消息(信息的载体)定义；相互关系：(1信号携带消息，是消息的运载工具(2信号携带信息但不是信息本身(3同一信息可用不同的信号来表示(4同一信号也可表示不同的信息。
2. 通信的系统模型及目的:提高信息系统可靠性、有效性和安全性，以达到系统最优化.第2章 信源及信息量1. 单符号离散信源数学模型2. 自信息量定义：一随机事件发生某一结果时带来的信息量I(xi)=-log2P(xi)、单位：bit 、物理意义：确定事件信息量为0；0概率事件发生信息量巨大、性质：I(xi)非负；P(xi)=1时I(xi)=0；P(xi)=0时I(xi)无穷；I(xi)单调递减；I(xi)是随机变量。
3. 联合自信息量：I(xiyi)=- log2P(xiyj) 物理意义：两独立事件同时发生的信息量=各自发生的信息量的和、条件自信息量：I(xi/yi)=- log2P(xi/yj)；物理意义：特定条件下(yj 已定)随机事件xi 所带来的信息量。
三者关系：I(xi/yi)= I(xi)+ I(yi/xi)= I(yi)+ I(xi/yi)4. 熵：定义(信源中离散消息自信息量的数学期望)、单位(比特/符号)、物理意义(输出消息后每个离散消息提供的平均信息量；输出消息前信源的平均不确定度；变量的随机性)、计算:(H(X)=-∑P(xi)log2 P(xi)) 1)连续熵和离散的区别：离散熵是非负的2)离散信源当且仅当各消息P相等时信息熵最大H (X )=log 2 n 。
3)连续信源的最大熵:定义域内的极值. 5.条件熵H(Y/X) = -∑∑P(xiyj) log2P(yj/xi)，H (X /Y )= -∑∑P(xiyj) log2P(xi/yj) 、物理意义：信道疑义度H(X/Y)：信宿收到Y 后，信源X 仍存在的不确定度，有噪信道传输引起信息量的损失，也称损失熵。
2-1、一阶马尔可夫链信源有3个符号，转移概率为：，，，，，，，，。
画出状态图并求出各符号稳态概率。
解：由题可得状态概率矩阵为：状态转换图为：令各状态的稳态分布概率为，，，则：， , =且： 1稳态分布概率为：=，=，=2-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：P(0|00)=0.8(0|11)=0.2(1|00)=0.2(1|11)=0.8(0|01)=0.5(0|1 0)=0.5(1|01)=0.5(1|10)=0.5画出状态图，并计算各符号稳态概率。
解：状态转移概率矩阵为：令各状态的稳态分布概率为、、、，利用（2-1-17）可得方程组。
且；解方程组得：即：2-3、同时掷两个正常的骰子，也就是各面呈现的概率都是，求：（1）、“3和5同时出现”事件的自信息量；（2）、“两个1同时出现”事件的自信息量；（3）、两个点数的各种组合的熵或平均信息量；（4）、两个点数之和的熵；（5）、两个点数中至少有一个是1的自信息量。
解：（1）3和5同时出现的概率为：（2）两个1同时出现的概率为：（3）两个点数的各种组合（无序对）为：(1,1),(1,2),(1,3),(1,4),(1,5),(1,6)(2,2),(2,3),(2,4),(2,5),(2,6)(3,3), (3,4),(3,5),(3,6)(4,4),(4,5),(4,6)(5,5),(5,6)(6,6)其中，(1,1), (2,2), (3,3), (4,4), (5,5), (6,6)的概率为1/36，其余的概率均为1/18所以，事件（4）两个点数之和概率分布为：信息为熵为：（5）两个点数之中至少有一个是1的概率为：2-4.设在一只布袋中装有100个用手触摸感觉完全相同的木球，每个球上涂有一种颜色。
100个球的颜色有下列三种情况：（1）红色球和白色球各50个；（2）红色球99个，白色球1个；（3）红、黄、蓝、白色球各25个。
分别求出从布袋中随意取出一个球时，猜测其颜色所需要的信息量。
解：（1）设取出的红色球为，白色球为；有，则有：=1事件(2) ,;则有：=0.081（事件）(3)设取出红、黄、蓝、白球各为、、、，有则有：/事件2-5、居住某地区的女孩中有25%是大学生，在女大学生中有75%身高为1.6M以上，而女孩中身高1.6M以上的占总数一半。
假如得知“身高1.6M以上的某女孩是大学生”的消息，问获得多少信息量？解：设女孩是大学生为事件A，女孩中身高1.6m以上为事件B，则p(A)=1/4, p (B)=1/2，p ()=3/4，则P()I（）＝（1()）=1.422-6.掷两颗，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？解：（1）小圆点数之和为3时有（1,2）和（2,1），而总的组合数为36，即概率为，则（2）小园点数之和为7的情况有（1,6），（6,1）（2,5）（5,2）（3,4）（4,3），则概率为，则有2-7、设有一离散无记忆信源，其概率空间为（1）、求每个符号的自信息量；（2）、信源发出一消息符号序列为，求该消息序列的自信息量及平均每个符号携带的信息量。
解：（1）的自信息量为：的自信息量为：的自信息量为：的自信息量为：（2）在该消息符号序列中，出现14次，出现13次，出现12，出现6次，所以，该消息序列的自信息量为：I（）=14 I（）+13 I（）+12 I（）+6 I（）平均每个符号携带的信息量为：2-8．试问四进制、八进制脉冲所含的信息量是二进制脉冲的多少倍？解;设二进制、四进制、八进制脉冲的信息量为所以，四进制、八进制脉冲信息量分别是二进制脉冲信息量的2倍、3倍。
2-10 在一个袋中放5个黑球、10个白球，以摸一个球为实验，摸出的球不再放进去。
求：（1）一次实验中包含的不确定度；（2）第一次实验X摸出是黑球，第二次实验Y给出的不确定度；（3）第一次实验X摸出是白球，第二次实验Y给出的不确定度；（4）第二次实验包含的不确定度。
解：（1）一次实验的结果可能摸到的是黑球或白球，它们的概率分别是，。
所以一次实验的不确定度为(2)当第一次实验摸出是黑球，则第二次实验Y的结果可能是摸到黑球或白球，它们的概率分别是、。
所以该事件的不确定度为/符号(3)当第一次实验摸出是白球，则第二次实验Y的结果可能是摸到黑球或白球，它们的概率分别是、。
所以该事件的不确定度为/符号（4）二次实验B出现结果的概率分布是p()(黑，黑)= ，p()(黑，白)= ，p()(白，黑)= ，p()(白，白)=所以二次实验的不确定度为H(B)= =0.91符号2-11有一个可旋转的圆盘，盘面上被均匀地分成38份，用1，2，、、、，38数字标示，其中有2份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。
（1）若仅对颜色感兴趣，则计算平均不确定度；（2）若对颜色和数字都感兴趣，则计算平均不确定度；（3）如果颜色已知时，则计算条件熵。
解：令X表示指针指向某一数字，则{1,2, (38)Y表示指针指向某一种颜色，则{绿色，红色，黑色}Y是X的函数，由题意可知（1）仅对颜色感兴趣，则H(c)=——2 =0.2236+1.0213 =1.245(2)对颜色和数字都感兴趣，则H()(n)=38(-) =5.249(3)如果颜色已知时，则H（）()(h)=5.249-1.245=4.0042-12、两个实验X和Y，，，联合概率为（1）如果有人告诉你X和Y的结果，你得到的平均信息量是多少？（2）如果有人告诉你Y的结果，你得到的平均信息量是多少？（3）在已知Y的实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？解：（1）、（2）、（3）、2-13有两个二元随机变量X和Y，它们的联合概率如右图所示。
并定义另一随机变量（一般乘积）。
试计算：（1），，，，，（2），，，，，，，，（3），，，，，解：（1）1）同理：(000)=1/8, (010)=3/8, (100)=3/8, P(111)=1/8 (110)(001)(101)(011)=0（2）由于所以：；则，**（3）由于则同理有：2.16 黑白传真机的消息元只有黑色和白色两种，即{黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。
（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图（2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。
（3）比较两种信源熵的大小，并说明原因。
解：（1）符号P(黑|白)(黑)P(白|白)＝P(白)P(黑|黑)＝P(黑) P(白|黑)＝P(白)（2）根据题意，此一阶马尔可夫链是平稳的（P(白)＝0.7不随时间变化，P(黑)＝0.3不随时间变化）＝0.512符号2.20 给定语音信号样值X的概率密度为,,求(X)，并证明它小于同样方差的正态变量的连续熵。
解：2-23 连续随机变量X和Y的联合概率密度为求,,,解：随机变量X的概率密度分布为，呈标准正态分布。
其中数学期望为0，方差为S；随机变量Y的概率密度分布为，也呈标准正态分布。
其中数学期望为0，方差为（）。
2-25 某一无记忆信源的符号集为{0，1}，已知（1）求符号的平均熵。
（2）由100 个构成的序列，求某一特定序列（例如有m个0和100个1）的自由信息量的表达式。
（3）计算（2）中的序列的熵。
解：（1）（2）（3）2-26 一个信源发出二重符号序列消息（，），其中第一个符号可以是A，B，C中的任一个，第二个符号可以是D，E，F，G中的任一个。
已知各个为,,；各个值列成如下。
求这个信源的熵（联合熵）.解：2.29有一个一阶平稳马尔可夫链,各取值于集合,已知起始概率P()为，转移概率如下图所示(1) 求的联合熵和平均符号熵(2) 求这个链的极限平均符号熵 (3)求和它们说对应的冗余度解：（1）符号X 1，X 2的联合概率分布为X 2的概率分布为 那么=1.209符号X 2X 3的联合概率分布为那么=1.26符号/符号所以平均符号熵／符号（2）设a 123稳定后的概率分布分别为W123,转移概率距阵为由 得到计算得到又满足不可约性和非周期性/符号(3)/符号/符号/符号图2-132.32 一阶马尔可夫信源的状态图如图2－13所示，信源X 的符号集为（0，1，2）。
（1）求信源平稳后的概率分布P(0)(1)(2) （2）求此信源的熵（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。
求近似信源的熵H(X)并与进行比较解:根据香农线图,列出转移概率距阵令状态0,1,2平稳后的概率分布分别为W123得到计算得到由齐次遍历可得符号由最大熵定理可知存在极大值或者也可以通过下面的方法得出存在极大值:又所以当2/3时0<p<2/3时2/3<p<1时所以当2/3时存在极大值,且符号.所以。
