第八章 连续信源和波形信道 - 2013

《信息论与编码技术》复习提纲复习题纲第0章绪论题纲：I.什么是信息？II.什么是信息论？III.什么是信息的通信模型？IV.什么是信息的测度？V.自信息量的定义、含义、性质需掌握的问题：1.信息的定义是什么？（广义信息、狭义信息——Shannon信息、概率信息）2.Shannon信息论中信息的三要素是什么？3.通信系统模型图是什么？每一部分的作用的是什么？4.什么是信息测度？5.什么是样本空间、概率空间、先验概率、自信息、后验概率、互信息？6.自信息的大小如何计算？单位是什么？含义是什么（是对什么量的度量）？第1章信息论基础㈠《离散信源》题纲：I.信源的定义、分类II.离散信源的数学模型III.熵的定义、含义、性质，联合熵、条件熵IV.离散无记忆信源的特性、熵V.离散有记忆信源的熵、平均符号熵、极限熵VI.马尔科夫信源的定义、状态转移图VII.信源的相对信息率和冗余度需掌握的问题：1.信源的定义、分类是什么？2.离散信源的数学模型是什么？3.信息熵的表达式是什么？信息熵的单位是什么？信息熵的含义是什么？信息熵的性质是什么？4.单符号离散信源最大熵是多少？信源概率如何分布时能达到？5.信源的码率和信息率是什么，如何计算？6.什么是离散无记忆信源？什么是离散有记忆信源？7.离散无记忆信源的数学模型如何描述？信息熵、平均符号熵如何计算？8.离散有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵（N阶熵）的计算、关系和性质是什么？9.什么是马尔科夫信源？马尔科夫信源的数学模型是什么？马尔科夫信源满足的2个条件是什么？10.马尔科夫信源的状态、状态转移是什么？如何绘制马尔科夫信源状态转移图？11.马尔科夫信源的稳态概率、稳态符号概率、稳态信息熵如何计算？12.信源的相对信息率和冗余度是什么？如何计算？㈡《离散信道》题纲：I.信道的数学模型及分类II.典型离散信道的数学模型III.先验熵和后验熵IV.互信息的定义、性质V.平均互信息的定义、含义、性质、维拉图VI.信道容量的定义VII.特殊离散信道的信道容量需掌握的问题：1.信道的定义是什么？信道如何分类？信道的数学模型是什么？2.二元对称信道和二元删除信道的信道传输概率矩阵是什么？3.对称信道的信道传输概率矩阵有什么特点？4.根据信道的转移特性图，写出信道传输概率矩阵。

《信息论与编码》教学大纲课程编码：1041812课程性质：专业课程适用专业：电子信息工程学分：2学分学时：36学时开设学期：第5学期一、教学目的本课程的教学目的是使学生掌握信息处理的理论基础和各种编码原理、手段与方法。

培养学生能够适应数字通信、信息处理、信息安全、计算机信息管理等编码工作的要求。

使学生掌握信息理论的基本概念和信息分析方法及主要结论，为今后从事信息领域的科研及工程工作的进一步研究打下坚实的理论基础。

二、教学重点与难点1．重点：信息以及失真的测度、信道及信道容量、无失真信源编码方法以及有噪信道编码方法。

2．难点： 典型序列以及由此推导出的香农三大编码定理及其逆定理。

三、教学方法建议讲授法：教师讲授信息论与编码的基本知识和研究现状。

讨论法：师生共同讨论信息论与编码中研究的问题。

探究法：师生共同探究信息论与编码中前沿问题。

四、教学内容第一章信息理论基础（4学时）教学要求：了解信息论研究对象、目的、发展简史与现状；了解通信系统的模型以及通信系统各部分的主要组成以及作用。

1．信息论的形成和发展2．通信系统的模型3．信息论研究的内容第二章离散信源及其测度（8学时）教学要求：了解信源的相关性和剩余度的概念，消息、信息、信号的概念，信息，信号，消息，数据的关系及其联系。

掌握信源的数学模型、离散无记忆信源、离散平稳信源和马尔可夫信源基本理论。

1．信源的数学模型及分类2．信息熵及其基本性质3．离散平稳信源4．马尔可夫信源5．信息剩余度第三章离散信道及其信道容量（8学时）教学要求：了解一般信道容量的计算方法。

掌握信道的数学模型，离散无记忆信道以及一些特殊信道容量的计算方法。

1．信道数学模型及分类2．平均互信息及特点3．信道容量及一般计算方法4．离散无记忆扩展信道及其容量第四章无失真信源编码（8学时）教学要求：了解其它一些无失真信源编码方法；理解渐近等分割性及ε典型序列，算术编码方法及具体实现方案；掌握编码的定义、码的分类、定长编码定理、变长编码定理、最佳编码方法、香农编码方法、费诺编码方法、哈夫曼编码方法。

第8章 连续信道和波形信道主要内容◆ 连续/波形信道的信息传输率 ◆ 连续/波形信道的信道容量 ◆ 连续信道编码定理8.1 连续/波形信道的分类(/)d 1Rp y x y =⎰1212(/)(/)n n p y x p y y y x x x =121212(/) d d d 1n n n R RRp y y y x x x y y y =⎰⎰⎰1(/)(/)Ni i i p y x p y x ==∏图8.1 单维连续信道图8.2 波形信道转化成多维连续信道第8章连续信道和波形信道241 8.1.1 按噪声统计特性分类22()()2x mp xσ⎛⎫-=-⎪⎝⎭1/21/21111()exp||()()(2π)||2||N Nij i i j ji jp x R x m x mR R==⎡⎤=---⎢⎥⎣⎦∑∑22/21112([])1()exp2(2π)()()()Ni iNN i iiiNx E Xp xp x p x p xσσ==⎡⎤-=-⎢⎥⎣⎦=⋅∑∏21122122Rσσσρσσρσ⎡⎤=⎢⎥⎣⎦2111222122211222212()1()2(1)()2()()x mp x xx m x m x mρσρσσσ⎧⎡-⎪=-⋅⎨⎢-⎪⎣⎩⎫⎤---⎪+-⎬⎥⎪⎦⎭2211221212221212()()1()exp()()2π22x m x mp x x p x p xσσσσ⎡⎤--=--=⋅⎢⎥⎣⎦)(2)(0+∞<<-∞=ωωNP n)(2)(2)(00τδτωNRNP nn=⇔=12π2π()F FKωω-⎧=⎨⎩≤≤其他02π2π()()()2n nNF FP P Kωωωω'⎧-⎪=⋅=⎨⎪⎩≤≤其他1sin(2π)()()e d2π2πjn nFR P N FFωτττωωτ∞''-∞==⎰FNRnEP nn022)0(][==='=''σ()0nRτ'=8.1.2 按噪声对信号的作用功能分类信息论基础及应用242()()XY Xn X n p xy p x n y x J X Y ⎛⎫==- ⎪⎝⎭，，，11101X nX n X XJ X n X Y Y Y∂∂-⎛⎫∂∂=== ⎪∂∂⎝⎭∂∂，， ()()()()XY Xn X n p xy p xn p x p n ==⋅/()(/)()XY Y X X p xy p y x p x =/()(/)()()Xn Y X n X p x n p y x p n p x ==，(/)()p y x p n =(/)()log (/)d d ()d (/)log (/)d Rh Y X p xy p y x x yp x x p y x p y x y+∞+∞-∞-∞=-=-⎰⎰⎰⎰d d d d x y x n =(/)()d ()log ()d ()log ()d ()h Y X p x x p n p n np n p n n h n +∞∞-∞-∞∞-∞=-=-=⎰⎰⎰(/)()(/)()p y x p n h Y X h n == 8.2 连续信道的信息传输率8.2.1 单维连续信道的平均互信息() d 1()()RX R p x x p x p x ⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦⎰ () d 1()()RY R p y y p y p y ⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦⎰图8.3 加性信道第8章 连续信道和波形信道24300()()(/)()log ()d lim log ()(/)log (/)d d lim log (/)()log d d ()(/)()n n n R ΔΔR RI X Y H X H X Y p x p x x Δp x p y x p y x x y p x y p xy x y h X h X Y p x ∆→→=-⎡⎤=-----⎢⎥⎣⎦==-⎰⎰⎰⎰⎰；(/)()logd d ()(/)()()()log d d ()()()()()RRp y x p xy x y h Y h Y X p y p xy p xy x y h X h Y h XY p x p y ==-==+-⎰⎰⎰⎰()R I X Y =； 比特/自由度8.2.2 多维连续信道的平均互信息1(/)(/)Ni i i p y x p y x ==∏(;)()(/)()(/)()()()I X Y h X h X Y h Y h Y X h X h Y h XY =-=-=+-(/)(;)()log d d ()(/)log d d ()()()log d d ()()xyxyxy p x y I X Y p x y xy p x p y x p x y xy p y p xy p x y xy p x p y ===⎰⎰⎰⎰⎰⎰(;)R I X Y =比特/N 个自由度1(;)R I X Y N=比特/自由度8.2.3 连续信道平均互信息的特性( )0I X Y ；≥()(/)()log ()d ()log (/)d d ()log ()d d ()log (/)d d ()()logd d (/)RRRRRh X h X Y p x p x x p xy p x y x yp xy p x x y p xy p x y x y p x p xy x yp x y -=-+=-+=-⎰⎰⎰⎰⎰⎰⎰⎰⎰()d d Rp xy y x =⎰信息论基础及应用244()()(/)log ()d d (/)log ()()d d log10R Rp x h X h X Y p xy x y p x y p x p y x y -===⎰⎰⎰⎰≥()(;)()logd d ()()()()logd d ()()()RRp xy I X Y p xy x yp x p y p yx p yx x y p x p y I Y X ===⎰⎰⎰⎰；()()I X Z I X Y ；≤；图8.4 两个串接连续信道(/)(Z)()logd d d ()Rp z xy I XY p xyz x y z p z =⎰⎰⎰； (/)()()logd d ()(/)()log d d d ()RRp z y I Y Z p yz y z p z p z y p xyz x y zp z ==⎰⎰⎰⎰⎰；() d ()Rp xyz x p yz =⎰(/)(/)(/)()()log log log ()()(/)p z y p z xy p z y I Y Z I XY Z E E E p z p z p z xy ⎡⎤⎡⎤⎡⎤-=-=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦；； (/)(Z)()log (/)(/)log ()d d d (/)log ()(/)d d d log ()d d (/)log10R RRRp z y I Y I XY Z E p z xy p z y p xyz x y zp z xy p xy p z y x y z p xy x y p z y dz⎡⎤-⎢⎥⎣⎦=====⎰⎰⎰⎰⎰⎰⎰⎰⎰；；≤(/)d 1(/)d 1()d d 1RRRp z xy z p y x y p xy x y ===⎰⎰⎰⎰(/)d 1Rp z y z =⎰()()I XY Z I Y Z ；≥； ()()I XY Z I X Z ；≥；第8章 连续信道和波形信道245(/)(/)p z xy p z y =（对所有x y z 、、）()()I XY Z I Y Z =；；()()I Y Z I X Z ；≥； ()()()()I ZY X I Y X I ZY X I Z X ；≥；；≥；(/)(/)p x yz p x y =（对所有x y z 、、）()()()I ZY X I Y X I Z X =；；≥；()()I X Z I X Y ；≤；图8.5 一般通信系统的信号变换()()||q sz p xy J =,||,xy x y ss J J xy s z zz∂∂⎛⎫∂∂== ⎪∂∂⎝⎭∂∂00xy zs ∂∂==∂∂ ||x yJ s z∂∂=∂∂ ()()d ()d ()x y q s q sz z p xy z p x s z ∞∞-∞-∞∂∂===∂∂⎰⎰·d d xs()()q z p y =·d d y z()d (/)(/)()d q sz yq z s p y x q s z== ()()1()()log d d ()||log d d ()()||()()()()log d d ()()()R R Rx yp xy q sz s z I S Z q sz s z p xy J x yx y q s q z J p x p y s zp xy p xy x y I X Y p x p y ∂∂∂∂==∂∂∂∂==⎰⎰⎰⎰⎰⎰；；信息论基础及应用2461( )( )N i i i I X Y I X Y =∑；≥；1( )( )N i i i I X Y I X Y =∑ ；≤；1( )()N i i i I X Y I X Y ==∑ ；；8.3 连续信道的信道容量[]()()max ()max ()(/)p x p x C I X Y h Y h Y X ==-； 比特/自由度()()max ( )max ()(/)p x p x C I X Y h Y h Y X ⎡⎤==-⎣⎦； 比特/N 个自由度 ()max ()()p x C h Y h n ⎡⎤=-⎣⎦ 比特/N 个自由度 8.3.1 单维高斯加性信道22()()2x m p x σ⎛⎫-=- ⎪⎝⎭(22222()()log ()d ()()log d 2()()d ()d log e 21log e21log 2πe 2h n p x p x xx m p x x x m p x x p x x σσσ∞-∞∞-∞∞∞-∞-∞=-⎡⎤⎛⎫-=--⎥ ⎪⎝⎭⎦⎡⎤-=--+⋅⎢⎥⎣⎦==⎰⎰⎰⎰()max ()p x C h Y ⎡=-⎣0221log 21log 121log 12s s n P C P P P σσ=⎛⎫=+ ⎪⎝⎭⎛⎫=+ ⎪⎝⎭第8章 连续信道和波形信道2478.3.2 单维非高斯加性信道()()(I X Y h Y h n =-；）1()log2πe()2s n h Y P P +≤1()log2πe 2n h n P =11( )log2πe()log2πe 22s n n I X Y P P P +-；≤1log 2sn n P P C P +⎛⎫ ⎪⎝⎭≤ 22222X n Y X nσσσσσ++≤≤ 21()log 2πe()2s n h Y P σ+≥2211()log2πe()log2πe 22s n nC I X Y P σσ+-≥；≥ 211log 1log 122s s n n P P C P σ⎛⎫⎛⎫+=+ ⎪ ⎪⎝⎭⎝⎭≥11log log 22s n s n n n P P P P C P P ⎛⎫⎛⎫++ ⎪ ⎪⎝⎭⎝⎭≤≤ 11log log 22s n s n n n P P P P C P P ⎛⎫⎛⎫++ ⎪ ⎪⎝⎭⎝⎭≤≤ 8.3.3 多维无记忆高斯加性连续信道图8.6 多维无记忆加性信道等价于N 个独立并联加性信道信息论基础及应用2481(/)(/)Ni i i p y x p y x ==∏11()(/)(/)()N Ni i i i i p n p y x p y x p n =====∏∏111()()log 12i i N Ns i i i i n P I X Y I X Y P ==⎛⎫+⎪ ⎪⎝⎭∑∑ ；≤；≤ ()11max ()log 12i i N s p x i n P C I X Y P =⎛⎫==+ ⎪ ⎪⎝⎭∑ ； 比特/N 个自由度 log 12s n P NC P ⎛⎫=+ ⎪⎝⎭比特/N 个自由度21N i i E X P =⎡⎤=⎢⎥⎣⎦∑ 121211( )()log 12i i Ns N Ni n P I X Y I X X X YY Y P =⎛⎫=+ ⎪ ⎪⎝⎭∑ ；；≤ 1()max ( )Ns i i p x P PC I X Y ===∑：； 12111(,,,)log 12iN i i N N s s s s s i i nP F P P P P P λ==⎛⎫=++ ⎪ ⎪⎝⎭∑∑ 12(,,,)0N is s s s F P P P P ∂=∂ (1,2,)i N = 1102i is n P P λ+=+ (1,2,)i N = 12i i s n P P v λ+=-=（常数） (1,2,)i N = i i s n P v P =-i i s n P v P +=-（）0()00x x x x +⎧=⎨<⎩≥1()iNn i v PP +=-=∑1()1log 12i i Nn i n v P C P +=⎛⎫-=+ ⎪ ⎪⎝⎭∑1()iNn i v P P +=-=∑第8章 连续信道和波形信道249123450.1, 0.2, 0.3, 0.4, 0.5n n n n n P P P P P ===== 6789100.6, 0.7, 0.8, 0.9, 1.0n n n n n P P P P P =====P Pv Ni n i=-∑=+1)([]1011110.10.2 1.00.651010i n i v P P =⎡⎤=+=++++=⎢⎥⎣⎦∑789100, 0, 0, 0s s s s P P P P ====[]611110.10.20.60.51766i n i v P P =⎡⎤=+=++++=⎢⎥⎣⎦∑[]511110.10.20.30.40.50.555i n i v P P =⎡⎤=+=+++++=⎢⎥⎣⎦∑[]411110.10.20.30.40.544i n i v P P =⎡⎤=+=++++=⎢⎥⎣⎦∑112233440.50.10.4(W)0.50.20.3(W)0.50.30.2(W)0.50.40.1(W)s n s n s n s n P v P P v P P v P P v P =-=-==-=-==-=-==-=-=()12344141log 121log 20.51log 20.10.20.30.42.35 /10i i s i n n n n n P C P v v v v P P P P =⎛⎫=+ ⎪⎪⎝⎭=⋅⋅⋅=⨯⨯⨯=∑比特个自由度1012is i P==∑（W ）[]75.00.19.02.01.02101=++++=v []120.10.20.30.70.6867v =+++++= []120.10.20.30.60.6846v =+++++=1234560.584, 0.484, 0.384, 0.284, 0.184, 0.084s s s s s s P P P P P P ======12345661661log 121()log 21(0.684)log 20.10.20.30.50.6 3.58 /10i i s i n n n n n n n P C P v P P P P P P =⎛⎫=+ ⎪⎪⎝⎭=⋅⋅⋅⋅⋅=⨯⨯⨯⨯⨯=∑ 比特个自由度8.3.4 多维有记忆高斯加性连续信道211Nii E XP N=⎡⎤⎣⎦∑≤1()X tr R P N≤ 12121212()()()()N N N N I X Y I X X X YY Y h YY Y h n n n ==- ；；121()()log(2πe)2N NX n h Y h YY Y R R ==+ 1()X tr R P N≤ T n R Q Q =Λ 其中I QQ T =||||||||||||||T X n X T T X TX R R R Q Q Q Q R Q Q Q R Q A ΛΛΛΛ+=+=+=+=+()()tr BC tr CB =()()()()T T X X X tr A tr Q R Q tr QQ R tr R ===121()()NN i i h X X X h X =∑ ≤111211log(2πe)log(2πe)22N N NN R μμμ ||≤ ()ii iR μ∏||≤()ii i iA A Λλ++∏||≤11Niii AP N=∑≤ii i A v λ+= +-=)(i ii v A λ11Niii AP N=∑≤[]1212()1max ()()11log(2πe)()log(2πe)22()1log 12N N p x N N ii i i i i Ni i i C h YY Y h n n n A v λλλλ+==-=+-⎛⎫-=+ ⎪⎝⎭∏∏∑ 1()1log 12Ni N i i v C N λλ+=⎛⎫-=+ ⎪⎝⎭∑8.4 波形信道的信息传输率和信道容量8.4.1 波形信道的信息传输率(()())lim ()lim[()(/)]lim[()(/)]lim[()()()]N N N N I x t y t I X Y h X h X Y h Y h Y X h X h Y h XY →∞→∞→∞→∞==-=-=+-；； (()())(())(()/())(())(()/())(())(())(()())I x t y t h x t h x t y t h y t h y t x t h x t h y t h x t y t =-=-=+-；1lim ()t T R I X Y T →∞=； 比特/秒()()11max lim ( )max lim ()(/)t T T p x p x C I X Y h Y h Y X T T →∞→∞⎡⎤⎧⎫⎡⎤==-⎨⎬⎢⎥⎣⎦⎣⎦⎩⎭ ； 比特/秒 {}()()11max lim ()()lim max ()()t T T p x p x C h Y h n h Y h n T T →∞→∞⎧⎫⎡⎤⎡⎤=-=-⎨⎬⎣⎦⎣⎦⎩⎭比特/秒图8.7 波形信道8.4.2 高斯白噪声加性波形信道{()}{()}{()}y t x t n t =+Y X n =+图8.8 时间连续信道变换成离散平稳随机序列信道221211()()()/2i N Nn N i i i p n p n n n p n σ-=====∏11(/)()()(/)N Ni i i i i p y x p n p n p y x =====∏∏11log 12i i Ns i n P C P =⎛⎫=+ ⎪ ⎪⎝⎭∑000log 1222log 12log 1/s s s P N N C W P NN W P WT N W ⎛⎫=+ ⎪⎝⎭⎛⎫=+ ⎪⎝⎭⎛⎫=+ ⎪⎝⎭ 比特秒⎪⎪⎭⎫⎝⎛+==∞→W N P W T C C s T t 01log lim 比特/秒⎪⎪⎭⎫⎝⎛+=∞→∞→W N P W C sW t W 01log lim lim 令0sP x N W=，可得 100000lim limlog 1lim log(1)x s s s t W W x s P WN P PC x N P N W N →∞→∞→⎛⎫=+=+ ⎪⎝⎭由于当0x →时，1ln(1)1x x +→，所以004427.12ln lim N PN P C s s t x ==→ 比特/秒()0log 13300log 110022000s t P C W N W ⎛⎫=+=+= ⎪⎝⎭ 比特/秒6830 2.2510log16 2.710R =⨯⨯⨯=⨯ 比特/秒1010log 30dB S N PP =310SNP P = 38log(110) 2.710t C W =+=⨯72.710W ≈⨯Hz8.4.3 有色高斯加性波形信道211Nii E XP N=⎡⎤⎣⎦∑≤。

第1讲2、信息论创始人是谁？香农。

3、信息和消息、信号有什么联系与区别？从信息理论角度上看，信号是消息的载体，信息含藏在消息之中，有信号有消息不一定有信息。

4、通信系统的主要性能指标是什么？ 有效性、可靠性和安全性。

5、举例说明信息论有哪些应用？为信息传送和处理系统提供数学模型和评估方法，在通信和信息处理领域是一门基础理论，在其它领域如语言学、生物学、医学、神经网络、经济学方面的应用也很成功。

具体应用实例有：语音、图像和数据信息的压缩，通信信道有效性和可靠性的提高，或信道传输功率指标要求的降低，通信或计算机系统可靠性和安全性的提高，信息处理领域的信号重建和模式识别等。

2.4 （求车牌自信息量）某车牌号的概率是(1/26)3×(1/10)3，24bit/牌，后一种概率为(1/36)6，31bit/牌， 第2讲设二元对称信道的传递矩阵(条件概率矩阵)为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132若P(0) = 3/4, P(1) = 1/4，求H(X), H(Y), H(X/Y), H(Y/X)和I(X;Y)；先求P(Y)=∑X P(XY)和P(XY)=P(X)P(Y|X)，再得各种熵和互信息。

H(X)=H(3/4,1/4), H(Y)=H(7/12,5/12);H(XY)=H(1/2,1/4,1/12,1/6); H(X/Y)=H(XY)-H(Y)H(Y/X)=H(XY)-H(X)；或H(Y/X)=∑P(X=a)H(Y/a)=H(3/4,1/4) I(X;Y)=H(X)-H(X/Y)=H(X)+H(Y)-H(XY)； 2.2（求条件信息量）1.6米以上女孩是条件，某个1.6米以上的女大学生是概率事件，得条件概率为：P=0.25×0.75/0.5=0.375=3/8，信息量为I= -log0.375=1.42比特。

2.52.10(1)(2)（由联合概率分布求熵、联合熵和条件熵）（1）思路：先求出X 、Y 、Z 、XZ 、YZ 、XYZ 的概率或联合分布，再求其熵。