下载文档原格式
通信原理知识点1.1 通信的概念什么是通信？答：通信就是由一地向另一地传递消息。
1.2 通信系统的构成答：通信系统由信源、发送设备、信道、接收设备与收信者构成。
数字通信的要紧特点抗干扰能力强；差错可控；易于与各类数字终端接口，用现代计算技术对信号进行处理、加工、变换、存储，从而形成智能网；易于集成化，从而使通信设备微型化；易于加密处理，且保密强度高；可使用再生中继，实现高质量的远距离通信。
1.2 信源编码与信道编码的概念与区别答：概念：信源编码：用适当的方法降低数字信号的码元速率以压缩频带。
信道编码：在信息码组中按一定的规则附加一些码，以使接收端根据相应的规则进行检错与纠错。
区别：信源编码是用来提高数字信号传输的有效性。
信道编码是用来提高数字信号传输的可靠性。
1.3 什么是信息？信息与消息的区别是什么？信息量的计算（看课件内容）答：消息是指通信系统的传输对象，它是事物状态描述的一种具体形式。
信息是指消息中包含的有意义的内容。
设消息所代表的事件出现的概率为P ( x )，则所含有的信息量设有消息x发生的概率为P（x），则所带来的信息量为：连续消息的信息量可用概率密度来描述。
可证明，连续消息的平均信息量(相对熵)为式中，—连续消息出现的概率密度。
x d xfxfxH xx'''-=⎰+-)(log)()(2若a = 2，则信息量的单位为比特(bit ），它代表出现概率为1/2的消息所含有的信息量。
当两个消息等概率时，任一消息所含有的信息量为1比特。
一位二进制数称之1比特，而不管这两个符号是否相等概率。
1.4 衡量通信系统的性能指标有效性、可靠性、安全性、保密性。
1.4 什么是传码率、误码率与传信率？答：码元传输速率是传码率；在传输中出现错误码元的概率叫误码率；信息传输速率叫传信率。
1.5 通信方式单工通信，是指消息只能在一个方向传输的工作方式。
如广播、电视、遥控等。
所谓半双工通信，是指信号能够在两个方向上传输，但不能同时传输，务必是交替进行，一个时间只能同意向一个方向传送。
信息论是在信息可以度量的基础上，对如何有效、可靠地传递信息进行讲究的科学，它设计信息度量、信息特性、信息传输率、信道容量、干扰对信息传输的影响等方面的知识。
信息是各种事物运动的状态状态变化方式。
信息是抽象的意识，它是看不见摸不到的。
消息是具体的，它载荷信息，但他不是物理性的。
信号是消息的物理体现。
信号是信息的载体在通信系统中，传送的本质内容是信息，发送端需将信息表示称具体的消息，再将消息载至信号上，才能在实际的信号系统中传输。
一般来说，通信系统的性能指标主要是有效性、可靠性、安全性、经济性。
符号的不确定度在数量上等于它的自信息量，两者的单位相同，但含义却不相同。
不确定度是信号源符号固有的，不管符号是否发出，而自信息量是信源符号发出后给予收信者的。
为了消除该符号的不确定度，接受者需要获得信息量。
冗余度来自两个方面：一是信源符号的相关性，相关程度越大，则信源的实际熵越小，越趋于极限熵H∞（X）；反之，相关程度越小，信源实际熵就增大。
二是信源符号分布的不均匀性，当等概率分布时，信源熵最大。
根据信道中所受噪声种类的不同，可分为随机差错信道和突发差信道。
在随机差错信道中，噪声随机独立地影响每个传输码元，如以高斯白噪声为主体的信道；另一类噪声干扰的影响则是前后相关的，错误成串出现，这样的信道称为突发差错信道。
信道中平均每个符号所能传送的信息量定义为信道的信息传输率R ，即R=I（X；Y)=H(X)—H（X/Y)bit/符号。
信道容量C=max I （X；Y) ，max下面有p( ai )信源发出的消息一般要通过信道来传输，因此要求信源的传输与信道的输入匹配。
（1）符号匹配：信源输入的符号必须是信道能够传送的符号，即要求信源符号集就是信号的入口符号集或入口符号集的子集，这是实现信息传输的必要条件，可在信源与信道之间加入编码器予以实现，也可以在信源压缩编码时一步完成。
（2）信息匹配：对于某一信道，只有当输入符号的概率分布p(x)满足以定条件时才能达到其信道容量C，也就是说只有特定的信源才能使某一信道的信息传输率到达最大。
信息论与编码理论习题解第二章-信息量和熵2.1解: 平均每个符号长为:1544.0312.032=⨯+⨯秒 每个符号的熵为9183.03log 3123log 32=⨯+⨯比特/符号所以信息速率为444.34159183.0=⨯比特/秒2.2 解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=⨯比特/秒2.3 解:(a)一对骰子总点数为7的概率是366 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是361 所以得到的信息量为 17.5361log 2= 比特 2.4 解: (a)任一特定排列的概率为!521,所以给出的信息量为 58.225!521log 2=- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为13521313521344!13C A =⨯所以得到的信息量为 21.134log 1313522=C 比特.2.5 解:易证每次出现i 点的概率为21i,所以比特比特比特比特比特比特比特398.221log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21log )(2612=-==============-==∑=i i X H x I x I x I x I x I x I i ii x I i2.6 解: 可能有的排列总数为27720!5!4!3!12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y图中X 表示白杨或白桦，它有⎪⎪⎭⎫⎝⎛37种排法，Y 表示梧桐树可以栽种的位置，它有⎪⎪⎭⎫⎝⎛58种排法，所以共有⎪⎪⎭⎫ ⎝⎛58*⎪⎪⎭⎫⎝⎛37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-=3.822 比特 2.7 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地；Z=0表示学过英语，Z=1表示未学过英语，由此得比特比特比特)01(log )01()0()00(log )00()0()(8113.04log 4134log 43)()(02698.04110435log 104354310469log 10469)1()01(log )01()0()00(log )00()0;(104352513/41)522121()0(/)1())11()1,10()10()1,00(()01(104692513/43)104109101()0(/)0())01()0,10()00()0,00(()00()(4512.04185log 854383log 83)1()01(log )01()0()00(log )00()0;(8551/4121)0(/)1()10()01(8351/43101)0(/)0()00()00()(,251225131)1(,2513100405451)10()1()00()0()0(,54511)1(,51101432141)10()1()00()0()0(,41)1(,43)0(222222222222+=====+=======+==+======+========⨯⨯+========+=========⨯⨯+========+=========+======+========⨯=========⨯=========-===⨯+====+======-===⨯+⨯====+=========x y p x y p x p x y p x y p x p X Y H X H c x p z x p z x p x p z x p z x p z X I z p x p x y p x y z p x y p x y z p z x p z p x p x y p x y z p x y p x y z p z x p b x p y x p y x p x p y x p y x p y X I y p x p x y p y x p y p x p x y p y x p a z p y z p y p y z p y p z p y p x y p x p x y p x p y p x p x p2.8 解:令{}{}R F T Y B A X ,,,,==，则比特得令同理03645.0)()(5.0,02.03.0)2.05.0(log 2.0)()2.05.0(log )2.05.0()2.03.0(log )2.03.0(5.0log 5.03.0log 3.0)5log )1(2.02log )1(5.0log )1(3.05log 2.0log 3.02log 5.0(2.0log 2.0)2.05.0(log )2.05.0()2.03.0(log )2.03.0()()();()(2.0)(,2.05.0)(2.03.0)1(3.05.0)()()()()(5.0max 2'2222223102231022222==∴==+-=---++-+=-+-+-+++-----++-=-===-=+=-⨯+=+==p p I p I p pp p I p p p p p p p p p p p p p p X Y H Y H Y X I p I R P p F P pp p B P B T P A P A T P T P2.9 & 2.12解:令X=X 1,Y=X 1+X 2,Z=X 1+X 2+X 3, H(X 1)=H(X 2)=H(X 3)= 6log 2 比特 H(X)= H(X 1) = 6log 2 =2.585比特 H(Y)= H(X 2+X 3)=6log 61)536log 365436log 364336log 363236log 36236log 361(2222222+++++ = 3.2744比特 H(Z)= H(X 1+X 2+X 3)=)27216log 2162725216log 2162521216log 2162115216log 2161510216log 216106216log 21663216log 2163216log 2161(222222222++++++= 3.5993比特 所以H(Z/Y)= H(X 3)= 2.585 比特 H(Z/X) = H(X 2+X 3)= 3.2744比特 H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955比特H(Z/XY)=H(Z/Y)= 2.585比特 H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805比特 I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X 3)= 3.5993-2.585 =1.0143比特 I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744 =0.3249比特 I(XY ;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y)=1.0143比特 I(Y;Z/X)=H(Z/X)-H(Z/XY) = H(X 2+X 3)-H(X 3) =3.2744-2.585 =0.6894比特 I(X;Z/Y)=H(Z/Y)-H(Z/XY) =H(Z/Y)-H(Z/Y) =02.10 解:设系统输出10个数字X 等概,接收数字为Y,显然101)(101)()()(919===∑∑==i j p i j p i Q j w i iH(Y)=log10比特奇奇奇奇偶18log 81101452log 211015)(log)()()(log )()(0)(log ),()(log ),()(22,2222=⨯⨯⨯⨯+⨯⨯⨯=--=--=∑∑∑∑∑∑∑≠====x y p x y p x p x x p x x p x p x y p y x p x y p y x p X Y H x y x i y x y x所以I(X;Y)= 3219.2110log 2=-比特2.11 解:（a ）接收前一个数字为0的概率 2180)0()()0(==∑=i i i u p u q wbits p pw u p u I )1(log 11log )0()0(log )0;(2212121-+=-==（b ）同理 418)00()()00(==∑=ii iu p u q wbits p p w u p u I )1(log 22)1(log )00()00(log )00;(24122121-+=-== （c ）同理 818)000()()000(==∑=ii iu p u q wbits p p w u p u I )1(log 33)1(log )000()000(log )000;(28132121-+=-== （d ）同理 ))1(6)1(()0000()()0000(4226818p p p p u p u q w ii i+-+-==∑=bitsp p p p p p p p p p w u p u I 42264242268142121)1(6)1()1(8log ))1(6)1(()1(log )0000()0000(log )0000;(+-+--=+-+--==2.12 解:见2.9 2.13 解: (b))/()/()/(1log)()/(1log)()/()/(1log)()/(1log)()/(XY Z H X Y H xy z p xyz p x y p xyz p xy z p x y p xyz p x yz p xyz p X YZ H x y z xyzxyzxyz+=+===∑∑∑∑∑∑∑∑∑∑∑∑(c))/()/(1log)/()()/(1log)/()()/(X Z H x z p xy z p xy p xy z p xy z p xy p XY Z H xyzxyz=≤=∑∑∑∑∑∑（由第二基本不等式） 或)1)/()/((log )/()()/()/(log)/()()/(1log)/()()/(1log)/()()/()/(=-⨯≤=-=-∑∑∑∑∑∑∑∑∑∑∑∑xy z p x z p e xy z p xy p xy z p x z p xy z p xy p x z p xy z p xy p xy z p xy z p xy p X Z H XY Z H xyzxyzxyzxyz（由第一基本不等式）所以)/()/(X Z H XY Z H ≤(a))/()/()/()/()/(X YZ H XY Z H X Y H X Z H X Y H =+≥+等号成立的条件为)/()/(x z p xy z p =,对所有Z z Y y X x ∈∈∈,,,即在给定X 条件下Y 与Z 相互独立。
数字通信中的信源编码和信道编码摘要：如今社会已经步入信息时代，在各种信息技术中,信息的传输及通信起着支撑作用.而对于信息的传输，数字通信已经成为重要的手段。
本论文根据当今现代通信技术的发展，对信源编码和信道编码进行了概述性的介绍。
关键词：数字通信；通信系统;信源编码；信道编码Abstract：Now it is an information society。
In the all of information technologies，transmission and communication of information take an important effect。
For the transmission of information，Digital communication has been an important means。
In this thesis we will present an overview of source coding and channel coding depending on the development of today’s communica tion technologies.Key Words：digital communication; communication system; source coding; channel coding1.前言通常所谓的“编码”包括信源编码和信道编码。
编码是数字通信的必要手段。
使用数字信号进行传输有许多优点, 如不易受噪声干扰，容易进行各种复杂处理，便于存贮，易集成化等。
编码的目的就是为了优化通信系统.一般通信系统的性能指标主要是有效性和可靠性.所谓优化，就是使这些指标达到最佳。
除了经济性外，这些指标正是信息论研究的对象.按照不同的编码目的，编码可主要分为信源编码和信道编码。
在本文中对此做一个简单的介绍.2.数字通信系统通信的任务是由一整套技术设备和传输媒介所构成的总体—-通信系统来完成的.电子通信根据信道上传输信号的种类可分为模拟通信和数字通信.最简单的数字通信系统模型由信源、信道和信宿三个基本部分组成.实际的数字通信系统模型要比简单的数字通信系统模型复杂得多。
《信息论与编码》课程教学大纲一、课程基本信息课程代码：16052603课程名称：信息论与编码英文名称：Information Theory and Coding课程类别：专业课学时：48学分：3适用对象:信息与计算科学考核方式：考试先修课程：数学分析、高等代数、概率论二、课程简介《信息论与编码》是信息科学类专业本科生必修的专业理论课程。
通过本课程的学习，学生将了解和掌握信息度量和信道容量的基本概念、信源和信道特性、编码理论等，为以后深入学习信息与通信类课程、为将来从事信息处理方面的实际工作打下基础。
本课程的主要内容包括：信息的度量、信源和信源熵、信道及信道容量、无失真信源编码、有噪信道编码等。
Information Theory and Coding is a compulsory professional theory course for undergraduates in information science. Through this course, students will understand and master the basic concepts of information measurement and channel capacity, source and channel characteristics, coding theory, etc., lay the foundation for the future in-depth study of information and communication courses, for the future to engage in information processing in the actual work.The main contents of this course include: information measurement, source and source entropy, channel and channel capacity, distortion-free source coding, noisy channel coding, etc。
信源编码与信道编码
1.信源编码的作⽤与内含：
信源编码是⼀种以提⾼通信有效性⽽对信源符号进⾏的变换，或者说为了减少或者消除信源剩余度⽽进⾏的信源符号变换。
具体⽽⾔就是针对信源输出符号序列的统计特性来寻找某种⽅法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所荷载的平均信息量最⼤，同时⼜能保证⽆失真的恢复原来的符号序列。
2.信道编码的作⽤与内含：
信道编码：由于信道有噪声和⼲扰或信道有某种约束会使接受的消息发⽣差错，因此要通过信道编码来提⾼传输可靠性。
因为信道编码是通过冗余符号来实现的，所以会使传输有效性降低。
（ps:⾹农第⼆定理：只要信息传输速率不⼤于信道容量，就存在⾼可靠性传输。
）。
信源编码：主要是利用信源的统计特性，解决信源的相关性，去掉信源冗余信息，从而达到压缩信源输出的信息率，提高系统有效性的目的。
第三代移动通信中的信源编码包括语音压缩编码、各类图像压缩编码及多媒体数据压缩编码。
信道编码：为了保证通信系统的传输可靠性，克服信道中的噪声和干扰的。
它根据一定的（监督）规律在待发送的信息码元中（人为的）加入一些必要的（监督）码元，在接受端利用这些监督码元与信息码元之间的监督规律，发现和纠正差错，以提高信息码元传输的可靠性。
信道编码的目的是试图以最少的监督码元为代价，以换取最大程度的可靠性的提高。
信道编码从功能上可分为3类：仅具有发现差错功能的检错码，如循环冗余校验码、自动请求重传ARQ等具有自动纠正差错功能的纠错码，如循环码中的BCH码、RS码及卷积码、级联码、Turbo 码等既能检错又能纠错功能的信道编码，最典型的是混合ARQ信道编码从结构和规律上分两大类线性码：监督关系方程是线性方程的信道编码非线性码：监督关系方程是非线性的FEC是前向就错码，在不同系统中，不同信道采用的FEC都不一样，有卷积码，Turbo码等信源编码&信道编码区别（通院的必杀技）：官方课本如是介绍：信源编码：表示信源和降低信源的信息速率。
信道编码：消除或减轻信道错误的影响。
通过适当的调制方式来运载信息，以适应信道特征。
本人总结：一．信源编码信源编码的作用之一是设法减少码元数目和降低码元速率，即通常所说的数据压缩。
码元速率将直接影响传输所占的带宽，而传输带宽又直接反映了通信的有效性。
作用之二是，当信息源给出的是模拟语音信号时，信源编码器将其转换成数字信号，以实现模拟信号的数字化传输。
模拟信号数字化传输的两种方式：脉冲编码调制(PCM)和增量调制(ΔM)。
信源译码是信源编码的逆过程。
1.脉冲编码调制(PCM)简称脉码调制:一种用一组二进制数字代码来代替连续信号的抽样值，从而实现通信的方式。
由于这种通信方式抗干扰能力强，它在光纤通信、数字微波通信、卫星通信中均获得了极为广泛的应用。
