下载文档原格式
信息论基础知识在当今这个信息爆炸的时代，信息论作为一门重要的学科，为我们理解、处理和传输信息提供了坚实的理论基础。
信息论并非是一个遥不可及的高深概念，而是与我们的日常生活和现代科技的发展息息相关。
接下来，让我们一同走进信息论的世界，揭开它神秘的面纱。
信息是什么？这似乎是一个简单却又难以精确回答的问题。
从最直观的角度来看，信息就是能够消除不确定性的东西。
比如，当我们不知道明天的天气如何，而天气预报告诉我们明天是晴天，这一消息就消除了我们对明天天气的不确定性，这就是信息。
那么信息论又是什么呢？信息论是一门研究信息的量化、存储、传输和处理的学科。
它由克劳德·香农在 20 世纪 40 年代创立，为现代通信、计算机科学、统计学等众多领域的发展奠定了基础。
在信息论中，有几个关键的概念是我们需要了解的。
首先是“熵”。
熵这个概念听起来可能有些抽象，但其实可以把它理解为信息的混乱程度或者不确定性。
比如说，一个完全随机的字符串，其中每个字符的出现都是完全不确定的，它的熵就很高；而一个有规律、可预测的字符串，其熵就相对较低。
信息的度量是信息论中的一个重要内容。
香农提出了用“比特”（bit）作为信息的基本度量单位。
一个比特可以表示两种可能的状态（0 或1）。
如果一个事件有8 种等可能的结果，那么要确定这个事件的结果，就需要 3 个比特的信息（因为 2³＝ 8）。
信息的传输是信息论关注的另一个重要方面。
在通信过程中，信号会受到各种噪声的干扰，导致信息的失真。
为了保证信息能够准确、可靠地传输，我们需要采用一些编码和纠错技术。
比如，在数字通信中，常常使用纠错码来检测和纠正传输过程中产生的错误。
信息压缩也是信息论的一个重要应用。
在数字化的时代，我们每天都会产生大量的数据，如图片、音频、视频等。
通过信息论的原理，可以对这些数据进行压缩，在不损失太多有用信息的前提下，减少数据的存储空间和传输带宽。
再来说说信息的存储。
通信原理知识要点第一章概论1 、通信的目的2 、通信系统的基本构成●模拟信号、模拟通信系统、数字信号、数字通信系统●两类通信系统的特点、区别、基本构成、每个环节的作用3 、通信方式的分类4 、频率和波长的换算5 、通信系统性能的度量6 、传码速率、频带利用率、误码率的计算第二章信息论基础1 、信息的定义2 、离散信源信息量的计算（平均信息量、总信息量）3 、传信率的计算4 、离散信道的信道容量5 、连续信道的信道容量：掌握香农信道容量公式第三章信道与噪声了解信道的一般特性第四章模拟调制技术1 、基带信号、频带信号、调制、解调2 、模拟调制的分类、线性调制的分类3 、 AM 信号的解调方法、每个环节的作用第五章信源编码技术1 、低通、带通信号的采样定理（例 5 － 1 、例 5 －2 ）2 、脉冲振幅调制3 、量化：●均匀量化：量化电平数、量化间隔、量化误差、量化信噪比●非均匀量化： 15 折线 u 律、 13 折线 A 律4 、 13 折线 A 律 PCM 编码（过载电压问题－ 2048 份）5 、 PCM 一次群帧结构（ P106 ）6 、 PCM 系统性能分析7 、增量调制 DM 、增量脉码调制 DPCM ：概念、特点、与 PCM 的比较第六章数字基带信号传输1 、熟悉数字基带信号的常用波形2 、掌握数字基带信号的常用码型3 、无码间干扰的时域条件、频域条件（奈奎斯特第一准则）4 、怎样求“等效”的理想低通（）5 、眼图分析（示波器的扫描周期）6 、均衡滤波器第七章数字调制技术1 、 2ASK 、 2FSK 、 2PSK 、 2DPSK 的典型波形图2 、上述调制技术的性能比较3 、 MASK 、 MFSK 、 MPSK 、 MDPSK 、 QPSK 、 QDPSK 、 MSK （ h=0.5 ）、APK 的含义、特点4 、数字调制技术的改进措施第七章复用与多址技术1 、复用与多址技术的基本概念、分类、特点、目的（区别）2 、同步技术的分类、应用第九章差错控制技术1 、常用的差错控制方式（ ARQ 、 FEC 、 HEC ）、优缺点2 、基本概念3 、最小码距与检错纠错能力的关系4 、常用的简单差错控制编码（概念、特点、编写）5 、线性分组码：基本概念、特点6 、汉明码的特点6 、循环码●概念●码字的多项式描述、模运算、循环多项式的模运算●循环码的生成多项式●根据生成多项式求循环码的：码字、（典型）生成矩阵、监督多项式、（典型）监督矩阵较大题目的范围1 、信息量的度量2 、信道容量的计算3 、 13 折线 A 律 PCM 编码4 、均衡效果的计算5 、数字调制波形的绘制6 、 HDB3 编码、解码7 、循环码重点Part I 基础知识1. 通信系统的组成框图 , 数字 / 模拟通信系统的组成框图。
信息论基础
信息论是一门研究信息传输和处理的科学。
它的基础理论主要有以下几个方面：
1. 信息的定义：在信息论中，信息被定义为能够消除不确定性的东西。
当我们获得一条消息时，我们之前关于该消息的不确定性会被消除或减少。
信息的量可以通过其发生的概率来表示，概率越小，信息量越大。
2. 熵：熵是一个表示不确定性的量。
在信息论中，熵被用来衡量一个随机变量的不确定性，即随机变量的平均信息量。
熵越大，表示随机变量的不确定性越高。
3. 信息的传输和编码：信息在传输过程中需要进行编码和解码。
编码是将消息转换为一种合适的信号形式，使其能够通过传输渠道传输。
解码则是将接收到的信号转换回原始消息。
4. 信道容量：信道容量是指一个信道能够传输的最大信息量。
它与信道的带宽、噪声水平等因素相关。
信道容量的
计算可以通过香浓定理来进行。
5. 信息压缩：信息压缩是指将信息表示为更为紧凑的形式，以减少存储或传输空间的使用。
信息压缩的目标是在保持
信息内容的同时，尽可能减少其表示所需的比特数。
信息论还有其他一些重要的概念和理论，如互信息、信道
编码定理等，这些都是信息论的基础。
信息论的研究不仅
在信息科学领域具有重要应用，还在通信、计算机科学、
统计学等领域发挥着重要作用。
信息论复习知识点本页仅作为文档封面，使用时可以删除This document is for reference only-rar21year.March1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
第一章 绪论1、什么是信息？香农对于信息是如何定义的。
答：信息是事物运动状态或存在方式的不确定性的描述(Information is a measure of one's freedom of choice when one selects a message )。
2、简述通信系统模型的组成及各部分的含义。
答：（1）、信源：信源是产生消息的源。
信源产生信息的速率---熵率。
（2）、编码器：编码器是将消息变成适合于信道传送的信号的设备。
包括信源编码器（提高传输效率）、信道编码器（提高传输可靠性）、调制器。
（3）、信道：信道是信息传输和存储的媒介。
（4）、译码器：译码是编码的逆变换，分为信道译码和信源译码。
（5）、信宿：信宿是消息的接收者（人或机器）。
3、简述香农信息论的核心及其特点。
答：（1）、香农信息论的核心：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。
（2）、特点：①、以概率论、随机过程为基本研究工具。
②、研究的是通信系统的整个过程，而不是单个环节，并以编、译码器为重点。
③、关心的是最优系统的性能和怎样达到这个性能（并不具体设计系统）。
④、要求信源为随机过程，不研究信宿。
第二章 信息的度量2.1 自信息和互信息1、自信息（量）：（1）、定义：一个事件（消息）本身所包含的信息量，它是由事件的不确定性决定的。
某个消息i x 出现的不确定性的大小定义为自信息，用这个消息出现的概率的对数的负值来表示： （2）、性质：①、()i x I是()i x p 的严格递减函数。
当()()21x p x p <时()()21x I x I >概率越小，事件发生的不确定性越大，事件发生以后所包含的自信息量越大。
()()()i i i x p x p x I 1loglog =-=②、极限情况下，当()0=i x p 时()∞→i x I ；当()1=i x p 时，()0→i x I 。
信息论基础知识主要内容：信源的数学模型 信源编码定理 信源编码算法 信道容量 通信的容限第 1 页 2011-2-21引言一、信息论的研究范畴 信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。
狭义信息论：通信的数学理论，主要研究信息的度量方 法，各种信源、信道的描述和信源、信道的编码定理。
实用信息论：信息传输和处理问题，也就是狭义信息 论方法在调制解调、编码译码以及检测理论等领域的应用。
广义信息论，包括信息论在自然和社会中的新的应用， 如模式识别、机器翻译、自学习自组织系统、心理学、生物 学、经济学、社会学等一切与信息问题有关的领域。
第 2 页 2011-2-21二、信息论回答的问题通信信道中，信息能够可靠传 输的最高速率是多少？噪声信道编码定理 噪声信道编码定理信息进行压缩后，依然可以从已压 缩信息中以无差错或低差错恢复的 最低速率是多少？香农信源编码理论 香农信源编码理论最佳系统的复杂度是多少？第 3 页2011-2-21三、香农的贡献香农(Claude Elwood Shannon,1916～2001年)， 美国数学家，信息论的创始人。
创造性的采用概率论的方法来研究通信中的问题，并且对 信息给予了科学的定量描述，第一次提出了信息熵的概念。
1948年，《通信的数学理论》(A mathematical theory of communication ) 以及1949年，《噪声下的通信》标志了信息论的创立。
1949年，《保密通信的信息理论》，用信息论的观点对信息保密问题做了 全面的论述，奠定了密码学的基础。
1959年，《保真度准则下的离散信源编码定理》，它是数据压缩的数学基 础，为信源编码的研究奠定了基础。
1961年发表“双路通信信道”，开拓了多用户信息理论（网络信息论）的研 究；第 4 页 2011-2-21四、信息论发展历史1924年 奈奎斯特(Nyquist,H.)总结了信号带宽和信息速率之 间的关系。
1928年 哈特莱(Hartley,L.V.R)研究了通信系统传输信息的能 力，给出了信息度量的方法。
1936年 阿姆斯特朗(Armstrong)提出增大带宽可以使抗干扰 能力加强。
1948年 香农，《通信的数学理论》(A mathematical theory of communication )标志了信息论的创立； 1949年 香农，《保密通信的信息理论》，用信息论的观点对 信息保密问题做了全面的论述，奠定了密码学的基础。
1959年 香农，《无失真信源编码》，它是数据压缩的数学基 础，为信源编码的研究奠定了基础。
1972年 盖弗的广播信道研究论文，研究热点转向多用户。
第 5 页 2011-2-21A1、信息论的应用（通信领域）无失真信源编码的应用：文件和图像的压缩1989年的电视电话/会议压缩标准H.261； 1991年的“多灰度静止图像压缩编码标准”JPEG； 随后的MPEG-1、MPEG-2以及目前的MPEG-4。
限失真信源编码的应用：语音信号压缩，根据香农定理语音 信号所需的编码速率可以远低于奈奎斯特采样定理所决定的 速率：1972年长途电话网标准的编码速率为64kbit/s，到1995年则为6.3kbit/s； 1989年GSM标准的编码速率为13.2kbit/s，1994年降至5.6kbit/s； 在实验室目前已经实现600bit/s的低速率语音编码，特别是按音素识别与 合成原理构造的声码器其速率可低于100bit/s，这已经接近香农极限。
第 6 页2011-2-21有噪信道编码的应用：模拟话路中数据传输速率的提高 早期的调制解调器300bit/s； 随后速率逐步提高4800bit/s，9600bit/s，14.4kbits/s， 19.2kbits/s，28.8kbits/s，56kbits/s； 目前2Mkbits/s第 7 页2011-2-21信源的数学模型信源是产生消息的源，根据信源的不同情况可分为： 离散信源 消息集X 为离散集 合。
连续信源 时间离散 而空间连 续的信源。
波形信源 时间连续 的信源。
根据信源的统计特性，离散信源又分为两种： 无记忆信源 X的各时刻取值相互独立。
有记忆信源 X的各时刻取值互相有关联。
第 8 页 2011-2-21一、离散无记忆信源离散无记忆信源(Discrete Memoryless Source，简记为 DMS)是时间离散、幅度离散的随机过程。
不同时刻的随机变 量是独立同分布的，且符号集中的符号数目是有限的或可数 的。
离散无记忆信源的数学模型为离散型的概率空间，即：x2 " xN ⎤ ⎡X ⎤ ⎡ x1 ⎢ P( X ) ⎥ = ⎢ P( x ) P( x ) " P( x ) ⎥ ⎣ ⎦ ⎣ 1 N ⎦ 2P(xi )：信源输出符号xi的先验概率; 满足：0 ≤ P(xi) ≤ 1，1 ≤ i ≤ N，∑ P( x ) = 1i =1 i2011-2-21N第 9 页二、离散信源的信息量 一个符号它所携带的信息量是和该符号出现的概 率有关，即概率可以表征其自信息量的大小。
1 I ( xi ) = log = − log P ( xi ) P( xi )第 10 页2011-2-21三、信源的熵自信息量的加权平均值为信源的平均信息量，即信源的熵1()()log ()Ni i i H X P x P x ==−∑信源的熵具有以下两种物理含义：1）表示信源输出前信源的平均不确定性。
2）表示信源输出后，每个符号所携带的平均信息量。
四、信息速率信息速率：信源每秒钟发出的熵（bit/s ）1()()log ()Ni i i R rH X r P x P x ===−∑r 为信源发出的消息速率，这里的消息可以为符号、码源、采样值等。
例1: 一个带宽为4000Hz 的信源以奈奎斯特速率抽样，设其抽样序列可表示为符号集为{-2，-1，0，1，2}的DMS ，相应的概率为{1/2，1/4，1/8，1/16，1/16}。
求信息速率。
解：信源的熵为111115()log 2log 4log82log16/248168H X bit Sample =+++×=根据奈奎斯特抽样定理，抽样速率为每秒8000次，则信息速率为：15()8000150008R rH X bps ==×=五、联合熵和条件熵1、两个随机变量(X ,Y )的联合熵定义为：(,)(,)log (,)i j i j i jH X Y P x y P x y =−∑∑2、随机变量X 对应于给定随机变量Y 的条件熵定义为：(|)(,)log (|)i j i j i jH X Y P x y P x y =−∑∑(,)()(|)H X Y H Y H X Y =+(,)()(|)H X Y H X H Y X =+3、二者的联系：六、互信息(;)()(|)()(|)I X Y H X H X Y H Y H Y X =−=−七、微分熵（连续信源熵）()()log ()X X h X f x f x dx+∞−∞=−∫两个离散随机变量X 和Y 的互信息量定义为：连续信源定义一个类似熵的量，称微分熵：微分熵不具有离散熵的直观意义。
信源编码定理信源编码定理（香农第一定理）：对于熵为H的信源，当信源速率为R时，只要R>H，就能以任意小的错误概率进行编码。
反之，如果R<H，则无论采用多么复杂的编译码器，错误概率都不能达到任意小。
信源的熵为H时进行无失真编码的理论极限。
低于此极限的无失真编码方法是不存在的，这是熵编码的理论基础。
该定理给出了信源编码的存在性，但是并没有给出编码的算法和如何达到预期的性能。
无记忆离散信道的容量定义为其中信道输入X 和输出Y 的互信息量。
为信源的概率分布。
如果传输速率R <C ，则以R 速率进行可靠通信是可能实现的。
反之，如果传输速率R >C ，则以R 速率进行可靠通信是不可能的。
速率R 和容量C 的单位都是比特/传输一次。
容量C 还可以用单位时间内传输的比特数来表示。
信道编码定理和信道容量()max (;)iP x C I X Y =(;)I X Y ()i P x 一、有噪信道编码定理1、香农公式：假设信道的带宽为B (Hz)，信道输出的信号功率为S (W)及输出加性带限高斯白噪声功率为N (W)，则信道的信道容量为(bit/s) 1log 2⎟⎠⎞⎜⎝⎛+=N S B C 信息论中著名的香农（Shannon ）公式。
当信号与作用在信道上的起伏噪声的平均功率给定时，在具有一定频带宽度B 的信道上，理论上单位时间内可能传输的信息量的极限数值。
二、香农公式2、香农公式的另一形式：若噪声单边功率谱密度为n 0，噪声功率N =n 0B ，则(bit/s) 1log 02⎟⎟⎠⎞⎜⎜⎝⎛+=B n S B Ca) 增大信号功率S 可以增加信道容量C 。
若信号功率S 趋于无穷大时，则信道容量C 也趋于无穷大20lim lim log 1S S S C B n B →∞→∞⎛⎞=+→∞⎜⎟⎝⎠b) 减小噪声功率谱密度n 0也可以增加信道容量C 。
若n 0趋于零，则C 趋于无穷大3、关于香农公式的几点讨论（1）在给定B、S/N的情况下，信道的极限传输能力为C，而且此时能够做到无差错传输（即差错率为零）。
（2）提高信道容量的方法:002000lim lim log 1n n S C B n B →→⎛⎞=+→∞⎜⎟⎝⎠当信道带宽B 趋于无穷大时，信道容量C 的极限值为20lim lim log 1B B S C B n B →∞→∞⎛⎞=+⎜⎟⎝⎠0200lim log 1B n B S S n S n B →∞⎛⎞=+⎜⎟⎝⎠2044.1log n S e n S ==c)增大信道带宽B 可以增加信道容量C ，但不能使信道容量C 无限制地增大。
（3）信道容量可以通过系统带宽与信噪比的互换而保持不变。
若增加信道带宽，可以适当降低信噪比，反之亦然。
当信道容量C 给定时，B 1，S 1/N 1和B 2，S 2/N 2分别表示互换前后的带宽和信噪比，则有⎟⎟⎠⎞⎜⎜⎝⎛+=⎟⎟⎠⎞⎜⎜⎝⎛+222211211log 1log N S B N S B （4）当信道传输的信息量不变时，信道带宽B、信噪比S/N及传输时间三者是可以互换的。
若信噪比不变，那么增加信道带宽可以换取传输时间的减少，反之亦然。
在传输图片时，每帧约个象素。
为了接收端能良好的重现，需要12个等级的亮度，假定所有的亮度等级等概出现，信道的信噪比为30dB ，求：1）若传送一张图片所需时间为3min ，则所需的信道带宽？2）若在带宽为3.4kHz 的线路上传输这种图片，试问传输一张图片所需的时间为多少？62.2510×例6：221()()log ()log 12 3.58bit/ni i i H X P x P x ====∑象素解：每个像素的平均信息量：662.25103.588.0710bitI =××=×每帧的平均信息量：648.0710 4.4810bit/s 180R ×==×传信率：4322 4.4810 4.4910Hz log (11000)log (1)R B S N×≥=≈×++信道带宽：实际系统要求R < C 平均传输功率b S E R =代入信道容量的公式有20log (1)b E r r n <+021rb E n r−>则通信的容限R r B =带宽效率20log (1)b E r r n =+0r →0ln 20.693 1.6dB b E n ==≈−1r <<对应着高带宽，功率受限情况。
