下载文档原格式
信息论复习提纲第一章1、信息的概念。
信息是事物运动状态或存在方式的不确定性的描述。
2、信息论的研究对象、研究目的。
对象：通信系统模型。
目的：找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统最优化。
3、通信系统模型的组成，及各部分的功能（1）信息源：产生消息的源，消息可以是文字，语言，图像。
可以离散，可以连续。
随机发生。
（2）编码器：信源编码器：对信源输出进行变换（消去冗余，压缩），提高信息传输的有效性信道编码器：对信源编码输出变换（加入冗余），提高抗干扰能力，提高信息传输的可靠性（3）信道：信号从发端传到收端的介质（4）译码器：译码就是把信道输出（已叠加了干扰）的编码信号进行反变换。
（5）信宿：信宿是消息传送的对象，即接受消息的人或机器。
（6）干扰源：系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，主要研究的是统计特性。
4、消息，信号，信息三者之间的关系信息---可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。
信号---则是抽象信息在物理层表达的外延；消息---则是抽象信息在数学层表达的外延第二章1、信源的分类，着重单符号信源。
信源的概率空间的构成形式。
单消息（符号）信源，离散信源，连续变量信源，平稳信源，无/有记忆信源，马尔可夫信源，随机波形信源。
单消息（符号）信源：单消息（符号）信源－－离散信源单消息（符号）信源－－连续信源2、自信息的计算及物理含义，单位与底数的关系，含义。
计算：含义：当事件ai发生以前，表示事件ai发生的不确定性当事件ai发生以后表示事件ai所含有（所提供）的信息量单位与底数的关系：通信与信息中最常用的是以2为底，这时单位为比特（bit）；理论推导中用以e为底较方便，这时单位为奈特（Nat）；工程上用以10为底较方便，这时单位为哈特（Hart）。
它们之间可以引用对数换底公式进行互换。
1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成 客观信息和主观信息 。
人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。
信息的 可度量性 是建立信息论的基础。
统计度量 是信息度量最常用的方法。
熵 是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生 概率的对数 来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
第一章 绪论1、什么是信息？香农对于信息是如何定义的。
答：信息是事物运动状态或存在方式的不确定性的描述(Information is a measure of one's freedom of choice when one selects a message )。
2、简述通信系统模型的组成及各部分的含义。
答：（1）、信源：信源是产生消息的源。
信源产生信息的速率---熵率。
（2）、编码器：编码器是将消息变成适合于信道传送的信号的设备。
包括信源编码器（提高传输效率）、信道编码器（提高传输可靠性）、调制器。
（3）、信道：信道是信息传输和存储的媒介。
（4）、译码器：译码是编码的逆变换，分为信道译码和信源译码。
（5）、信宿：信宿是消息的接收者（人或机器）。
3、简述香农信息论的核心及其特点。
答：（1）、香农信息论的核心：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。
（2）、特点：①、以概率论、随机过程为基本研究工具。
②、研究的是通信系统的整个过程，而不是单个环节，并以编、译码器为重点。
③、关心的是最优系统的性能和怎样达到这个性能（并不具体设计系统）。
④、要求信源为随机过程，不研究信宿。
第二章 信息的度量2.1 自信息和互信息1、自信息（量）：（1）、定义：一个事件（消息）本身所包含的信息量，它是由事件的不确定性决定的。
某个消息i x 出现的不确定性的大小定义为自信息，用这个消息出现的概率的对数的负值来表示： （2）、性质：①、()i x I是()i x p 的严格递减函数。
当()()21x p x p <时()()21x I x I >概率越小，事件发生的不确定性越大，事件发生以后所包含的自信息量越大。
()()()i i i x p x p x I 1loglog =-=②、极限情况下，当()0=i x p 时()∞→i x I ；当()1=i x p 时，()0→i x I 。
★★★上机操作注意事项：一看清考试日期时间，提前15分钟到场等候，千万不要迟到；二带准考证、身份证；三做操作题时仔细看清题目，操作题一次性从头做到尾，一定要存盘；四不要早交卷，做完一定要检查。
信息技术理论知识复习要点第一部分信息技术基础(必修)【第一章信息与信息技术】1、信息论的奠基人之一香农认为“信息是用来消除不确定性的东西”。
★2、控制论的奠基人维纳提出“信息就信息，不是物质，也不是能量”，信息、物质、能量是人类所必须得三大资源。
3、利用文字、图形、图像、声音等形式作为载体，通过各种渠道传播的信号、消息或报道等内容，都可以称之为信息。
★4、信息的重要特征：①传递性（一传十，十传百）②共享性（一人计短，二人计长）③依附性和可处理性（玉不琢，不成器）④时效性（老黄历看不得）⑤价值相对性（一千个读者，一千个“哈姆雷特”）⑥真伪性（空城计、减灶退兵）5、信息技术（IT）主要包括计算机技术、通信技术、微电子技术和传感技术等。
计算机技术是信息处理的核心。
6、信息技术的五次发展历程：第一次是语言的产生和应用；第二次是文字的发明和使用；第三次是造纸术和印刷术的发明和应用；第四次是电报、电话、电视及其他通讯技术的发明和应用；第五次是电子计算机和现代通信技术的应用。
7、信息技术的发展趋势：①多元化；②网络化；③多媒体化；④智能化；⑤虚拟化。
8、计算机辅助技术（CAD）【第二章信息的获取】1、获取信息的基本过程：确定信息需求→确定信息来源→采集信息→保存信息2、根据不同的信息来源，信息采集有不同的方法：①通过检索媒体采集信息；②通过与他人交流采集信息；③通过亲自探究事物本身获取信息。
★3、计算机是以文件的扩展名来判断其类型的，其图标也会因文件类型的不同而各不相同。
★4、信息的存储格式文字.txt .doc .pdf .htm/.html图形图像.jpg .bmp .gif动画.gif .swf声音.wav .mp3 .mid .wma视频.mpg .rm/.rmvb .mov .avi .wmv5、网络信息检索的主要方法：①直接访问相关信息网页；②使用搜索引擎；③直接访问在线数据库；④使用BBS论坛。
★★★上机操作注意事项：一看清考试日期时间，提前15分钟到场等候，千万不要迟到；二带准考证、身份证；三做操作题时仔细看清题目，操作题一次性从头做到尾，一定要存盘；四不要早交卷，做完一定要检查。
信息技术理论知识复习要点第一部分信息技术基础(必修)【第一章信息与信息技术】1、信息论的奠基人之一香农认为“信息是用来消除不确定性的东西”。
★2、控制论的奠基人维纳提出“信息就信息，不是物质，也不是能量”，信息、物质、能量是人类所必须得三大资源。
3、利用文字、图形、图像、声音等形式作为载体，通过各种渠道传播的信号、消息或报道等内容，都可以称之为信息。
★4、信息的重要特征：①传递性（一传十，十传百）②共享性（一人计短，二人计长）③依附性和可处理性（玉不琢，不成器）④时效性（老黄历看不得）⑤价值相对性（一千个读者，一千个“哈姆雷特”）⑥真伪性（空城计、减灶退兵）5、信息技术（IT）主要包括计算机技术、通信技术、微电子技术和传感技术等。
计算机技术是信息处理的核心。
6、信息技术的五次发展历程：第一次是语言的产生和应用；第二次是文字的发明和使用；第三次是造纸术和印刷术的发明和应用；第四次是电报、电话、电视及其他通讯技术的发明和应用；第五次是电子计算机和现代通信技术的应用。
7、信息技术的发展趋势：①多元化；②网络化；③多媒体化；④智能化；⑤虚拟化。
8、计算机辅助技术（CAD）【第二章信息的获取】1、获取信息的基本过程：确定信息需求→确定信息来源→采集信息→保存信息2、根据不同的信息来源，信息采集有不同的方法：①通过检索媒体采集信息；②通过与他人交流采集信息；③通过亲自探究事物本身获取信息。
★3、计算机是以文件的扩展名来判断其类型的，其图标也会因文件类型的不同而各不相同。
★45、网络信息检索的主要方法：①直接访问相关信息网页；②使用搜索引擎；③直接访问在线数据库；④使用BBS论坛。
6、搜索引擎主要有按目录索引搜索（雅虎、搜狐、新浪等）和全文搜索（又称按关键词搜索）（百度、google）。
1、信息科学是以信息作为主要研究对象、以信息过程的运动规律作为主要研究内容、以信息科学方法论作为主要研究方法、以扩展人的信息功能(全部信息功能形成的有机整体就是智力功能)作为主要研究目标的一门科学2、材料科学、能源科学、信息科学是现代文明的三大支柱3、信息科学的基础是三大论：系统论、控制论、信息理论4、香农狭义信息论上，也就是三大块内容：信息的统计测度、信道容量和信息率失真函数，以及香农的三个重要定理：无失真信源编码定理、有噪信道编码定理和保真度准则下的信源编码定理5、本体论定义事物的信息是该事物运动的状态和状态改变的方式6、认识论的意义上说，信息是认识主体（生物或机器）所感知的事物运动的状态和状态改变的方式,包括运动状态及其变化方式的形式、含义和效用。
7、认识论层次的信息是同时考虑语法信息（外在形式）、语义信息（内在含义）和语用信息（效用价值）的全信息8、信息最重要的是按照性质分类：语法信息、语义信息、语用信息。
语法信息又分成连续信息和离散信息。
信息理论研究的语法信息9、消息是信息的载荷者，信号是消息的载体10、 11、： 概率越小 不确定性越大 确定性越小 信息量越大 概率越大 不确定性越小 确定性越大 信息量越小 概率 = 1 没有不确定性 完全确定 信息量为零 12、自信息量的定义： ()log ()i i I x p x =- 注意：)(i x I 是)(i x p 的函数，而不是i x 的函数，)(i x p 代表信源发出第i 个符号的不确定性也就是它的概率。
13、对数运算的性质：说明自信息量公式}零和负数没有对数不等式换底公式对数恒等式降阶运算 (10)1log (9)01log (8)1n l (7) 1ln 11 (6) log log log (5) (4) log log (3)log log log (2)log log log (1)a a log ==='⎭⎬⎫-≤≤-⎭⎬⎫==⎪⎪⎭⎪⎪⎬⎫=-=+=⋅a xx x x x A B B B A B A B B A B A B A B A C C A B A A14、联合概率和条件概率计算的信息量分别称为联合自信息量和条件自信息量。
信息技术基础复习第一章信息与信息技术1、信息论的奠基人之一香家从通信工程的角度，认为信息是“用来消除不确立性的东四”，指的是有新内容或新知识的消息。
控制论的奠基人维纳则提岀“信息就是信息，不是物质，也不是能量”，它是区别于物质与能量的第三类资源。
我国信息论学者钟义信教授认为信息是“事物运动的状态和方式，也就是事物内部结构和外部联系的状态和方式”。
2、从信息的发岀方来看，利用文字、符号、声音、图形、图像等形式作为载体,通过各种渠道传播的信号、消息、情报或报道等内容,都可以称之为消息。
3、通过大量的事例分析，我们得到信息的一些重要特征：(1)传递性、(2)共享性、(3)依附性和町处理性、(4)价值相对性、(5)时效性、(6)貞•伪性……4、从广义来看，凡是能展人的信息功能的技术,都可以称为信息技术。
目前，信息技术主要包括计算机技术、通信技术、传感技术、微电子技术等。
5、信息技术的发展经历了五次重大变革：第一次是语言的产生和应用，信息通过语言进行交流和传递:第一•次是文字的发明和使用，首次超越了时间利空间的局限:第三次是印刷术和造纸术的发明和应用，初步实现了信息的共享:第四次是电报、电话、广播、电视等电信技术的发明川应川，信息传递的『•段和效率再次发仝了质的飞跃;第五次是电了汁算机和现代通信技术的应用，使信息的存储、处理和传递的能力得到惊人的提髙。
: .. '' 「 '' ・ ' ' ・' 「' ' I '・'1」L ' ‘6、信息技术的发展趋势：(1)多元化:(2)网络化:(3)多媒体化;(4)智能化:(5) 虚拟化。
7、信息技术应用和几个实例：池是计算机辅助设计；廖是计算机辅助教学。
8、信息资源成为继物质、能源之后推动经济发展的新资源。
但也可能带来一些消极影响，如(1)信息泛滥:(2)信息污染:(3)信息犯罪:(4)对人们身心健康可以带来的不良影响。
《信息论》复习资料信息论导论参考资料第⼀章概论●在认识论层次研究信息时，把只考虑到形式因素的部分称为语法信息，把只考虑到含义因素的部分称为语义信息；把只考虑到效⽤因素的部分称为语⽤信息。
⽬前，信息论中主要研究语法信息●归纳起来，⾹农信息论的研究内容包括： 1) 信息熵、信道容量和信息率失真函数2) ⽆失真信源编码定理、信道编码定理和保真度准则下的信源编码定理 3) 信源编码、信道编码理论与⽅法●⼀般认为，⼀般信息论的研究内容除⾹农信息论的研究内容外，还包括维纳的微弱信号检测理论：包括噪声理论、信号滤波与预测、统计检测与估计理论、调制理论等。
信息科学以信息为研究对象，信息科学以信息运动规律为研究内容，信息运动包括获取、传递、存储、处理和施⽤等环节。
消息、信息、信号●消息是由图像、声⾳、⽂字、数字等符号组成的序列。
●承载消息的载体称为信号●信息是通信系统传输和处理的对象，泛指消息和信号的具体内容和意义. ●三者关系：通信系统传输的是信号，信号承载着消息，消息中的不确定成分是信息。
第⼆章离散信源及离散熵●单符号离散信源的数学模型：1212()()()()n n x x x X P x P x P x P X = ⾃信息量：()log ()i x i I x P x =-，是⽆量纲的，⼀般根据对数的底来定义单位：当对数底为2时，⾃信息量的单位为⽐特(bit,binary unit)；对数底为e 时，其单位为奈特(nat,nature unit)；对数底为10时，其单位为哈特(Hart, Hartley)⾃信息量性质：I(x i )是随机量；I(x i )是⾮负值；I(x i )是P(x i )的单调递减函数。
●单符号离散信源的离散熵：1()[()]()()ni i i i H X E I x P x lbP x ===-∑，单位是⽐特/符号(bit/symbol)。
离散熵的性质和定理：H(X)的⾮负性；H(X)的上凸性；最⼤离散熵定理：()H X lbn ≤(证明)●如果除概率分布相同外，直到N 维的各维联合概率分布也都与时间起点⽆关，即：111111()()()()()()k l k k l l k k k N l l l N P X P X P X X P X X P X X X P X X X ++++-++-===则称该多符号离散信源为N 维离散平稳信源。
