下载文档原格式
信息论复习提纲第一章1、信息的概念。
信息是事物运动状态或存在方式的不确定性的描述。
2、信息论的研究对象、研究目的。
对象：通信系统模型。
目的：找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统最优化。
3、通信系统模型的组成，及各部分的功能（1）信息源：产生消息的源，消息可以是文字，语言，图像。
可以离散，可以连续。
随机发生。
（2）编码器：信源编码器：对信源输出进行变换（消去冗余，压缩），提高信息传输的有效性信道编码器：对信源编码输出变换（加入冗余），提高抗干扰能力，提高信息传输的可靠性（3）信道：信号从发端传到收端的介质（4）译码器：译码就是把信道输出（已叠加了干扰）的编码信号进行反变换。
（5）信宿：信宿是消息传送的对象，即接受消息的人或机器。
（6）干扰源：系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，主要研究的是统计特性。
4、消息，信号，信息三者之间的关系信息---可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。
信号---则是抽象信息在物理层表达的外延；消息---则是抽象信息在数学层表达的外延第二章1、信源的分类，着重单符号信源。
信源的概率空间的构成形式。
单消息（符号）信源，离散信源，连续变量信源，平稳信源，无/有记忆信源，马尔可夫信源，随机波形信源。
单消息（符号）信源：单消息（符号）信源－－离散信源单消息（符号）信源－－连续信源2、自信息的计算及物理含义，单位与底数的关系，含义。
计算：含义：当事件ai发生以前，表示事件ai发生的不确定性当事件ai发生以后表示事件ai所含有（所提供）的信息量单位与底数的关系：通信与信息中最常用的是以2为底，这时单位为比特（bit）；理论推导中用以e为底较方便，这时单位为奈特（Nat）；工程上用以10为底较方便，这时单位为哈特（Hart）。
它们之间可以引用对数换底公式进行互换。
1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成 客观信息和主观信息 。
人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。
信息的 可度量性 是建立信息论的基础。
统计度量 是信息度量最常用的方法。
熵 是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生 概率的对数 来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
第一章 绪论1、什么是信息？香农对于信息是如何定义的。
答：信息是事物运动状态或存在方式的不确定性的描述(Information is a measure of one's freedom of choice when one selects a message )。
2、简述通信系统模型的组成及各部分的含义。
答：（1）、信源：信源是产生消息的源。
信源产生信息的速率---熵率。
（2）、编码器：编码器是将消息变成适合于信道传送的信号的设备。
包括信源编码器（提高传输效率）、信道编码器（提高传输可靠性）、调制器。
（3）、信道：信道是信息传输和存储的媒介。
（4）、译码器：译码是编码的逆变换，分为信道译码和信源译码。
（5）、信宿：信宿是消息的接收者（人或机器）。
3、简述香农信息论的核心及其特点。
答：（1）、香农信息论的核心：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。
（2）、特点：①、以概率论、随机过程为基本研究工具。
②、研究的是通信系统的整个过程，而不是单个环节，并以编、译码器为重点。
③、关心的是最优系统的性能和怎样达到这个性能（并不具体设计系统）。
④、要求信源为随机过程，不研究信宿。
第二章 信息的度量2.1 自信息和互信息1、自信息（量）：（1）、定义：一个事件（消息）本身所包含的信息量，它是由事件的不确定性决定的。
某个消息i x 出现的不确定性的大小定义为自信息，用这个消息出现的概率的对数的负值来表示： （2）、性质：①、()i x I是()i x p 的严格递减函数。
当()()21x p x p <时()()21x I x I >概率越小，事件发生的不确定性越大，事件发生以后所包含的自信息量越大。
()()()i i i x p x p x I 1loglog =-=②、极限情况下，当()0=i x p 时()∞→i x I ；当()1=i x p 时，()0→i x I 。
★★★上机操作注意事项：一看清考试日期时间，提前15分钟到场等候，千万不要迟到；二带准考证、身份证；三做操作题时仔细看清题目，操作题一次性从头做到尾，一定要存盘；四不要早交卷，做完一定要检查。
信息技术理论知识复习要点第一部分信息技术基础(必修)【第一章信息与信息技术】1、信息论的奠基人之一香农认为“信息是用来消除不确定性的东西”。
★2、控制论的奠基人维纳提出“信息就信息，不是物质，也不是能量”，信息、物质、能量是人类所必须得三大资源。
3、利用文字、图形、图像、声音等形式作为载体，通过各种渠道传播的信号、消息或报道等内容，都可以称之为信息。
★4、信息的重要特征：①传递性（一传十，十传百）②共享性（一人计短，二人计长）③依附性和可处理性（玉不琢，不成器）④时效性（老黄历看不得）⑤价值相对性（一千个读者，一千个“哈姆雷特”）⑥真伪性（空城计、减灶退兵）5、信息技术（IT）主要包括计算机技术、通信技术、微电子技术和传感技术等。
计算机技术是信息处理的核心。
6、信息技术的五次发展历程：第一次是语言的产生和应用；第二次是文字的发明和使用；第三次是造纸术和印刷术的发明和应用；第四次是电报、电话、电视及其他通讯技术的发明和应用；第五次是电子计算机和现代通信技术的应用。
7、信息技术的发展趋势：①多元化；②网络化；③多媒体化；④智能化；⑤虚拟化。
8、计算机辅助技术（CAD）【第二章信息的获取】1、获取信息的基本过程：确定信息需求→确定信息来源→采集信息→保存信息2、根据不同的信息来源，信息采集有不同的方法：①通过检索媒体采集信息；②通过与他人交流采集信息；③通过亲自探究事物本身获取信息。
★3、计算机是以文件的扩展名来判断其类型的，其图标也会因文件类型的不同而各不相同。
★4、信息的存储格式文字.txt .doc .pdf .htm/.html图形图像.jpg .bmp .gif动画.gif .swf声音.wav .mp3 .mid .wma视频.mpg .rm/.rmvb .mov .avi .wmv5、网络信息检索的主要方法：①直接访问相关信息网页；②使用搜索引擎；③直接访问在线数据库；④使用BBS论坛。
★★★上机操作注意事项：一看清考试日期时间，提前15分钟到场等候，千万不要迟到；二带准考证、身份证；三做操作题时仔细看清题目，操作题一次性从头做到尾，一定要存盘；四不要早交卷，做完一定要检查。
信息技术理论知识复习要点第一部分信息技术基础(必修)【第一章信息与信息技术】1、信息论的奠基人之一香农认为“信息是用来消除不确定性的东西”。
★2、控制论的奠基人维纳提出“信息就信息，不是物质，也不是能量”，信息、物质、能量是人类所必须得三大资源。
3、利用文字、图形、图像、声音等形式作为载体，通过各种渠道传播的信号、消息或报道等内容，都可以称之为信息。
★4、信息的重要特征：①传递性（一传十，十传百）②共享性（一人计短，二人计长）③依附性和可处理性（玉不琢，不成器）④时效性（老黄历看不得）⑤价值相对性（一千个读者，一千个“哈姆雷特”）⑥真伪性（空城计、减灶退兵）5、信息技术（IT）主要包括计算机技术、通信技术、微电子技术和传感技术等。
计算机技术是信息处理的核心。
6、信息技术的五次发展历程：第一次是语言的产生和应用；第二次是文字的发明和使用；第三次是造纸术和印刷术的发明和应用；第四次是电报、电话、电视及其他通讯技术的发明和应用；第五次是电子计算机和现代通信技术的应用。
7、信息技术的发展趋势：①多元化；②网络化；③多媒体化；④智能化；⑤虚拟化。
8、计算机辅助技术（CAD）【第二章信息的获取】1、获取信息的基本过程：确定信息需求→确定信息来源→采集信息→保存信息2、根据不同的信息来源，信息采集有不同的方法：①通过检索媒体采集信息；②通过与他人交流采集信息；③通过亲自探究事物本身获取信息。
★3、计算机是以文件的扩展名来判断其类型的，其图标也会因文件类型的不同而各不相同。
★45、网络信息检索的主要方法：①直接访问相关信息网页；②使用搜索引擎；③直接访问在线数据库；④使用BBS论坛。
6、搜索引擎主要有按目录索引搜索（雅虎、搜狐、新浪等）和全文搜索（又称按关键词搜索）（百度、google）。
