下载文档原格式
信息科学基础课程总结（一）学习内容：第一章随机变量的信息度量1学习信息论的发展历史，了解信息论的产生、发展与应用；信息的定义与特征；2信息的度量问题；3香农熵——随机变量的不确定性度量；4信息量的一些基本性质；5熟练进行有关熵的计算：香农熵、联合熵、微分熵等（不要忽视条件熵、互信息、相对熵等概念）；6 广义熵。
第二章随机过程的信息度量和渐近等分性1 什么是信源？信源的分类；2 什么是随机过程？什么是马尔可夫信源？3 随机过程的信息度量问题—熵率；4 了解冗余度和相对冗余度；5 了解熵的基本性质，互熵与互信息；6 理解信源编码定理。
7 了解什么是最大熵，记住常用的几种最大熵分布：有限区间上的最大熵、半开直线与全直线上的最大熵。
第三章数据压缩和信源编码1信源编码的基本问题，了解即时码的定义；2等长码概念及其码率；Kraft不等式；3变长码编码及平均码长的定义；4熟练进行哈夫曼码与算术码的编码及构造码树；5了解通用码概念，会编LZW码和YK码；6会计算通用码的压缩率（码率）。
第四章数据可靠传输和信道编码1 了解离散无记忆信道和信道容量；2 会用定义、极值法和Lagrange乘子法计算信道容量；3 了解信道编码的作用和常见类型；4 理解信道编码定理的内容。
信息科学基础习题课一、填空题（20分）：1．利用数字结构进行信息处理是当今社会信息社会的一大特色，因此有人称当今的信息社会又是一个数字化的社会，这就是把现实世界中的各种不同类型的信息与信号都设法用数字来表达，并在数字化的条件下进行处理。
2．信息具有可设计、传递、复制、存储、修改与扩展等特性，对这些特性的处理过程统称为信息处理。
信息科学为研究信息处理提供理论基础，其中包括它们的数学模型、基本的度量关系与性质、相关的优化算法等。
3．时间与空间实际上是信息处理中的最基本的资源，在信息处理中除了加快速度与节省空间之外，寻找它们的最优信息处理方案是信息科学理论中的重要内容与基本目标。
《信息论与编码》课程总结解放军信息工程大学信息工程学院本课程从第一周上到第五周，共二十个学时，重点介绍由香农理论发展而来的信息论的基本理论以及编码的理论和实现原理。
李教员共讲述了：一，绪论；二，熵与互信息；三，信道及信道容量；四，离散信源；五，无失真信源编码五章内容。
其中，熵与互信息，信道及信道容量两章为本课程中最基本，同时也是最重要的两章，是本课程的树干（个人认为）。
下面为我所做的课程总结和一些心得体会。
第一章绪论1,本章主要内容（1）信息的定义和性质；（2）信息论的基本思路；（3）信息论的主要内容2，心得体会本章首先从信息的定义和本质讲起，然后简要讲述了信息论的基本思路和发展历程，最后重点介绍了信息论的主要内容。
该章大部分内容在《通信原理》里都有涉及，基本没有什么新的知识点，难度不大。
令我受益最大的是香农提出狭义信息论时的三个条件：非绝对论观点，形式化假说，不确定性。
第二章熵与互信息1，本章主要内容（1）信源的数学模型和分类；（2）自信息和熵（重点）；（3）联合事件的熵及其关系（重点）；（4）信道疑义度与范诺不等式（重点）；（5）互信息（重点）；2，心得体会信源的数学模型和分类这部分属于纯叙述性内容，没有什么难点；自信息和熵这一节主要介绍了自信息和熵的基本概念和主要性质，需要记忆的内容不多，主要靠理解，基本没什么难度；联合事件的熵及其关系主要介绍了联合熵，条件熵和无条件熵，以及三者之间的关系，在学好概率论的基础上理解起来难度不大；信道疑义度与范诺不等式主要介绍了信道的转移概率，信道疑义度的概念和范诺不等式，其中，范诺不等式是关于通信系统产生信道疑义度和取值大小的重要原因，本节内容理解和记忆起来有一定的难度；互信息这一节是本章的重中之重，同时也是本课程的一个基本点和要点，需要记忆的东西较多，理解起来有点难度。
第三章信道及信道容量1，本章主要内容（1）信道的描述和分类；（2）信道容量的定义（重点）；（3）信道容量的计算（重点和难点）；（4）有噪信道编码与Shannon第二编码定理（重点）；（5）信道编码原理；2，心得体会根据不同的条件，信道的种类各不相同。
