第一章绪论（第一讲）
（2课时）
主要内容：（1）教学目标（2）教学计划（3）参考书（4）考试问题（5）信息论的基本概念（6）信息论发展简史和现状（7）通信系统的基本模型
重点：通信系统的基本模型
难点：通信系统的基本模型
特别提示：运用
说明：本堂课作为整本书的开篇，要交待清楚课程开设的目的，研究的内容，对学习的要求；在讲解过程中要注意结合一些具体的应用实例，避免空洞地叙述，以此激发同学的学习兴趣，适当地加入课堂提问，加强同学的学习主动性。
信息论与编码(Informatic s & Coding)
开场白
教学目标：本课程主要讲解香农信息论的基本理论、基本概念和基本方法，以及编码的理论和实现原理。介绍信息的统计度量，离散信源，离散信道和信道容量；然后介绍无失真信源编码、有噪信道编码，以及限失真信源编码等，然后介绍信道编码理论，最后也简单介绍了密码学的一些知识。
教学重点：信息度量、无失真信源编码、限失真信源编码、信道编码的基本理论及实现原理。
教学计划：信息论：约20学时
信道编码：约19学时
*密码学：约8学时
参考书：
1．信息论与编码，曹雪虹张宗橙编，北京邮电大学出版社，2001
2．信息论—基础理论与应用，傅祖芸编著，电子工业出版社，2001
3．信息理论与编码，姜丹钱玉美编著
4．信息论与编码，吴伯修归绍升祝宗泰俞槐铨编著，1987
考试问题：
第一章绪论
信息论的基本概念
信息论发展简史和现状
通信系统的基本模型
§1.1 信息论的基本概念
信息论是一门应用近代数理统计方法来研究信息的传输和处理的科学。
在涉及这门课程的具体内容之前，很有必要在引言中，首先放宽视野，从一般意义上描述、阐明信息的基本含意。然后，再把眼光收缩到信息论的特定的研究范围中，指明信息论的假设前提，和解决问题的基本思路。这样，就有可能帮助读者，在学习、研究这门课程之前，建立起一个正确的思维方式，有一个正确的思路，以便深刻理解、准确把握以下各章节的具体内容。
信息的一般含义
自古以来，人类就生活在信息的海洋之中。当今，人类越来越广泛地采用“信息”这一词汇，几乎达到人人皆知的程度。那么，我们不禁要问，“信息”到底是什么含义呢？从人们众多的应用中，我们大致可以从以下三个方面来理解“信息”的含义。
（一）“信息”是作为通信的消息来理解的。在这种意义下，“信息”是人们在通信时所要告诉对方的某种内容。
（二）“信息”是作为运算的内容而明确起来的。在这种意义下，“信息”是人们进行运算和处理所需要的条件、内容和结果，并常常表现为数字、数据、图表和曲线等形式。
（三）“信息”是作为人类感知的来源而存在的。
以上，我们从三个不同的侧面叙述了信息的一些含意。显然，这还不是它的全部意义，只能作为对信息的一种初步的理解。
信息的本质
“信息是关于事物运动的状态和规律”。或者说，是关于事物运动的“知识”。
通信是人类活动中最为普遍的现象之一，信息的传递与交换是时时处处都发生着的事情。在信息的传递与交换中，人们当然希望能够又多、又快、又好、又经济地传递信息。那么很自然地会出现这样一个问题：什么是信息传递的多快好省呢？怎样来衡量这种多快好省呢？怎样来判断某种通信方法的优劣呢？这就需要建立一种合理的定量描述信息传输过程的方法，首先是定量描述和度量信息的方法。
1948年，美国一位数学家克劳特·香农(C.E．Shannon)发表了一篇著名的论文《通信的数学理论》。差不多与此同时，美国另一位数学家诺伯特·维纳也发表了题为《时间序列的内插、外推和平滑化》的论文以及题为《控制论》的专著。在这些著作中，他们分别解决了按“通信的消息”来理解的信息(狭义信息)的度量问题，并得到了相同的结果。香农的论文还给出了信息传输问题的一系列重要结果，建立了比较完整而系统的信息理论，这就是香农信息论，也叫狭义信息论(简称“信息论”)。
香农信息理论具有崭新的风貌，是通信科学发展史上的一个转折点，它使通信问题的研究从经验转变为科学。因此，它一出现就在科学界引起了巨大的轰动，许多不同领域的科学工作者对它怀有浓厚的兴趣，并试图争相应用这一理论来解决各自领域的问题．从此，信息问题的研究，进入了一个新的纪元。
香农信息理论的基本思路，大致可归结为以下三个基本观点：
一、非决定论观点
我们知道，在科学史上，直到20世纪初，拉普拉斯的决定论的观点始终处于统治的地位。这种观点认为，世界上一切事物的运动都严格地遵从一定的机械规律。因此，只要知道了它的原因，就可以唯一地决定它的结果；反过来，只要知道了它的结果，也就可以唯一地决定它的原因。或者，只要知道了某个事物的初始条件和运动规律，就可以唯一地确定它在各个时刻的运动状态。这种观点只承认必然性，排斥、否认偶然性。
根据通信问题研究对象的特点，信息理论按照非决定论的观点，采用了概率统计的方法，作为分析通信问题的数学工具，因而比以往的研究更切合实际、更科学、更有吸引力。
二、形式化假说
可提出如下的假设：虽然信息的语义因素和语用因素对于广义信息来说并不是次要因素，但对于作为“通信的消息”来理解的狭义信息来说是次要因素。因此，在描述和度量作为“通信的消息”来理解的狭义信息时，可以先把语义、语用因素搁置起来，假定各种信息的语义信息量和语用信息量恒定不变，而只单纯考虑信息的形式因素。
三、不确定性
对通信过程作进一步分析就可发现，人们要进行通信，不外有两种情形：第一种情况是自己有某种形式的信息要告诉对方，同时估计对方既会对这种信息感到兴趣，而又尚不知道这个信息。也就是说，对方在关于这个信息的知识上存在着不确定性；另一种情况是，自己有某种疑问要向对方询问，而且估计对方能够解答自己的疑问。在前一种情况下，如果估计对方已经了解了所欲告之的消息，自然就没有必要通信了；在后一种情况，如果自己没有疑问，当然就不必询问了。
这里所谓“疑问”、“不知道”，就是一种知识上的“不确定性”，即对某个事情的若干种可能结果，或对某个问题的若干可能答案，不能做出明确的判断。
所以，我们可以把作为“通信的消息”来理解的“狭义信息”，看作(或明确定义)为一种用来消除通信对方知识上的“不确定性”的东西。由此，我们可以引伸出一个十分重要而关键的结论：接收者收到某一消息后所获得的信息，可以用接收者在通信前后“不确定性”的消除量来度量。简而言之，接收者所得到的信息量，在数量上等于通信前后“不确定性”的消除量(或减少量)。这就是信息理论中度量信息的基本观点。
那么，很自然地接着要问这样一个问题：这就是，“不确定性”本身是否可度量？是否可用数学方法来表示呢？我们知道，不确定性是与“多种结果的可能性”相联系的，而在数学上，这些“可能性”正是以概率来度量的。概率大，即“可能性”大；概率小，“可能性”小。显然，“可能性”大，即意味“不确定性”小；“可能性”小，即意味“不确定性”大。由此可见，“不确定性”与概率的大小存在着一定的联系，“不确定性”应该是概率的某一函数；
那么，“不确定性”的消除量(减少量)，也就是狭义信息量，也一定可由概率的某一函数表示。这样就完全解决了作为“通信的消息”来理解的“狭义信息”的度量问题。
