第一章 绪论
1 第一章 绪论（第一讲）
（2课时）
主要内容：（1）教学目标（2）教学计划（3）参考书（4）考试问题（5）信息论的基本概念（6）信息论发展简史和现状（7）通信系统的基本模型
重点：通信系统的基本模型
难点：通信系统的基本模型
特别提示：运用
说明：本堂课作为整本书的开篇，要交待清楚课程开设的目的，研究的内容，对学习的要求；在讲解过程中要注意结合一些具体的应用实例，避免空洞地叙述，以此激发同学的学习兴趣，适当地加入课堂提问，加强同学的学习主动性。
信息论与编码(Informatics & Coding)
开场白
教学目标：本课程主要讲解香农信息论的基本理论、基本概念和基本方法，以及编码的理论和实现原理。介绍信息的统计度量，离散信源，离散信道和信道容量；然后介绍无失真信源编码、有噪信道编码，以及限失真信源编码等，然后介绍信道编码理论，最后也简单介绍了密码学的一些知识。
教学重点：信息度量、无失真信源编码、限失真信源编码、信道编码的基本理论及实现原理。
教学计划：信息论：约20学时
信道编码：约19学时
*密码学：约8学时
参考书：
1．信息论与编码， 曹雪虹 张宗橙编，北京邮电大学出版社，2001
2．信息论—基础理论与应用， 傅祖芸编著，电子工业出版社，2001
3．信息理论与编码，姜丹 钱玉美编著
4．信息论与编码，吴伯修 归绍升 祝宗泰 俞槐铨编著，1987
考试问题：
第一章 绪论
信息论的基本概念
信息论发展简史和现状
通信系统的基本模型
第一章 绪论
2 §1.1 信息论的基本概念
信息论是一门应用近代数理统计方法来研究信息的传输和处理的科学。
在涉及这门课程的具体内容之前，很有必要在引言中，首先放宽视野，从一般意义上描述、阐明信息的基本含意。然后，再把眼光收缩到信息论的特定的研究范围中，指明信息论的假设前提，和解决问题的基本思路。这样，就有可能帮助读者，在学习、研究这门课程之前，建立起一个正确的思维方式，有一个正确的思路，以便深刻理解、准确把握以下各章节的具体内容。
信息论与编码理论-习题答案-姜楠-王健-编著-清华⼤学
第1章 绪论1.1 信源、编码器、信道、⼲扰、译码器、信宿 1.2 ⾹农
1.3 通信系统模型
1.4
信号是消息的表现形式，是物理的，⽐如电信号、光信号等。消息是信息的载荷者，是信号的具体容，不是物理的，但是⼜⽐较具体，例如语⾔、⽂字、符号、图⽚等。信息包含在消息中，是通信系统中被传送的对象，消息被⼈的⼤脑所理解就形成了信息。 1.5 略
第2章 信息的统计度量2.1 少
2.2 y 的出现有助于肯定x 的出现、y 的出现有助于否定x 的出现、x 和y 相互独⽴ 2.3 FTTTF 2.4 2.12⽐特
2.5
依题意，题中的过程可分为两步，⼀是取出⼀枚硬币恰好是重量不同的那⼀枚，设其发⽣的概率为1p ，由于每枚硬币被取出的概率是相同的，所以1181
p =
所需要的信息量()()1log 6.34I A p bit =-=
⼆是确定它⽐其他硬币是重还是轻，设其发⽣的概率为2p ，则212p =
总的概率12111812162p p p ==
=
所需要的信息量()log log1627.34I p bit =-==
2.6 设A 表⽰“⼤学⽣”这⼀事件，B 表⽰“⾝⾼1.60m 以上”这⼀事件，则
()()()0.25
0.5
|0.75p A p B p B A ===
故()()()
()()()
|0.750.25
|0.3750.5
p AB p A p B A p A B p B p B ?=
==
=
()()()11
|log
log 1.42|0.375
I A B bit p A B ===
2.7 四进制波形所含的信息量为()log 42bit =，⼋进制波形所含信息量为()log 83bit =，故四进制波形所含信息量为⼆进制的2倍，⼋进制波形所含信息量为⼆进制的3倍。2.8
()()()()()()2322log 3log 32log 3 1.585
I p bit I p bit I I =-=-==
《信息论与编码技术》复习提纲
复习题纲
第0章 绪论
题纲：
I. 什么是信息？
II. 什么是信息论？
III. 什么是信息的通信模型？
IV. 什么是信息的测度？
V. 自信息量的定义、含义、性质
需掌握的问题：
1. 信息的定义是什么？（广义信息、狭义信息——Shannon信息、概率信息）
2. Shannon信息论中信息的三要素是什么？
3. 通信系统模型图是什么？每一部分的作用的是什么？
4. 什么是信息测度？
5. 什么是样本空间、概率空间、先验概率、自信息、后验概率、互信息？
6. 自信息的大小如何计算？单位是什么？含义是什么（是对什么量的度量）？
第1章 信息论基础
㈠《离散信源》题纲：
I. 信源的定义、分类
II. 离散信源的数学模型
III. 熵的定义、含义、性质，联合熵、条件熵 IV. 离散无记忆信源的特性、熵
V. 离散有记忆信源的熵、平均符号熵、极限熵
VI. 马尔科夫信源的定义、状态转移图
VII. 信源的相对信息率和冗余度
需掌握的问题：
1. 信源的定义、分类是什么？
2. 离散信源的数学模型是什么？
3. 信息熵的表达式是什么？信息熵的单位是什么？信息熵的含义是什么？信息熵的性质是什么？
4. 单符号离散信源最大熵是多少？信源概率如何分布时能达到？
5. 信源的码率和信息率是什么，如何计算？
6. 什么是离散无记忆信源？什么是离散有记忆信源？
7. 离散无记忆信源的数学模型如何描述？信息熵、平均符号熵如何计算？
8. 离散有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵（N阶熵）的计算、关系和性质是什么？
9. 什么是马尔科夫信源？马尔科夫信源的数学模型是什么？马尔科夫信源满足的2个条件是什么？
10.马尔科夫信源的状态、状态转移是什么？如何绘制马尔科夫信源状态转移图？
11.马尔科夫信源的稳态概率、稳态符号概率、稳态信息熵如何计算？
通信的数学基石——信息论
引言
1948年，美国科学家香农（C. E. Shannon）发表了题为“通信的数学理论”论文，这篇划时代学术论文的问世，宣告了信息论的诞生。文中，香农创造性地采用概率论的方法研究通信的基本问题，把通信的基本问题归结为“一方精确或近似地重现出另一方所选择的消息”，并针对这一基本问题给予了“信息”科学定量的描述，第一次提出了信息熵的概念，进而给出由信源、编码、信道、译码、信宿等组建的通信系统数学模型。如今，信息的概念和范畴正不断地被扩大和深化，并迅速地渗透到其他相关学科领域，信息论也从狭义信息论发展到如今的广义信息论，成为涉及面极广的信息科学。
信息论将信息的传递看作一种统计现象，运用概率论与数理统计方法，给出信息压缩和信息传输两大问题的解决方法。针对信息压缩的数学极限问题，给出了信息源编理论；针对信息传输的极限问题，则给出了信道编码理论。
《信息论基础与应用》在力求降低信息论学习对数学理论要求下，加强了信息论中基础概念的物理模型和物理意义的阐述；除此这外，该书将理论和实际相结合，增加了在基础概念的理解基础上信息论对实际通信的应用指导，并给出了相关应用的MATLAB程序实现，以最大可能消除学生对信息论学习的疑惑。
全书共分7章，第1章是绪论，第2章介绍信源与信息熵，第3章介绍信道与信道容量，第4章给出信源编码理论，第5章给出信道编码理论，在此基础上，第6章、第7章分别介绍了网络信息理论和量子信息理论。
什么是信息论
什么是信息论？信息论就是回答：
1）信息是如何被度量？
2）如何有效地被传输？
3）如果接收到的信息不正确，如何保证信息的可靠性？ 4）需要多少内存，可实现信息的存储。
所有问题的回答聚集在一起，形成的理论，称为信息论。总之，信息论是研究信息的度量问题，以及信息是如何有效地、可靠地、安全地从信源传输到信宿，其中信息的度量是最重要的问题，香农首次将事件的不确定性作为信息的度量从而提出了信息熵的概念。
