《信息论》讲稿
第一章绪论
本章主要讲述三个问题：
1．信息的基本概念
2．信息论研究的对象、目的和内容
3．发展简史与现状
通过本章的学习，力求使学生对信息论的一些基本情况有所了解。一．有关信息的一些基本概念
1．信息：对事物运动状态（或存在方式）不确定性的描述。
通过“911”事件、乒乓球赛事改革等事件的讲解，使学生加深对此概念的理解。
2．消息：利用能为人的感官所感知的物理现象，将客观事物的运动和主观思维活动的状态表达出来，就成为消息。
消息应具备的条件：
1)能为通信的双方所理解。
2)可以传递。
如：文字，语声，图像等。
由此可见，信息是抽象的，消息是具体的，消息是信息的载体，信息是消息的内涵，信息通过消息表现出来。
3．信源、信宿、信道（构成通信系统的三大要素）
1)信源：产生消息或消息序列的源，
即发出消息的发送端。
2)信宿：消息传送的对象（人或机器），
即接收消息的接收端。
3)信道：连接信源与信宿的通道。
4．信息量：对信息的定量描述。
实例1：消息：及格不及格
p(x)：1/2 1/2
两个消息的信息量相等
实例2：消息：录取未录取面试
p(x)：1/6 3/6 2/6
第一个消息的信息量最大
由此可见，信息量的大小是与事件的不确定性有关的。不确定性越大，信息量也越大。即：
信息量＝f(不确定性)
不确定性＝随机性
5．概率空间：由样本空间与概率测度给出的空间，记为〔X,P〕。
〔X〕＝〔x1,x2,.......x q〕〔P〕＝〔p(x1),p(x2),.......p(x q)〕
x1, x2, ....... x q
〔X,P〕=
p(x1), p(x2),....... p(x q)
如：及格不及格录取未录取面试
1/2 1/2 1/6 3/6 2/6
6．自信息（量）、信源的平均信息量（熵）
1)自信息量：指信源中某一消息所含有的信息量。是对信源微观特性的描述。
I(x i)=log1/p(x i)
由此可见，输出的消息不同，自信息量也不同，因此该值是一个随机量。
2)信源的平均信息量（信源熵）：指信源每输出一个消息所给出的平均信息量，
是对信源宏观特性的描述。
H(x)=E[I(x i)]=∑p(x i)log1/p(x i)
可见，只要给定信源的概率分布，就可求出信源熵，它是一个确知量。
7．互信息：是指通过间接的手段，所获取的关于信源方面的信息量。
互信息＝已经消除的不确定性x i y j
I(x i;y j)=log1/p(x i)－log1/p(x i/y j)
log1/p(x i)------消息x i的自信息，记为I(x i)。
log1/p(x i/y j)---收到y j后对发送端的符号是否为x i仍存在的不确定性。
若：p(x i/y j)＝1 （理想信道）
则：I(x i;y j)=I(x i) 即自信息是互信息的特例。
若：p(x i/y j)≠1 （有噪信道）
则：I(x i;y j)≤I(x i) 说明信息通过信道传输后信息量会有所损失，损失的多
少与信道特性有关。
8．信息量定义的优点
1)是一个科学的定义，与实际生活不矛盾。
例如：p(x i)＝1 （必然事件）
I(x i)=0 无任何信息量
p(x i)→0 （小概率事件）
I(x i)→∞爆炸性新闻
2)排除了日常生活中对信息量理解的一些主观因素。
9．信息量定义的局限性
1)只适用于可用概率空间模型描述的这类信源。
2)与实际情况并不完全一致，未考虑含义、重要程度及后果。
二．信息论研究的对象、目的和内容
1．研究对象：
广义通信系统（即消息传输系统或信息传输系统）。
狭义通信系统――电话、电报、卫星通讯等，即电信。
广义通信系统――所有的信息流通系统。包括狭义的，还有神经系统、生物
遗传系统、人类社会的管理系统。
通信系统模型：
2．研究目的：
总结通信系统共有规律，使设计出来的系统具有更高的可靠性和有效性。3．研究的内容：
1)信息论基础（香侬基本理论）
a)信息测度――信源统计特性，传统熵
b)信道容量
c)信源、信道编码定理
2)一般信息论（通讯的一般理论）
a)香侬理论
b)信号与噪声理论
c)信号滤波和预测
d)统计检测与估计理论
e)调制和信息理论
其中后三项是由接收端恢复有干扰的信息。以美国维纳为代表。
3)广义信息论
a)上述两方面的内容
b)所有有关信息的领域和有关问题，包括心理学、遗传学、神经心理
学、语言学和语义学。
三．发展简史与现状
1.发展简史：
1820—1830年：法拉第，电磁感应定律。
1832—1835年：莫尔斯，电报系统。
1864年：麦克斯韦，电磁波的存在。
1876年：贝尔，电话系统。
1888年：赫兹，证明了电磁波的存在。
1895年：（英）马可尼、（俄）波波夫，无线电通信。
1907年：福雷斯特，电子管。
1925—1927年：电视系统。
1930—1940年：微波电子管及雷达系统，在二战期间发挥了巨大作用。
1950—1960年：量子放大器、激光技术，从而产生光纤通信技术。
以上均为技术发明工作。理论创新工作如下：
1832年：莫尔斯，电报系统中高效率编码方法研究，对香农编码有启示。
1885年：凯尔文，电缆的极限传信率问题。
1922年：卡逊，调幅信号的频谱结构，产生频谱概念。
1924年：奈奎斯特，信息率与带宽的关系。
1928年：哈特莱，H=NlogS, S N：可能的消息数。
1936年：阿姆斯特朗，增加带宽可抑制噪声，如：宽频移的调频方法。
1939年：达德利，声码器，指出通信所需带宽≥消息的带宽。
1948年：香农，通信的数学理论，奠定了现代信息论的基础。
1950年以后：理论完善，范恩斯坦、香农提出信息率失真理论，从而产
生频带压缩、数据压缩、纠错编码理论。
1960年：卡尔曼滤波理论（递推算法），卫星轨道、导弹制导的测量。2．现状
信息论的发展正在以下三个方面展开：
1)香农信息论---信息概念的深化（多址多用户信道、多重相关信源
编码、信息率失真理论）
2)纠错码理论---最优编码
3)维纳信息论---利用光纤通信技术，研究成像雷达和二维图像信息
处理问题。
第二章基本信息论
本章主要讲述：信息度量、离散信源的熵、二元联合信源的共熵与条件熵、连续信源的熵、熵速率和信道容量、离散有噪信道的熵速率和信道容量、连续有噪信道的熵速率与信道容量、编码定理等内容。